Aigües amunt del riu de Sallent, quan arribem al congost del Codó, ens endinsarem a Valldarques, tot seguint la carretera que enllaça Coll de Nargó amb Isona passant per Bóixols. Valldarques es caracteritza pels cingles que tallen els vessants de la muntanya, confegint un paisatge dominat per una llarga feixa de roca que ressegueix tot el seu recorregut.
El millor camí per accedir al castell és el que surt des de l’església de Sant Romà, on hi ha el principal nucli de cases de Valldarques, de recorregut fàcil. Després de poc més de vint minuts caminant per una roureda, seguint la vall en sentit descendent, arribarem al castell, anomenat la torre de la Vila, nom que en part pren de la presència de la seva torre de planta circular.
El castell queda sota de la casa de Sobre-roca molt a prop del grau homònim. Una vistosa muralla, ben conservada en alguns trams, encercla bona part de la torre feudal, tot constituint la part sobirana de la fortificació, a la qual podrem accedir per una porta d’arc de mig punt que s’obre al sector de migdia. Just al sud aquest recinte, tirant cap al riu, tot seguint el pendent de la muntanya, se succeeixen un seguit de paraments que conformaven l’antic i desaparegut nucli de poblament de Valldarques, la vila que dona l’altra part del nom al castell: la torre de la Vila.
Aquest conjunt de parets s’aturen prop del riu, on el pendent no facilitaria la construcció de cases. És en aquest indret on identifiquem un llarg mur, que probablement hauria fet les funcions de muralla d’aquesta vila medieval. Sense cap mena de dubte, ens trobem davant d’un dels recintes medievals més ben conservats de l’Alt Urgell.
A part de la cita a l’acta de dotalia de la catedral d’Urgell, Arques apareix documentat l’any 909 en l’afrontació d’una donació efectuada pel comte d’Urgell Sunifred II. Força anys més tard, el 1023, trobem la primera cita del castell, en un llegat testamentari consistent en una terra anomenada Villa, que se situava damunt del camí que conduïa a la fortalesa ("qui est super ipsa via qui vadit ad ipso kastro de Arkes").
El castell s’emplaça a la part central de la vall, des d’on exercia una tasca de domini i de control de tot el territori, que també incloïa el camí que hem descrit. A l’entorn de la fortificació i de la vila es disposen encara avui els diferents grups de cases escampades per tota la vall. El més destacable és el presidit per l’església parroquial de Sant Romà de Valldarques. El seu campanar romànic llombard de tres pisos n’és la part més vistosa. Té com a germans petits i pobres els de les enrunades esglésies de Santa Maria de Remolins i de Sant Martí de la Plana, que també presidien els seus respectius veïnats de cases aïllades. Mentre que aquests dos humils campanars de torre han sobreviscut a les seves respectives esglésies, no podem dir el mateix del campanar de l’església de Sant Maximí, situada a la veïna vall de Sallent. Aquí el campanar de torre ha romàs mutilat, mentre que l’església, d’una nau i tres absis, tot i escurçada, presenta un aspecte força íntegre. Un cas similar el trobem en una altra església propera, la del poble de Gavarra, dedicada a Sant Serni. El seu campanar circular, germà petit del de Santa Coloma, va patir ruïna a principi del segle XX, conservant-se només un pis dels que tenia, amb finestres geminades. La mutilació va ser coronada posteriorment amb un campanar d’espadanya, que avui encara podem contemplar. Del poble de Gavarra també hem de citar el seu castell, situat damunt d’una penya a la part superior del poble, talaia muntanyenca de la plana.