Surt esmentat al Pariatge del 1278 conjuntament amb els de Sallent, Galleuda i Centinyà, com a dominis del comte de Foix, en tant que vescomte de Castellbò. La posició d’aquesta fortalesa desperta encara avui certa controvèrsia i debat entre estudiosos. El Marcel Fité, que és el més bon coneixedor de la història de Coll de Nargó, creu, “sense posar la mà al foc”, que es podria localitzar en l’indret anomenat la Roca Alta, al nord de l’actual nucli de població. Al capdamunt de l’esmentada roca, que s’hi accedeix per un enfilat camí, força aeri, hi ha excavat un pou, anomenat Pou dels Moros, que Fité troba similar al del castell de Ponts. Malauradament, un excés de prudència ens va fer girar cua mentre érem prop de coronar la roca, que pel que ens han comentat, no conserva cap parament. La inclinació que fa creure Fité, amb dubtes, que podria tractar-se del castell medieval és l’esment a l’Spill del Vescomtat de Castellbò, del 1519, “Lo castell de Nargó ere cituat sobre una rocha molt alta e molt fort, ara no y a perets sinó la rocha munda”.
La vila de Nargó, enfilada en el vessant muntanyenc, té com a punt àlgid el cap del Roc, indret on hi ha la seva part més antiga, la vila closa, d’antic tancada per dos portals, dels quals encara se’n conserven les arrencades. Dins d’aquest recinte medieval hi trobem l’església del Roser, on hi ha el museu dels raiers, indret on Marcel Fité identifica la base d’una torre circular. Com diu l’Spill, “les cases fan muralla”. Aquesta part de la vila s’ha conegut tradicionalment amb el nom de castell. La posició dels murs de les cases, tancades sobre l’enfilat espadat que cau a la carretera, en són un bon testimoni. El que sí és cert, és que l’emplaçament de bona part de la part històrica de Nargó, en un collet que feia el camí ral que venia d’Organyà i baixava cap a Oliana, ha acabat donant-li el nom de Coll de Nargó.
Nargó no sempre ha estat situat en aquest indret, Fité ens explica que rere la Roca Alta, a la partida del Vilarenc, hi podria haver hagut una població d’època ibèrica, que en ple domini romà s’hauria desplaçat al pla, conformant una vil·la, situada prop d’on el segle XI s’alçà l’església de Sant Climent a tocar del campanar preromànic. Just al costat d’aquest emblemàtic temple hi ha la partida anomenada les Viles. Aquest lloc conservava el segle XI la denominació de Palatio (palau), que alguns historiadors vinculen a la tardoantiguitat, al període visigot, i altres també a l’andalusí. Una permuta de terres de l’any 1089 situa el Palau sota de la via o camí. La terra permutada limitava amb terres de Sant Climent i amb el propi camí, que rep la denominació d’strata, que ben bé podria ser la que s’enfilava cap al pla de Tolustre i baixava cap a Ponts passant per Isot i Gavarra. Cal recordar també la importància que tenia Nargó, com a vila més meridional del vescomtat de Castellbò, i la seva relació amb el pas de les ramades andorranes.