La vall de Cabó rebia durant l’alta edat mitjana el nom de Nempas o vall Nempetana, que lluny d’englobar la vall estricta, també incorporava Organyà i la seva rodalia. Joan Coromines relacionava aquest topònim amb les dones d’aigua, les nimphae, deïtats de les fonts, cabaloses a l’entorn d’Organyà, així com les que trobem a la part superior de la vall de Cabó.
La relació d’Organyà amb Cabó ve de lluny i comporta que de ben segur, la família nobiliària dels Caboet hi devia residir força temps: en aquella vila hi havia la col·legiata que van fundar el 1090, i que aviat s’erigí com a referent cultural i religiós sota la seva protecció i patronatge. Però cal recordar que els Caboet eren uns senyors feudals, i com a tals, la representació del seu poder i domini s’havia de relacionar amb un castell, que en aquest cas principalment era el de Cabó.
Molt probablement el castell de Cabó, l’emblema castral dels Caboet, se situava al capdamunt del poble de Cabó, en un indret on podem veure alguna casa i paraments que es corresponen a les cases originàries de moltes famílies, que en un moment del passat van traslladar-se a l’altra banda de riu, en un indret més pla i proper a les terres de conreu. Creiem que al capdamunt d’aquesta probable vila closa hi podria haver l’antic castell. Una altra possible localització es correspondria amb el castell del Pui, que se situava també al solà. Un altre castell de nom similar, Castell Poll, s’emplaçava en una de les capçaleres de la vall, entre Montellà i Senyús. Prop d’un carener es distingeixen unes parets que es podrien correspondre a part d’aquest castell, no gaire lluny de l’indret anomenat la Creu de Castell. 
Com bé sabem, la identificació dels Caboet amb el cosenyoriu andorrà ve de lluny, les figures d’Arnau, casat amb Ermengarda de Taús, i de la seva filla Arnaldeta, que es maridà en segones núpcies amb el vescomte Arnau de Castellbò, són prou eloqüents en la història del nostre país, divulgades per Esteve Albert i Corp en la seva obra De Caboet a París passant per les Valls d’Andorra. Sense deixar la figura de l’Albert, cal recordar el seu muntatge escènic, Arnaldeta de Caboet, pubilla de les Valls d’Andorra, organitzat durant força anys per l’Associació d’Amics de la Vall de Caboet, que avui continua amb l’impuls del patrimoni històric d’aquesta singular vall.
Al cap de la vall hi havia la vila de Favà, avui una ferma casa aïllada, que estava vinculada als senyors de Taús, emparentats de lluny amb els Caboet, com han descobert no fa gaire els incansables Jesús Alturo i Tània Alaix. Mentre que Cabó, en tota la seva extensió, és la terra baixa, Taús, situat en un altiplà a 1.484 metres d’altitud al nord-oest de Cabó, constitueix la terra alta, conjuntament amb els Castells, la Guàrdia d’Ares, Sauquet i el desaparegut Saucadell. El castell de Taús se situava al capdamunt de la població, en un indret que encara avui s’identifica amb aquest nom, on són perceptibles els pocs paraments conservats de la fortalesa. La seva cara nord queda resguardada per un tall en la roca que fa de muralla natural anomenat la Tallada. El poble de Taús és un clar exemple d’encastellament, amb els carrers disposats a diferent alçada de forma concèntrica respecte el castell. L’entrada al poble, que estava emmurallat, es feia a través de diferents portals, dels quals se’n conserva un. El principal se situava prop de l’actual església de Sant Julià. 
Els Taús, com els Cabó, eren una família extensa, que comprenia també els Orcau, comandats per Ermengarda, la muller d’Arnau de Caboet. Un enfrontament entre les diferents branques d’aquest clan per la possessió dels seus castells va acabar l’any 1194 amb una concòrdia, que comprenia els habitants que cada senyor havia de tenir a Taús, els Castells, Sauquet i Saucadell.