En època musulmana s’anomenava la Suda. Fou aixecat per iniciativa dels Banu Qasi, que en les primeres etapes de domini musulmà controlaven bona part de la vall de l’Ebre, des de Navarra fins a la ciutat de Lleida, que en aquell temps els andalusins en deien Làrida.
Anys després, el 1149, els comtes Ramon Berenguer IV de Barcelona i Ermengol VI d’Urgell emprengueren la conquesta de la ciutat. El castell, nucli de poder de la població, canvià de propietaris. Des d’aquell moment, Lleida esdevingué una de les ciutats més importants del país. Un any després, el 1150, la unió matrimonial de Ramon Berenguer amb Peronella d’Aragó convertí la fortalesa en la residència dels monarques quan estaven en aquesta regió. Per aquest motiu cal anomenar-lo: el Castell del Rei.
Avui poc resta d’aquesta fortalesa, situada al capdamunt del turó de la Seu, que a part de la catedral allotjava també altres edificis residencials de l’elit ciutadana, com el palau episcopal. Després de la Guerra de Successió, la seva conversió en una caserna va deixatar per sempre més aquest espai urbà, esborrant aquest passat esplendorós i donant-li el que té encara avui, el d’una fortalesa militar moderna. Una llàstima.
La tradició lliga Lleida i aquest castell com el lloc on es van signar els primers pariatges d’Andorra, el 1278. La signatura del notari públic de Lleida, Arnau de Vall-Llebrera, és la pista que indica als entesos que molt probablement se signaren a la capital del Segrià. El lloc molt possiblement havia de ser el castell, atès que era la residència del rei, i pel fet que disposa d’un gran saló apte per a la celebració d’audiències i corts.
Imaginem-nos per un moment com devia ser la signatura del document a Lleida, amb la presència no només del rei Pere el Gran, el bisbe Pere d’Urtx i el comte Roger Bernat III de Foix, sinó també de nobles i de molts canonges de la catedral. Cal tenir en compte que els que no hi pogueren anar ho subscrigueren més tard. El trasllat de la comitiva de clergues des de les terres altes d’Urgell fins a Lleida devia impressionar. No era habitual. Com també ho devia ser el retorn. Molt probablement la corrua de cavalls i mules devia seguir bona part dels camins que vorejaven el riu Segre, fent posta en parròquies de la seva jurisdicció, on tenien cases, com Balaguer o Oliana. També devia impressionar la comitiva del comte de Foix, que hi devia anar acompanyat dels seus cavallers més fidels. El camí de retorn del Pirineu també devia despertar la curiositat dels habitants de la plana i dels castells riberencs del Segre.
Avui, viatjar a Lleida ens costa poc més de dues hores en cotxe si no fem parada i fonda a Ponts. En aquella època devia ser de més d’un dia, sense tenir en compte els necessaris descansos dels animals de transport. El Castell del Rei i la Seu segellen encara avui el paisatge de Lleida, visibles com són i eren des de molt lluny. Per impressionar els passants i per indicar als llunyans que era tota una capital.