De hautes murailles s’élèvent sur une falaise calcaire, en haut de la colline dominant de près de cent mètres le niveau de la plaine du Gers à ses pieds. Les chroniqueurs du temps le donnaient comme inattaquable par assaut ou par la mine. Sur toute la longueur sud de la cité, les remparts se poursuivaient sur la base calcaire, avant qu’on n’établisse la route en abattant une partie des remparts devant l’ancien château. À l’ouest et au nord-ouest les principaux corps de logis, adossés au rempart, subsistent, ayant perdu leurs couronnements et leurs tours, si ce n’est la base d’une petite tour polygonale dans la cour intérieure entre l’ancienne construction et le bâtiment de l’hôpital moderne. L’angle nord-ouest montre un bastion carré qui vient d’être restauré (2015) et rendu accessible à la visite depuis le haut et depuis les allées Montmorency. Un petit cimetière des religieuses de Nevers, qui s’occupaient des malades de l’hôpital, jouxte le bastion. Ce belvédère offre une vue étendue vers l’Ouest et le Nord.
Le château des comtes d’Armagnac est un château-fort qui occupait l’extrémité occidentale de la ville de Lectoure, remarquable par sa position en « éperon barré » quasi-inexpugnable sur des falaises calcaires et par ses fortifications. Une grande partie en fut détruite au 18e siècle pour construire un hôpital sous les ordres de l’évêque, Mgr de Narbonne-Pelet, édifice d’un grand intérêt architectural. Il subsiste toutefois du château d’importants vestiges, les remparts et des restes de fortifications.