La première forteresse de Gallardon date du début du Xème siècle et était probablement construite en bois.
Elle est reconstruite en pierre en 1025 par Albert de Gallardon. Ses successeurs contribuent pendant deux siècles à l’extension des fortifications de Gallardon. A son apogée, le château dominait les alentours. Son donjon de 38 mètres de haut, était entouré d’une enceinte de 350 mètres, flanquée de huit tours. L’ensemble était entouré de fossés de 20 mètres de large et de 8 mètres de profondeur.
L’emprise extérieure du château avait une superficie de 9800 m2 pour une surface intérieure de 5100 m2.
Au cours des XIème et XIIème siècle, les successeurs d’Albert de Gallardon n’auront de cesse de renforcer les défenses de la ville. Ils font construire une enceinte fortifiée comportant cinq portes chacune étant composée d’une herse, d’un pont-levis et d’un bastion : la Porte Mouton, la Porte Notre Dame de la Fontaine, la Porte de la Herse et la Porte de Bretonnière.
L’enceinte est protégée de fossés secs sur les pentes (notamment à l’emplacement de l’actuelle place du Jeu de Paume) et de douves remplies d’eau dans la vallée.
C’est au début du XVème siècle avec la guerre de cent ans que le sort de la forteresse se joue. Elle subit huit sièges successifs. L’un d’eux est fatal et entraîne en 1421 la perte du château, laissant le donjon dans l’état où nous le connaissons aujourd’hui. Peu à peu les fortifications de la ville sont démantelées jusqu’à la destruction de la dernière porte en 1848 : La Porte-Mouton qui a laissé son nom à la rue où elle était bâtie.
