En l'an 1202, alors que Philippe Auguste régnait sur la France, le pape Innocent III appela la chrétienté à se lancer à la conquête de Jérusalem.
Hugues IV Campdavène, Comte de Saint-Pol, se joignit à cette croisade (la quatrième). Avant de partir, il dota sa bonne ville d'une charte.

"Moi, Hugo, Comte de Saint-Pol et Yole, Comtesse mon épouse, à tous les fidèles à jamais, salut. Vous saurez que nous avons donné et concédé aux bourgeois de Saint-Pol et à leurs héritiers, pour qu'ils la possède à jamais, une commune".
Fait en l'an de grâce MCCII au mois de mars.

Hugues IV Campdavène ne revint jamais à Saint-Pol, il mourut en 1205 à Démotica (empire latin de Constantinople), ses héritiers ne remirent toutefois pas la charte en cause, son petit fils Hugues de Châtillon la confirma en 1227.

L'ANCIEN CHATEAU FEODAL

Nous ne connaissons pas l'origine de ce château féodal... Fût-ce d'abord un petit oppidum gaulois ?
L'existence sur le "Mont" (lieu situé à 600 m de cette zone) d'un ancien cimetière dans lequel des monnaies gauloises ont été trouvées, pourrait y faire penser, mais nous n'en n'avons aucune preuve...
Fût-ce une forteresse construite à l'époque des invasions normandes (fin du IX ème siècle) pour leur barrer le passage ? Ou bien la résidence d'un Comte du Ternois vers le X ème siècle ? C'est l'hypothèse la plus probable.
Notre seule certitude, c'est qu'un point de défense existait ici au début du XI ème siècle.

Mais il s'agit à cette époque, d'une motte portant une forte tour de bois entourée de palissades. Etant donné l'importance totale du site (3 ha), on pourrait penser qu'un village de huttes (en bois, torchis et chaume) était inclus dans cet ensemble défensif... mais ce village pouvait également être situé à l'extérieur, à proximité de l'ancien cimetière, vers l'Est ; la première motte pourrait avoir été placée à la pointe Est du site, dominant la forêt d'où venait le danger.

Le premier Comte résidant dans ce "castrum" qui est "dit de Saint-Pol", et dont nous connaissons l'existence avec certitude, s'appelle Roger. Il habite ici au début du XI ème siècle, il fait construire une collégiale dénommée "Saint Sauveur", avec douze chanoines, et la dote d'une brasserie et de fours à pain... Cette collégiale était probablement bâtie à l'emplacement des chapelles du "Château neuf" que nous aborderons plus tard.
Un des successeurs de Roger, Hugues II de Campdavène, guerroie contre le Comte de Flandre Charles le Bon; celui-ci vient l'attaquer, il brûle la tour de bois, résidence du Comte, ainsi que le village, vers 1119.

La reconstruction qui s'ensuit, dans la seconde moitié du XII ème siècle, va transformer totalement le site : sur la motte qui le surplombe (et qui à peut-être été créée à cette époque), c'est un donjon carré en pierres qu'on reconstruit, et l'ensemble de la surface est ceinturé de murailles de grès et de silex, ponctuées de nombreuses tours.
Une nouvelle transformation intervient un siècle plus tard, vers le milieu du XIII ème siècle.
Cette enceinte très vaste étant impossible à défendre (les Comtes de la famille de Chatillon, nouveaux propriétaires du château, n'y résident pas), le Comte Hugues décide de couper le site en deux, en creusant un énorme fossé ; il abandonne la partie Est qu'on appellera "le Château Vieux", et reconstruit toute la partie Sud-ouest dominant la ville : c'est ce que nous appelons "le Château Neuf", dont les bâtiments seront complétés et embellis aux XIV ème et XV ème siècles par les Comtes de la famille des Luxembourg, avant de disparaître complètement, avec toute la ville, dans la destruction totale de 1537.