Ce vaste terre-plein pentu était cerné par un rempart épaulé par une dizaine de tours, sauf du côté du grand fossé, il n'en reste que très peu de vestiges visibles.
D'après les textes anciens, le rempart qui ceinturait le Château-Vieux était fort épais; il était composé d'un parement de silex et de grès à l'extérieur, d'un bourrage de craie d'au moins "six pieds" d'épaisseur (environ 2m) et d'un parement intérieur auquel était adossée une large courtine de terre.

Sur la gauche, il y avait au moins une tour, peut-être deux, mais lors de la destruction de 1537, toutes les maçonneries et les terres sont tombées en contrebas.
Dans le haut du terrain à partir de la gauche, la première tour s'appelait "tour vers Caillimont" [N°3 du plan] et la seconde la "tour au Mantel" (son sommet était peut-être ceinturé d'un hour de bois (galerie circulaire))
[N°2 du plan]

La hauteur principale, à la pointe du V que décrivait la muraille présente à son sommet une plate-forme d'une trentaine de mètres de diamètre [lettre A du plan]
C'est l'emplacement d'un moulin à vent construit par les Comtes après 1537, avec les pierres de démolition; il fut construit un peu avant la Révolution.
Mais il est possible que, dans l'état primitif du Château, cette motte ait porté la première tour de bois, résidence des premiers Comtes... De là-haut, la vue embrassait toute la contrée, qui était couverte d'une forêt, et la tour dominait le village qui s'appelait peut-être "Rougemont".
Sur le terre-plein, la municipalité a récemment planté un labyrinthe végétal. Au Moyen-âge, cet énorme terre-plein du Château Vieux portait des constructions de bois et de torchis, couvertes de chaume; avant le XIII ème siècle, il s'agissait peut-être, en partie, d'habitations. Après la restructuration du château, on trouvait là des granges, une écurie, les tas de fagots et les bois de chêne à brûler, ainsi que les matériaux et bois d'oeuvre pour l'entretien de l'ensemble des murailles et des constructions.
Sur la droite du plan [N°1], deux hautes tours encadraient la porte principale du Château, porte à pont-levis sur le fossé, permettant d'accéder à l'actuelle rue du cimetière, à l'Est de la ville (et autrefois dans la campagne), et constituaient l'entrée normale du Château pour les cavaliers et les voitures.
De l'autre côté du fossé, se dressait la muraille de grès du "Château neuf" et également une seconde porte à pont-levis encadrée de tours [N°4 et N°5 du plan]. Ainsi pour pénétrer dans le Château neuf, en venant de la campagne avec chevaux et voitures, il fallait franchir un premier fossé et une première porte à herse et pont-levis, traverser l'extrémité du terre-plein du Château vieux, puis un châtelet de pierre, puis le grand pont et une seconde porte à pont-levis ! l'entrée du Château était bien gardée !.
Légèrement à droite, la motte du Château neuf, aujourd'hui plantée de hêtres, portait une haute et grosse tour dite "tour plombée" [N°7 du plan]; entre cette tour et la porte, existait une autre tour coiffée d'un toit en poivrière, nommée "tour des Comtes" [N°6 du plan]. Mais cet ensemble imposant qu'on pouvait croire imprenable n'était pas sans faiblesse; au XV ème siècle un pan de la muraille s'était effondré dans le fossé entre la porte et la "tour le paon".
Voilà ce qu'on peut dire du Château vieux au vu de nos connaissances actuelles.