Pour sa forteresse, Renaud de Waimes tira donc parti des défenses que le lieu présentait naturellement. Au Sud et à l’Ouest, un à-pic de 60 mètres ; à l’Est, une fracture dans le massif rocheux que l’on pouvait tailler et approfondir pour en faire une tranchée infranchissable. Le côté Nord, par contre, était vulnérable : il exigeait la construction d’une puissante tour et d’une solide poterne. Tout cet ensemble, bien évidemment, devait être ceinturé de fortes murailles protégeant également la basse-cour.
C’est ainsi que fut érigé autour d'un puissant donjon un château fort typique de cette région où l’Ardenne devient l’Eifel, à vrai dire le seul château de ce type sur le territoire belge. Toutes proportions gardées et en tenant compte de topographies différentes, on peut le rattacher à beaucoup de châteaux rhénans.
Le seul élément défensif – et le seul bâtiment – resté presque intact depuis le Moyen Âge est la tour dite "Saint-Hubert". Elle servait, nous l’avons vu, à renforcer le côté Nord de l’enceinte. Il s’agissait à l’origine d’une tour du type "à gorge ouverte" qui, comme son nom l’indique, ne possédait pas de façade vers l’intérieur. C’était astucieux : l’assaillant qui aurait réussi à s’en emparer n’aurait pu la "retourner" contre le château. Son aspect actuel date de sa transformation en logement au XIXe siècle.
Avec la généralisation de l’artillerie au XVe siècle, le château perdit rapidement toute valeur militaire. Il subsista néanmoins, à l’exception du donjon rasé par les troupes de Louis XIV, toujours transmis par héritage de famille en famille depuis les Waimes. S’y succédèrent les Zivelle, les Brandscheidt, les Nassau et enfin, à partir du XVIe siècle, les Metternich, illustre lignée qui le conserva jusqu’au début du XIXe siècle. Deux dessins de l’artiste spadois Mathieu Xhrouet (1672-1747) montrent le château en 1738. À cette époque, il avait encore belle allure même si les Metternich n’y séjournaient plus guère. Mais hélas, abandonné à la fin de l’Ancien Régime, vendu en 1812 à un démolisseur, le château devint progressivement cette ruine romantique qui allait attendre un siècle et demi pour renaître.