La position de Rochebrune a été occupée par une forteresse d'une importance secondaire dès le début de la féodalité. L'édifice se compose de trois ailes de bâtiments entourant la cour d'honneur. De grosses tours cylindriques flanquent les angles. Elles ont été attribuées par certains aux 11e et XIIIe siècles. Peut-être à cette époque y eut-il à leur place des ouvrages fortifiés. Dans leur apparence actuelle, elles se rapprochent davantage du XVIe siècle. L'entrée se fait par un portail plein cintre et deux petites portes.