Bâti sur un site antérieurement occupé (un pont et les vestiges d’une tour en témoignent), le château de l’Herm est construit au début du XVIe siècle par Jean de Calvimont, magistrat ayant accédé à la noblesse de robe, et achevé par son fils qui fut ambassadeur de François Ier auprès de Charles Quint. À partir du XVIIe siècle, dans un contexte de contentieux autour de sa possession, il devient la propriété des Hautefort. Cependant, à cette période et durant le XVIIIe siècle, il cesse d’être habité par ses propriétaires et abrite désormais des fermiers et des espaces de stockage. Les Hautefort le vendent en 1805 et le château, passant de main en main, est démantelé à cette époque (il est décrit en ruine en 1830). Il accède à une certaine notoriété quand le romancier Eugène Le Roy en fait le théâtre de son livre « Jacquou le Croquant ». En 1927, une inscription au titre des Monuments Historiques permet d’empêcher le retrait de ses cheminées. En 2020, des travaux de restauration sont entrepris pour une durée prévue de 7 ans. Il est classé en 2022 sous l'impulsion de l'Inspection des Monuments Historiques. En 2024, le château de l'Herm est retenu comme projet emblématique de la région Nouvelle-Aquitaine par la Mission Patrimoine, portée par Stéphane Bern et la Fondation du Patrimoine.