La seigneurie est citée depuis le XIe siècle comme possession des Talleyrand de Périgord. En 1883, le château est légué par la famille à l'hospice de la ville. L'aile nord qui abrite le châtelet d'entrée a été reconstruite à la fin du XIXe siècle. Le corps de logis en fond de cour, de plan en U, date des 15e-XVIe siècles. Une grosse tour carrée se trouve au sud-ouest de l'aile orientale. Datant de la fin du XVIe siècle, elle reçoit comme le reste du logis des toitures mansardées refaites au XVIIIe siècle. Bien que vidé de son mobilier, l'intérieur a conservé ses cheminées, ses boiseries, ses dessus-de-porte peints, des alcôves et des plafonds à poutres apparentes dont certaines gardent des traces de décor peint.