La première mention de ce domaine apparaît en 1641. À cette époque en effet, la Croix-Blanche, appelée alors « La Plaisance » appartenait à Samuel Madieu. Au siècle suivant, il existait deux maisons sur le domaine. L’une appartenait à la famille de Mathieu Grelaud jusqu’en 1816, puis à René Metay et puis l’autre fut vendue en 1746 à Étienne Chesneau. Seigneur des fiefs Nerbert et Charuelle, il était chef de division des canonniers garde-côtes. C’est lui qui fit construire entre 1746 et 1767 une maison de campagne, correspondant à la demeure actuellement existante. Par la suite, la Croix-Blanche est devenue propriétaire de Jacques Laidet-Pan, négociant à Saint-Domingue, jusqu’à la veille de la Révolution, puis de Pierre-François Baudin-Bullaire, qui fit agrandir la propriété.
La demeure de la Croix-Blanche constitue un bon exemple de demeure rurale notable au XVIIIe siècle. Lors de sa mise en vente, en 1786, elle était ainsi décrite en : « une maison de campagne appelée la Croix-Blanche .... Consistant en logement de maître, composé de deux chambres basses, un salon, une salle, une cuisine, quatre chambres hautes, un cabinet et un pavillon. Puis d'une cour d’entrée : celliers à droite avec deux treuils à roue, un fouloir en pierre de taille, le tout en état de loger deux cents tonneaux de vin, maison de bordier à la gauche ; brûlerie, autre cellier, écurie, une basse-cour, avec un poulailler, parterre, jardin garni d’arbres fruitiers… ».
Il s’agit d’une demeure rectangulaire d’une grande élégance, propre aux XVIIIe siècle, dotée de nombreuses et amples baies. De vastes bâtiments (anciennes servitudes), s’étendent perpendiculairement au logis. Ceux-ci ont fait l’objet d’importantes modifications.