La première mention d’un seigneur de Gironde, Arnaud, se trouve dans un cartulaire de Conques aux environs de l’an 1080. Cette première famille devait se maintenir à Gironde jusqu’en 1330, c’est elle qui à l’intérieur du château a fondé la première chapelle. C’est le Seigneur du Bec d’Ambez Arnaud IV de Gironde qui au début du XIIIe siècle fut pressenti par le Roi d’Angleterre pour départager les riverains de la Dordogne et de la Garonne, se disputant pour savoir comment devait se nommer l’estuaire après la réunion des deux rivières. Il ne trouva pas d’autres choix que de l’appeler Gironde. Les Felzins deviennent propriétaire du château en 1580 et le demeurent jusqu'en 1907. Ce sont ces derniers qui reconstruisent le château suite à son incendie le 12 août 1676. La Révolution française a ruiné sans retour la famille de Gironde : en 1907, les deux dernières comtesses vendent le domaine à Louis Panassié. Son fils, Hugues Panassié lègue la chapelle à l’évêché de Rodez et en 1952 vend le château aux oeuvres sociales de la ville de Constantine. Le château a été offert ensuite à une famille française, les Troussel, moyennant leur départ d’Algérie. Ce sont Madeleine et Henri Troussel qui le revendent à la famille Desprat, propriétaire du château encore aujourd'hui. Le 10 octobre 1970, la foudre s’abat sur les toitures et les embrase. La demeure détruite, fut reconstruite grâce à l’obstination du propriétaire, Roger Desprat, qui après quelques semaines de résidence dans ce lieu, s’est pris d’un fort attachement pour l'édifice. En 1971, c’est au tour de la chapelle de subir l’outrage du feu. C’est l’abbé Raymond Lacassagne qui est à l’origine de sa restauration et qui veille à l’amélioration de ses abords.