Le château date de l’époque de Louis XIII.
Il est rebâti au 17e siècle, probablement par la famille de Baillon, et totalement transformé par Edme Mathurin Le Jariel, écuyer du roi, seigneur de Forges de 1717 à 1729.
Le domaine de Forges reste dans la famille Le Jariel jusqu’en 1810. En 1819, le château est acheté par Pierre Antoine Robert de Saint-Vincent. Ses descendants en sont toujours propriétaires.
L’édifice à un étage, de style classique, se compose d’un corps central, surmonté d’un attique couronné d’un fronton triangulaire, et de deux pavillons avec combles à la française, percés de lucarnes, qui flanquent ce corps central.
La grille d’entrée, faisant suite à un haha (ouverture exécutée dans un mur de clôture, avec un fossé au dehors, pour prolonger une perspective ou dégager une vue) est également du 18e siècle, et est inscrite à l’inventaire supplémentaire des monuments historiques depuis 1963.