La construction de la chapelle fut longtemps attribuée à Marie de Beaucaire, baronne de Rié et fondatrice du port de Croix-de-Vie en 1610, pour le repos de l'âme de son époux. Les récentes restaurations ont révélé des vestiges gothiques attestant d'un édifice plus ancien, datant du XIVe ou XVe siècle.