Pour respecter le vœu de sa femme défunte, le duc de Bretagne François II décide en 1469 de fonder cette chapelle dans le faubourg de Richebourg. Au 19e siècle, après avoir servi d'atelier de serrurerie puis de parc à fourrage, la chapelle est rachetée par le diocèse et prend le nom d'Immaculée Conception.