L'histoire du bâtiment commence lorsque l'évêque Hugues de Bar l'achète en 1680 dans l'intention d'en faire un séminaire. Cependant, l'évêque revend rapidement l'emplacement aux Oratoriens de Condom dès l'année suivante. Malheureusement, en raison de ressources insuffisantes, le projet de séminaire ne se concrétise jamais. Les biens sont ultérieurement vendus comme biens nationaux et le 16 janvier 1793, Pierre Dulot acquiert les maisons et les jardins. Il réduit les dimensions du bâtiment principal pour en faire un hôtel particulier. Sur le plan cadastral de 1824, on distingue le bâtiment initial du séminaire et ce qui devait être une dépendance au nord. À l'est, une vaste étendue comprenait une vigne et un jardin, tandis qu'au sud, une terre et une autre vigne se développaient. Par la suite, en 1848, les religieuses de la Providence de Gap s'installent à Lectoure, et en 1851, une église est érigée perpendiculairement au bâtiment du séminaire, dans son angle sud-ouest. Le couvent connaît un développement rapide, avec plus de 450 prises d'habit entre 1848 et 1896. Pour agrandir le couvent, les religieuses achètent les vestiges du couvent des Dominicains, situés au sud-ouest, en 1863. Enfin, à la fin du XIXe siècle, l'ancien séminaire est agrandi au nord. Au cours du XXe siècle, suite aux lois laïques de 1901 et 1904, les écoles ferment et les sœurs se réorientent vers des activités d'infirmières, de gardes-malades et d'auxiliaires paroissiales. En 1928, le couvent de Lectoure obtient le rang de vicariat. Entre la fin des années 1970 et le début des années 1980, de nouvelles ailes perpendiculaires au bâtiment initial sont ajoutées, l'une au nord et l'autre au sud, étendant ainsi les bâtiments vers l'est. Une partie de l'aile sud est construite sur un bâtiment ancien. L'église est quant à elle reconstruite en 1946. Cette riche histoire témoigne de l'évolution et de l'importance de cette institution au fil des siècles.