Construit par le doyen de la collégiale Saint-Maxe, le bâtiment présente une architecture typique du style lorrain du XVIe siècle, influencée par l'art et les techniques de la Renaissance. Afin d’offrir un enseignement de qualité aux jeunes du Barrois, Gilles de Trèves décide de financer la construction d’un collège à mi-pente entre la Ville Haute et le Bourg. Les jésuites dirigent l’établissement de 1617 à 1762, date de la dissolution de leur ordre. Transformé en lycée puis en école de jeunes filles au XIXe siècle, l’édifice est un lieu d’enseignement jusqu’en 2002. Il fait depuis l’objet d’une restauration importante.