Deux maisons médiévales datant du XIIIe ou XIVe siècle sont remembrées au XVe siècle. L’hôtel particulier est à nouveau remanié au XVIIIe siècle par le négociant Fulcrand Roux. Cinq salles médiévales du rez-de-chaussée, voûtées d’arêtes et d’ogives, forment aujourd’hui un ensemble unifié, donnant sur le jardin de l’hôtel et décrivant un arc de cercle sensible à la vue. Cet espace, appelé salle Pétrarque, est mis à disposition par la Ville pour des conférences et des réunions. L'hôtel de Varennes est propriété de la ville, inscrit au titre des Monuments historiques le 28 mai 2018.