L’ancien collège des oratoriens avait été fondé en 1626 pour l’éducation des garçons de la petite noblesse. L’Histoire a surtout retenu le nom de l’un des professeurs : Jean Baptiste Massillon, devenu un prédicateur réputé à Paris, qui a prononcé les oraisons funèbres de tous les grands personnages de l’Etat du début du XVIIIe siècle, dont celle du roi Louis XIV, en 1715.

Confisqué à la révolution comme bien national, Siège de la Préfecture de la Loire pendant 60 ans, c’est dans la chapelle transformée en salle des délibérations que siégeait le Conseil général durant cette période.