Le palais a été édifié en 1670 comme nouvelle aile de l'abbaye bénédictine St-Georges, elle-même fondée au 11e s. Transformé en caserne depuis la Révolution, il conserve sur sa longue façade, au-dessus de ses 18 arcades, le nom de l'abbesse à l'origine de sa construction, Magdelaine de La Fayette. Il est précédé d'un beau jardin à la française ouvert au public.