Les récollets (religieux franciscains réformés) entreprirent ici la construction d'un monastère et d'une chapelle en 1693. L'ensemble fut complété en 1742. Ajoutée en 1754, l'aile adjacente est aujourd'hui intégrée à la structure. Après la Conquête, le complexe fut utilisé comme palais de justice et même comme prison. La chapelle devint un lieu de culte anglican en 1823.