L'hôpital est fondé au 16e s. par le cardinal Tavera. Après la guerre civile, la duchesse de Lerma aménage, dans l'aile gauche, de somptueux appartements dans le style du 17e s. Au rez-de-chaussée se trouve une belle bibliothèque, et parmi les toiles exposées, on remarque La Sainte Famille du Greco, et au 1er étage, le Portrait du cardinal Tavera. Au centre du patio, une galerie mène à l'église où est exposé le remarquable Baptême du Christ du Greco.