Vestige du palais de Philippe IV, le Casón del Buen Retiro abrite la bibliothèque du Prado. On peut entrer pour admirer le grand salon central, ancienne salle de bal du palais, dont le plafond est orné d'une magnifique fresque de Luca Giordano et dont les murs sont garnis de tableaux aux sujets historiques.