Les idées de modeste pavillon d'été que nourrissait Christian IV en 1606 ne résistèrent pas longtemps à sa frénésie de bâtisseur : au fil des ans, l'édifice devint un véritable château. Les techniques les plus avancées de son temps y furent introduites : salle de bains avec eau courante, pont-levis actionné depuis le salon d'hiver... En 1710, le palais cesse d'être une résidence royale, Frédéric IV le jugeant trop petit. Depuis 1833, il est ouvert à la visite et abrite les trésors de la couronne.