Sorgenfri Slots nuværende bygninger stammer fra 1757, hvor de blev opført af Sophie Caroline af Ostfriesland. Hun var søster til dronning Sophie Amalie, og levede som enke i 30 år. På stedet lå tidligere en gård ejet af Roskilde bispestol. Gården overgik til kronen ved reformationen i 1536. Stedet var så i privat eje indtil 1730, og tjernte bl.a. som sommerbolig for Ulrik Frederik Gyldenløve. Gården blev nedrevet og erstattet af to på hinanden følgende bygninger. Slottet har været bolig for Christian 8 og Christian 10 og senest for Arveprins Knud.