Ved sit ægteskab med Birgitte Gøye erhvervede Herluf Trolle gården, Hyllersholm, som lå på den yderste af tre holme i slotssøen i Hillerød. Her opførte han en ny hovedbygning i stil med Egeskov slot, altså som et dobbelthus. Slottet mageskiftede han med Frederik 2 i 1560 i bytte for Skovkloster ved Næstved. Frederik 2 ombyggede Herluf Trolles gård til et kongeslot med bebyggelser på alle tre holme. De nuværende bygninger på den inderste holm stammer fra Frederik 2. Christian 4, som var født på slottet, besluttede at nedrive bygningerne på den mellemste og yderste slotsholm. Her opførte han sine egne bygninger med hovedslottet på den yderste holm i starten af 1600-tallet. I 1665 under Frederik 3 brændte Audienshuset og Løngangen, men disse bygninger blev restaureret under Christian 5. Christian 6 boede på slottet i 10 år fra 1733 til 1743 mens Københavns Slot blev nedrevet og det nye Christiansborg Slot blev bygget. Frederik 7 og Grevinde Danner boede ofte på slottet, men i december 1859 gik det galt. Hovedslottet brændte, men Audienshuset, Løngangen og bygningerne på de to andre holme blev skånet. Kort tid efter branden startede genopbygningen, hvor man kunne bruge de gamle mure. Med store tilskud fra brygger J.C. Jacobsen blev det indre istandsat og slottet blev omdannet fra kongebolig til et nationalhistorisk museum i Christian 9’s regeringstid.
Til minde om mageskiftet i 1560 blev der opsat to stentavler, som formentlig er forfattet af Herluf Trolle.
På dette maleri af Frederik 2’s Frederiksborg ses de tre holme med bebyggelser. Til venstre, den inderste holm med de bygninger, som stadig ligger der. I midten og til højre den mellemste og yderste holm. Bygningerne her er alle erstattet med andre af Christian 4.
En tur gennem inderholmen.
En tur over S-broen og mellemholmen.
I marts 1658 afholdt Frederik 3 en storslået banquet på slottet for sine svenske sejrherrer.
Hovedslottet brændte i 1859, men blev efterfølgende genopført så vidt muligt med det originale udseende.
De enevældige konger fra og med Christian 5 blev salvet i slotskirken.
Slottet har været ramme om mange historiske begivenheder. I 1658 afholdt Frederik 3 en storstilet banket for Karl 10 Gustav efter indgåelsen af Roskildefreden. I 1720 blev fredsaftalen efter Store Nordiske Krig indgået på slottet.
Frederiksborg Slotshave
Frederik 4 anlagde haver i barok stil ved nogle af sine slotte. I dag er Frederiksborg Slotshave en markant repræsentant for disse haveanlæg. Haven blev anlagt i 1720’erne, da man nedrev anlægget Sparepenge. Det er et anlæg med bassiner, rindende vand og fontæner i streng symmetrisk opbygning. Anlægget forfaldt i slutningen af 1700 tallet, men blev nyrenoveret i 1990’erne. I slotsparken kan man finde et mærkeligt vidnesbyrd om Christian 4’s afbrudte forhold til Kirsten Munk. Se nærmere her.