Fra middelalderen havde kongen her et jagtsted, kaldet Ibstrup. Christian 4 lod bygge et slot til sin dronning Anna Cathrine, men det stod først færdigt efter hendes død. Ulrik Christian Gyldenløve, som var uægte søn af Christian 4 og Vibeke Kruse blev født her i 1630. Christian 5 omdøbte slottet til Jægersborg, og sønnen, Frederik 4, lå syg af kobber på slottet i efteråret 1700. Det blev brugt som jagtslot frem til 1761, hvor det blev revet ned under Frederik 5, som ellers havde brugt slottet meget. Tilbage er kun Jægergården fra 1734.
