Dragsholm Slot er grundlagt i starten af 1200-tallet af Peder Sunesen. Dette kan ses af, at nogle vinduer på slottet har præcis samme udformning som tilsvarende vinduer i Roskilde Domkirke, som blev opsat i biskop Peder Sunesens tid. Slottet var altså oprindeligt ejet af Roskilde bispestol. Bl.a. ejede Peder Jensen Lodehat slottet i starten af 1400-tallet. I 1536 men blev slottet overtaget af kongen, og fra 1664 var det i privat eje. Fra 1573-1578 sad jarl James Hepburn af Bothwell fanget på slottet, hvor han også døde. Jarlen havde været gift med den skotske dronning Mary Stuart, som var tipoldebarn af Christian 1.