Holckenhavn hed oprindelig Ulfeldsholm og var ejet af Corfitz Ulfelds far, Jacob Ulfeld. Han solgte imidlertid gården i til Ellen Marsvin, som omdøbte den til Ellensborg. Efter Ellen Marsvins død i 1649 overgik gården til hendes datter Kirsten Munk, og herefter i 1658 til Leonora Christine Ulfeld og Corfitz Ulfeld. Det var under Karl Gustav Krigene, hvor parret var på svensk side. Efter at parret var løsladt fra Hammershus i 1661, boede de på slottet i husarrest indtil 1662, hvor de fik lov til at rejse til udlandet.
(*) På græsk staves Jesus sådan: ΙΗΣΟΥΣ ΗΜΕΤΕΡΟΣ ΣΩΤΗΡ (Jesus vor frelser)