Borgen Kalø blev grundlagt af Erik Menved i 1313 som en af de tvangsborge, han byggede dette år. Efterfølgeren, Christoffer 2 måtte nedrive borgen for at opfylde sin håndfæstning, men den blev genopbygget under Valdemar Atterdag. Valdemar havde erhvervet borgen fra sin egen drost, Claus Limbek, som havde taget den i pant fra Gerhard 3. I perioden 1518-19 sad den senere svenske konge Gustav Vasa som fange på borgen under Christian 2. Det lykkedes ham at undslippe forklædt som røgter, hvorefter han drog ned gennem Jylland til Lybæk med en drift stude.
