Karlsborg eller Hornborg blev anlagt af svenskerne i 1400-tallet for at beskytte Sveriges adgang til havet. Navnet havde borgen fra Karl Knutson, som var blevet konge i Sverige på trods af unionen med Danmark og Norge under Christian 1. Borgen blev udgangspunkt for Gustav Vasas felttog i Viken. I 1532 indtog Christian 2 borgen. Han kom fra Oslo og forsøgte at bemægtige sig området både fra Gustav Vasa og Frederik 1. Han måtte dog hurtigt opgive borgen igen