Borgen Haderslevhus er opført i 1200 tallet som borg for hertugerne af Slesvig. I dag vidner kun gadenavne og forsamlingshuset Haderslevhus om borgen. Fra 1490-1544 var den kongeborg. Bl.a. boede Christian 3 og Dorothea på borgen i Frederik 1‘s regeringstid. Herfra indførte Christian 3 lutheranismen i Haderslev, inden den var blevet officiel dansk religion, og her blev hans søn, Frederik 2, født. Siden blev den bolig for hertug Hans den Ældre, som nedrev den og i stedet for byggede Hansborg. I dag er der ingen synlige spor af borgen, men gaderne Slotsgrunden og Slotsgade i Haderslev ligger hvor borgen lå. Der ligger også det nuværende formsamlingshus, Haderslevhus.
Hans den Ældre rev Haderslevhus ned og opførte Hansborg lidt længere mod øst som et firefløjet renæssanceslot. Hans døde barnløs og den haderslevske del af Slesvig-Holsten blev delt mellem hertugen af Gottorp og den danske konge, som fik Haderslev. Opførelsen blev færdiggjort af Frederik 2, som havde overtaget slottet. Det tjente som bolig for Hans og hans efterfølgere, indtil det brændte i 1644. Christian 4’s bryllup blev holdt på slottet i 1597, og hans søn, Frederik 3 blev født her i 1609.
Gaden Hansborggade i Haderslev vidner om det tidligere slot