Borgen Haderslevhus er opført i 1200 tallet som borg for hertugerne af Slesvig. I dag vidner kun gadenavne og forsamlingshuset Haderslevhus om borgen. Fra 1490-1544 var den kongeborg. Bl.a. boede Christian 3 og Dorothea på borgen i Frederik 1‘s regeringstid. Herfra indførte Christian 3 lutheranismen i Haderslev, inden den var blevet officiel dansk religion, og her blev hans søn, Frederik 2, født. Siden blev den bolig for hertug Hans den Ældre, som nedrev den og i stedet for byggede et nyt Haderslevhus – også kaldet Hansborg. I dag er der ingen synlige spor af borgen, men gaderne Slotsgrunden og Slotsgade i Haderslev ligger hvor borgen lå. Der ligger også det nuværende formsamlingshus, Haderslevhus.
Hans den Ældres nyopførte Haderslevhus lå lidt længere mod øst som et firefløjet renæssanceslot. Hans døde barnløs og den haderslevske del af Slesvig-Holsten blev delt mellem hertugen af Gottorp og den danske konge, som fik Haderslev. Opførelsen blev færdiggjort i 1585 af Frederik 2, som havde overtaget slottet. Det tjente som kongebolig, indtil det brændte i 1644. Christian 4’s bryllup blev holdt på slottet i 1597, og hans søn, Frederik 3 blev født her i 1609.
Gaden Hansborggade i Haderslev vidner om det tidligere slot