Lidt vest for den nuværende by, Kungsälv, hvor Kastellegården ligger i dag, lå middelalderens Kongshelle, som var en norsk grænseby mod Sverige. Byen blev beskyttet af borgen Ragnhildsholm.
I 1042 mødtes norske Magnus den Gode og danske Hardeknud her og indgik en aftale om at hvis en af dem døde, skulle den anden få herredømmet over begge riger. Det blev aktuelt samme år, da Hardeknud døde i London. I 1078 mødtes norske Olav Kyrre og danske Knud den Hellige, som ikke var blevet konge endnu, og indgik aftale om fælles togt mod England. I 1101 blev der afholdt fredsmøde i Kongshelle under ledelse af Erik Ejegod, som fik sluttet fred mellem norske Magnus Barfod og svenske Inge den Ældre. Ved mødet blev grænsen mellem Norge og Sverige fastlagt.
O. 1136 blev Kongshelle angrebet af venderne, som blev slået tilbage af Erik Emune
Efter 1286 blev de sammensvorne fra drabet på Erik Klipping installeret her.
I 1532 blev Kongshelle indtaget af Christian 2. Han kom fra Oslo med en styrke og overvandt byen, som inden da var på Frederik 1‘s side. Christian trak sig dog hurtigt tilbage til Oslo.
Christian 4 flyttede Kongshelle til et område på den anden side af elven ved Bohus Fæstning. Byen hedder nu Kungälv.