Det nuværende rådhus i Aarhus er det fjerde. Det første rådhus fra middelalderen lå på Store Torv, og er omtalt i 1462. Det blev på et tidspunkt erstattet af den andet rådhus, som også lå på Store Torv lige over Domkirken.
Det andet rådhus blev nedrevet i 1859 og erstattet af det tredje rådhus, som blev bygget nord for Domkirken. Her havde tidligere ligget en gård, kaldet Aarhusgården. Denne gård var bispebolig indtil reformationen og derefter bolig for den kongelige lensmand. Efter refomatioenen fik biskoppen bolig i en Bispegården, som lå syd for domkirken, og som nu er nedrevet. Det er fra denne bispegård at Bispetorvet bærer sit navn. Aarhusgården og senere Bispegården behøvede en ladegård, som kunne stå for forsyningen med naturalier. Ladegården var Havreballegård, som blev kronens ejendom og i 1661 givet til den nederlandske købmand, Gabriel Marselis som tilbagebetaling af et lån, som var optaget af Christian 4.
Det tredje rådhus fungerede indtil 1941, hvor det blev afløst af det nuværende og 4. rådhus.