Asmild Kirke var oprindelig tre-skibet og fungerede som domkirke, inden stenkirken i Viborg blev færdigbygget i 1133. Der blev bygget et augustinerkloster op mod sydsiden og en bispebolig. I 1133 blev biskop Eskild af Viborg dræbt foran alteret på foranledning af Erik Emune. En af de mest kendte beboerer af bispegården var biskop Gunner (1152-1251), som var hovedforfatteren til Valdemar Sejrs jyske lov fra 1241. Han er også kendt for at have rejst til Portugal for at hente Valdemar Sejrs anden dronning, Berengaria. Inden han blev biskop, var han abbed i Øm Kloster. Efter reformationen blev den frigivne Stygge Krumpen fra Børglum lensmand på klostret.
