Ulf Jarl var søn af den skånske stormand, Thorgils Sprakeleg og Helga af Kiev. Han var også morbror til Harold Godwinson.
Ulf var selv gift med Knud den Stores søster, Estrid og blev far til Svend Estridsen.
Ulf var med Knud, da denne erobrede England og han blev efterfølgende Knuds jarl i Danmark. Han faldt dog i unåde hos Knud, fordi han indsatte Knuds mindreårige søn, Hardeknud, som konge i Danmark under Knuds fravær. Knud mente, at han på denne måde reelt ville tage magten i landet. Det resulterede i, at Knud lod Ulf dræbe i Trefoldighedskirken (Harald Blåtands trækirke) i Roskilde i 1027. En historie fortæller, at Ulf og Knud blev uvenner over et skakspil.
Ulf blev begravet i den daværende trækirke i Roskilde, og hans lig er formentlig overført til frådstenskirken og senere den nuværende Roskilde Domkirke