Johan Rantzau var adelsmand fra Holsten. Han blev tilknyttet som militær leder for Frederik 1 og deltog i dennes felttog i Danmark i 1523 for at overtage kongemagten fra Christian 2. Sammen med prins Christian (Christian 3) besatte han Fyn 13. april 1523 på dagen, hvor Christian flygtede fra København.
Han var Christian 3‘s hærfører under Grevens Fejde, og i 1534 rykkede han med sine tropper fra Holsten op i Jylland for at besejre de oprørere, som under Skipper Clements ledelse havde indtaget store dele af Nordjylland. 18. december besejrede hans styrker oprørshæren ved Aalborg, hvorunder Aalborhus blev indtaget, og tropperne foretog omfattende myrderier på civilbefolkningen i byen. 11. juni 1535 besejrede Rantzau oprørsstyrkerne og lybeckerne i slaget på Øksnebjerg ved Assens, hvor også biskop Gustav Trolle blev dræbt. Efter sejren plyndrede hans tropper Assens og andre fynske byer så grundigt, at Christian 3 tog afstand fra det.
I en alder af 67 år anførte Johan Rantzau i 1159 den hertugelige (Hans den Ældre, Adolf, Frederik 2) hær mod Ditmarsken, som blev besejret. Han er begravet i Sankt Laurentius Kirken i Itzehoe.