Inicia su carrera militar en el ejército zarista para alistarse posteriormente al lado de los bolcheviques y más tarde con el Ejército Rojo. A lo largo de su trayectoria profesional alcanzó varios éxitos. Durante el desarrollo de la Segunda Guerra Mundial fue protagonista de importantes
victorias, sobre todo a partir de la primavera de 1944 en que en Ucrania, los soviéticos, atacando en tres direcciones (Zhukov,
Koniev y
Malinovski) llegaron a la antigua frontera checoslovaca y, en mayo, recuperaron Crimea, que los alemanes habían abandonado por mar. Por ello alcanzó el grado de comandante en jefe de las fuerzas soviéticas en Europa. Además, mientras que el 7 de mayo de 1945 el alemán
Jodl se
rendía ante
Eisenhower,
Keitel lo hacía ante Zhukov. Entre 1955 y 1957 fue elegido ministro de Defensa.