Rudi Schmitt nació el 8 de enero de 1928 en Fráncfort del Meno.

Tras finalizar sus estudios, trabajó como profesor en Fráncfort desde 1946 hasta su elección como diputado del SPD al parlamento del estado federado de Hesse en 1954. De 1960 a 1968, Schmitt trabajó como concejal en Wiesbaden como jefe del departamento de escuelas y deportes y, a partir de 1966, también como jefe del departamento cultural. Dimitió de estos cargos tras ser elegido alcalde de la capital del Estado federado el 1 de febrero de 1968.

Tras dejar el ayuntamiento, fue elegido diputado al Bundestag alemán por mandato directo durante dos legislaturas, hasta 1987.

Wiesbaden despidió a su antiguo alcalde el 14 de marzo de 1980 con una inscripción en el Libro de Oro de la ciudad.