Rudi Schmitt s-a născut la 8 ianuarie 1928 la Frankfurt pe Main.

După terminarea studiilor, a lucrat ca profesor în Frankfurt din 1946 până la alegerea sa ca membru SPD al parlamentului landului Hessian în 1954. Din 1960 până în 1968, Schmitt a fost consilier municipal la Wiesbaden, în calitate de șef al departamentului școlar și sportiv și, din 1966, în calitate de șef al departamentului cultural. A demisionat din aceste funcții după ce a fost ales primar al capitalei statului la 1 februarie 1968.

După ce a părăsit primăria, a fost ales în Bundestag-ul german pentru două legislaturi, până în 1987, prin mandat direct.

Wiesbaden și-a luat rămas bun de la fostul său primar la 14 martie 1980, printr-o mențiune în Cartea de Aur a orașului.