Rudi Schmitt urodził się 8 stycznia 1928 r. we Frankfurcie nad Menem.

Po ukończeniu studiów pracował jako nauczyciel we Frankfurcie od 1946 r. aż do wyboru na posła do parlamentu Hesji z ramienia SPD w 1954 roku. Od 1960 do 1968 r. Schmitt pracował jako radny miejski w Wiesbaden jako kierownik wydziału szkół i sportu, a od 1966 r. także jako kierownik wydziału kultury. Zrezygnował z tych stanowisk po tym, jak 1 lutego 1968 r. został wybrany na burmistrza stolicy kraju związkowego.

Po odejściu z ratusza został wybrany do niemieckiego Bundestagu na dwie kadencje do 1987 r. z mandatu bezpośredniego.

Wiesbaden pożegnało swojego byłego burmistrza 14 marca 1980 r. wpisem do Złotej Księgi miasta.