Ο Rudi Schmitt γεννήθηκε στις 8 Ιανουαρίου 1928 στη Φρανκφούρτη του Μάιν.

Αφού ολοκλήρωσε τις σπουδές του, εργάστηκε ως δάσκαλος στη Φρανκφούρτη από το 1946 έως την εκλογή του ως βουλευτής του SPD στο κρατιδιακό κοινοβούλιο της Έσσης το 1954. Από το 1960 έως το 1968, ο Schmitt εργάστηκε ως δημοτικός σύμβουλος στο Wiesbaden ως επικεφαλής του τμήματος σχολείων και αθλητισμού και, από το 1966, επίσης ως επικεφαλής του τμήματος πολιτισμού. Παραιτήθηκε από τις θέσεις αυτές μετά την εκλογή του ως δήμαρχος της πρωτεύουσας του κρατιδίου την 1η Φεβρουαρίου 1968.

Μετά την αποχώρησή του από το δημαρχείο, εξελέγη στη γερμανική Μπούντεσταγκ για δύο κοινοβουλευτικές περιόδους έως το 1987 μέσω άμεσης εντολής.

Το Βισμπάντεν αποχαιρέτησε τον πρώην δήμαρχό του στις 14 Μαρτίου 1980 με μια καταχώρηση στη Χρυσή Βίβλο της πόλης.