Rudi Schmitt 8 Ocak 1928'de Frankfurt am Main'da doğdu.

Eğitimini tamamladıktan sonra 1946'dan 1954'te Hessen Eyalet Parlamentosu'na SPD üyesi olarak seçilinceye kadar Frankfurt'ta öğretmen olarak çalıştı. Schmitt, 1960'tan 1968'e kadar Wiesbaden'de belediye meclisi üyesi olarak okullar ve spor departmanı başkanı ve 1966'dan itibaren de kültür departmanı başkanı olarak çalıştı. Eyalet başkentinin Belediye Başkanı seçildikten sonra 1 Şubat 1968'de bu görevlerinden istifa etti.

Belediyeden ayrıldıktan sonra, 1987 yılına kadar iki yasama dönemi için doğrudan görevlendirme yoluyla Alman Federal Meclisi'ne seçildi.

Wiesbaden, 14 Mart 1980 tarihinde eski Belediye Başkanını şehrin Altın Kitabına yazdığı bir yazı ile uğurladı.