Rudi Schmitt è nato l'8 gennaio 1928 a Francoforte sul Meno.

Dopo aver completato gli studi, ha lavorato come insegnante a Francoforte dal 1946 fino alla sua elezione a deputato SPD del Parlamento dell'Assia nel 1954. Dal 1960 al 1968, Schmitt ha lavorato come consigliere comunale a Wiesbaden come capo del dipartimento scuole e sport e, dal 1966, anche come capo del dipartimento cultura. Si è dimesso da questi incarichi dopo essere stato eletto sindaco della capitale il 1° febbraio 1968.

Dopo aver lasciato il municipio, è stato eletto al Bundestag tedesco per due legislature, fino al 1987, tramite mandato diretto.

Wiesbaden ha salutato il suo ex sindaco il 14 marzo 1980 con un'iscrizione nel Libro d'Oro della città.