Rudi Schmitt est né le 8 janvier 1928 à Francfort-sur-le-Main.

Après ses études, il a travaillé comme enseignant à Francfort de 1946 jusqu'à son élection comme député du SPD au Landtag de Hesse en 1954. De 1960 à 1968, Schmitt a été conseiller municipal à Wiesbaden en tant que responsable des écoles et des sports et, depuis 1966, également responsable de la culture. Il a démissionné de ces fonctions après avoir été élu maire de la capitale du Land le 1er février 1968.

Après avoir quitté la mairie, il est entré au Bundestag allemand par le biais d'un mandat direct pendant deux législatures, jusqu'en 1987.

Wiesbaden a fait ses adieux à son ancien maire le 14 mars 1980 en inscrivant son nom dans le Livre d'or de la ville.