Rudi Schmitt est né le 8 janvier 1928 à Francfort-sur-le-Main. Après ses études, il a travaillé comme enseignant à Francfort de 1946 jusqu'à son élection en 1954 en tant que député du SPD au Parlement régional de Hesse. Il a adhéré au SPD en 1947. De 1960 à 1968, Schmitt a occupé les fonctions de conseiller municipal à Wiesbaden, en tant que responsable des affaires scolaires et sportives, puis, à partir de 1966, également en tant que responsable des affaires culturelles. Le 1er février 1968, il a été élu maire de la capitale du Land.

Après avoir quitté ses fonctions de maire, il a siégé au Bundestag allemand pendant deux législatures jusqu'en 1987, grâce à un mandat direct. En 1959, il a été membre de la 3e Assemblée fédérale et, en 1984, de la 8e Assemblée fédérale pour l'élection du président fédéral. De 1967 à 1988, Rudi Schmitt a été président de l'association locale de la Croix-Rouge allemande (DRK) de Wiesbaden et, de 1988 à 2001, président de l'association régionale de la Croix-Rouge allemande (DRK) de Hesse.

La famille a expressément demandé de pouvoir faire son deuil en toute tranquillité et prie de bien vouloir s’abstenir de toute demande de la part des médias. Les funérailles se dérouleront dans l’intimité. Par respect pour la famille, une cérémonie commémorative organisée par la ville de Wiesbaden n’aura lieu qu’à une date ultérieure. À partir du mardi 14 avril, à 10 heures, un livre de condoléances sera disponible pendant une semaine dans le hall de l'hôtel de ville, Schlossplatz 6. Les mâts de l'hôtel de ville arboreront ce jour-là un crêpe de deuil.