Руди Шмит е роден на 8 януари 1928 г. във Франкфурт на Майн.

След като завършва образованието си, той работи като учител във Франкфурт от 1946 г. до избирането му за член на SPD в парламента на провинция Хесен през 1954 г. От 1960 г. до 1968 г. Шмит работи като общински съветник във Висбаден като началник на отдел "Училища и спорт", а от 1966 г. и като началник на отдел "Култура". Той се оттегля от тези постове, след като на 1 февруари 1968 г. е избран за кмет на столицата на провинцията.

След като напуска кметството, е избран за депутат в германския Бундестаг за два законодателни периода до 1987 г. чрез пряк мандат.

Висбаден се сбогува с бившия си лорд-кмет на 14 март 1980 г. със запис в Златната книга на града.