Руді Шмітт народився 8 січня 1928 року у Франкфурті-на-Майні.

Після завершення навчання він працював вчителем у Франкфурті з 1946 року до обрання членом СДПН до парламенту землі Гессен у 1954 році. З 1960 по 1968 рік Шмітт працював членом міської ради Вісбадена, очолюючи відділ шкіл та спорту, а з 1966 року - також відділ культури. Він пішов у відставку з цих посад після того, як 1 лютого 1968 року був обраний лордом-мером столиці землі.

Після того, як він залишив мерію, він був обраний до німецького Бундестагу на два законодавчі періоди до 1987 року за прямим мандатом.

Вісбаден попрощався зі своїм колишнім бургомістром 14 березня 1980 року записом у Золотій книзі міста.