Руди Шмитт родился 8 января 1928 года во Франкфурте-на-Майне.

После окончания учебы он работал учителем во Франкфурте-на-Майне с 1946 года до своего избрания членом парламента земли Гессен от СДПГ в 1954 году. С 1960 по 1968 год Шмитт работал в городском совете Висбадена в качестве главы отдела школ и спорта, а с 1966 года - также в качестве главы отдела культуры. Он ушел с этих постов после того, как 1 февраля 1968 года был избран лорд-бургомистром столицы земли.

После ухода из мэрии он был избран в немецкий бундестаг на два законодательных периода до 1987 года по прямому мандату.

Висбаден простился со своим бывшим лорд-бургомистром 14 марта 1980 года, сделав запись в Золотой книге города.