ولد رودي شميت في 8 يناير 1928 في فرانكفورت أم ماين.

بعد إكمال دراسته، عمل مدرسًا في فرانكفورت منذ عام 1946 حتى انتخابه عضوًا في برلمان ولاية هيسن عن الحزب الاشتراكي الديمقراطي في عام 1954. وفي الفترة من 1960 إلى 1968، عمل شميت عضوًا في مجلس مدينة فيسبادن كرئيس لقسم المدارس والرياضة، واعتبارًا من عام 1966 عمل أيضًا رئيسًا للقسم الثقافي. استقال من هذه المناصب بعد انتخابه عمدة لعاصمة الولاية في 1 فبراير 1968.

وبعد مغادرته مبنى البلدية، انتُخب عضوًا في البرلمان الألماني لفترتين تشريعيتين حتى عام 1987 عن طريق التفويض المباشر.

ودّعت مدينة فيسبادن عمدة المدينة السابق في 14 مارس 1980 بتسجيل اسمه في الكتاب الذهبي للمدينة.