Siyasete hızlı başladı. Rize Milletvekili olarak meclise girdi; 1990 yılına kadar kurulan hükümetlerde bakanlık görevleri üstlendi.
Turgut Özal Cumhurbaşkanı olunca, Yıldırım Akbulut'un kurduğu hükümette de bakan oldu ancak istifa etti. 1991 yılında Anavatan Partisi'nin başına geçti.
1995 seçimlerinden sonra DYP ile koalisyon hükümetinde başbakan oldu. Ancak ortağıyla anlaşamayınca kısa sürede istifa etti. Türkiye'nin çalkantılı yıllarıydı.
28 şubat krizinin ardından, Erbakan hükümeti istifa edince, dönemin Cumhurbaşkanı Süleyman Demirel hükümeti kurma görevini Mesut Yılmaz'a verdi.
Mesut Yılmaz 2002 seçimlerine kadar başbakan ya da yardımcısı olarak koalisyon hükümetlerinde görev yaptı.
Yüce Divan'da yargılanan ilk başbakan
2002 seçimlerinde, Anavatan Partisi baraj altında kalınca Mesut Yılmaz genel başkanlığı bıraktı.
2004 yılında, başbakanlığı döneminde yapılan Türkbank ihalesine fesat karıştırıldığı iddiasıyla Yüce Divan'a gönderildi.
Yargılandığı suçlar af kapsamında girince davanın kesin hükme bağlanması ertelendi.
Yılmaz 2007 seçimlerinde bağımsız Rize Milletvekili olarak yeniden meclise girdi. Bu son seçimi oldu.
Ardından aktif siyaseti bıraktı.
Almanca ve İngilizce bilen Mesut Yılmaz, spora özellikle de futbola olan ilgisiyle de tanınıyordu. Koyu bir Galatasaray taraftarıydı.
