İlkokul, ortaokul ve lise eğitimini Balıkesir’de tamamlayan Yılmaz, Anadolu Üniversitesi İngilizce Öğretmenliği Bölümünden mezun oldu.
Balıkesir’de Milli Eğitim Bakanlığına bağlı bazı okullarda İngilizce öğretmenliği yapan Yılmaz, 8 şehirde yabancı dil eğitimi veren şirketini kurdu.
Balıkesir Ticaret Odası Meclis Başkanlığı görevini belediye başkan adaylığı dolayısıyla bırakan Yılmaz, 30 Mart 2014 yerel seçiminde Ak Parti’den Balıkesir, Karesi Belediye Başkanı seçildi.
31 Mart 2019 Yerel Seçimlerinde, Adalet ve Kalkınma Partisi Balıkesir Belediye Başkan adayı olan Yılmaz, evli ve iki çocuk babasıdır.