İsmet Yılmaz, 10 Aralık 1961'de Sivas Gürün'de doğdu. Babasının adı İbrahim, annesinin adı Turunç'tur.
Hukukçu, Yönetici ve Gemi Mühendisi; İstanbul Teknik Üniversitesi Denizcilik Fakültesi Makine Bölümünden ve İstanbul Üniversitesi Hukuk Fakültesinden mezun oldu. Yüksek lisanslarını İsveç Dünya Denizcilik Üniversitesinde "Gemi İşletmeleri Teknik Yönetimi" alanında ve Marmara Üniversitesi Sosyal Bilimler Enstitüsü Özel Hukuk ABD'de yaptı. Doktorasını Ankara Üniversitesi Sosyal Bilimler Enstitüsü deniz hukuku alanında tamamladı.
Kamu ve özel sektörde yaklaşık 20 yıl mühendis, müşavir avukat olarak çalıştı. 2002'de Denizcilik Müsteşarı olarak atandı. Türk Telekom Yönetim Kurulu Başkan Vekilliği görevini yürüttü. 2007'de Kültür ve Turizm Bakanlığı Müsteşarlığı görevine getirildi. Anayasanın 114. maddesi uyarınca 1 Kasım 2007'de TBMM dışından Ulaştırma Bakanlığına atandı. 61. Hükümette Milli Savunma Bakanlığı görevine getirildi.
İngilizce bilen Yılmaz, evli ve 3 çocuk babasıdır.