19 Eylül 1970'te Ardahan'da doğdu. Baba adı Şerafettin, anne adı Anahanım'dır. 
Ardahan Lisesi ve Orta Doğu Teknik Üniversitesi Uluslararası İlişkiler Bölümünden mezun oldu.

1996 yılında girdiği Dışişleri Bakanlığında sırasıyla Balkanlar, AGİT, Orta Doğu, Orta Asya ve Kafkasya (Daire Başkanı) daireleri ile Başbakanlık Dışişleri Başdanışmanlığında (Daire Başkanı olarak) görev yaptı. Yurt dışında ise, Bişkek Büyükelçiliği, Brezilya Büyükelçiliği ve Avrupa Birliği Daimi Temsilciliğinde (Müsteşar olarak) görev yaptı. Musul Başkonsolosluğu ve Türkiye Cumhuriyeti'nin Tacikistan Büyükelçiliği görevlerinde bulundu. CHP Kurultayında PM Üyeliğine seçildi ve akabinde Dış İlişkilerden Sorumlu Genel Başkan Yardımcısı oldu. AB'nin Kalkınma ve Entegrasyonu konusunda (VUB-Brüksel) master yaptı. İngilizce tez konusunda AB'nin Kosova ve KKTC'ye dönük farklı yaklaşımını değerlendirdi. Ayrıca Sıla Üniversitesi Rusça Bölümü sertifikalıdır.

Çok iyi düzeyde İngilizce ve Rusça bilen Yılmaz, evli ve 3 çocuk babasıdır.