Cumhurbaşkanı Başkanı Yardımcısı Cevdet Yılmaz, Orta Doğu Teknik Üniversitesi Kamu Yönetimi Bölümü'nü birincilikle tamamladı. Yüksek lisansını ABD'deki Denver Üniversitesi'nde Uluslararası İlişkiler Bölümü'nde, doktorasını ise Bilkent Üniversitesi Siyaset Bilimi ve Kamu Yönetimi Bölümü'nde tamamladı.
Başbakanlık DPT Müsteşarlığı'nda ve AB ile İlişkiler Genel Müdürlüğü'nde görevler üstlendi. Ayrıca Ulusal Ajans, ATAUM ve Sümer Halı'da Yönetim Kurulu üyelikleri yaptı.
Bingöl'de 23, 24, 26 ve 27. Dönemlerde Milletvekili seçildi ve 25. Dönemde ise Diyarbakır Milletvekili olarak görev yaptı. Parlamentolararası Birlik (PAB) Türk Grubu Başkanlığı görevini üstlendi. 60. Hükûmette Devlet Bakanı olarak görev aldı ve 61, 62 ve 64. Hükûmetlerde Kalkınma Bakanı, 63. Hükûmette ise Başbakan Yardımcısı olarak görev yaptı. Aynı zamanda AK PARTİ MKYK Üyesi oldu ve Tanıtım ve Medya, Dış İlişkiler ve Ekonomi İşlerinden Sorumlu Genel Başkan Yardımcısı olarak görev yaptı. 2020 yılı Kasım ayından bu yana ise TBMM Plan ve Bütçe Komisyonu Başkanlığı görevini sürdürmektedir.
Yılmaz, İngilizceyi çok iyi düzeyde bilmekte olup evli ve 2 çocuk babasıdır.
