黃淮是浙江永嘉人，生於公元1367年的育材坊，父親黃性，母親王氏，去世於公元1449年，字宗豫、號介庵。
洪武元年，黃淮一家移居到巾湖裡居住，八歲的時候被送去就學，拜讀于徐先生諱垕。因為勤奮學習而天資出眾，黃淮的學識得以一步步的增長。到了洪武二十八年的時候，受人推薦入南京國子監讀書，學識有了更高的增長。
洪武二十九年，黃淮參加應天府鄉試，成功中舉，次年參加會試，中二甲五名進士，以中書舍人的頭銜入仕。朱棣取締侄子朱允炆為帝之後，黃淮被任命為翰林院侍書，後又為中書舍人。
黃淮本人有才，明成祖朱棣還是十分清楚的。但是要委以重任，還是得經過一番考校。公元1402年的7月，明成祖在奉天門左室召見黃淮，詢問政事。黃淮根據“靖難之役”後的形勢和政治格局，提出了切實有效的措施。明成祖的問題也能對答如流，符合心意。所以在次月，明成祖就下令讓黃淮入文淵閣參預機務。與黃淮一道入閣的，還有解縉、楊士奇、胡廣、金幼孜、楊榮、胡儼等六人。
公元1403年，改元永樂，為永樂元年。永樂一朝，明成祖每每上朝議事，都是黃淮與解縉侍立御榻左，時刻回答明成祖的問題，可見明成祖對其之重視。永樂五年，黃淮六任黃淮右春坊大學士兼翰林院侍讀。
永樂年間，漢王朱高煦與朱高熾爭奪太子之位。朱高熾是長子，按照祖宗禮法是明成祖的正統繼承人。朱高煦雖然是次子，但是因為受到明成祖的重視和寵愛，所以對太子之位有了覬覦之心。想要憑藉成祖的喜愛，謀奪儲君之位。
黃淮因此牽涉其中，於永樂十二年的時候被朱高煦誣陷，入北京詔獄。一直等到十年後，也就是永樂二十二年朱高熾繼承皇位之後，才被放出來。朱高熾就是明仁宗，黃淮受命官復原職，為通政使兼武英殿大學士，處理政務。
洪熙元年，黃淮為榮祿大夫少保戶部尚書兼武英殿大學士。次年對皇位仍然不甘心的朱高煦反，朱高熾率軍親征，黃淮留任輔佐鄭王瞻埈、襄王瞻墡監國。這期間因為繁重的政事，一直都留在衙門，一直等到仁宗班師回朝才回到自己家。因為過度勞累，導致肺結核病加重。他原本想要回家養病的，但是明仁宗因為十分倚重他，所以在留他在朝，病情稍緩之後繼續辦公。
宣德二年，肺結核此病又再次加重。而且這一次病情來的十分劇烈，經太醫醫治仍然無法痊癒，於是其子黃採進奏《求退致仕疏》。明仁宗感念他勞苦功高，如今疾病難愈，於是賜萬鈔，恩准其回家養病。
黃淮回到家中之後，經過一段時間的修養，病情有所好轉。當時其老父還在，於是於茶山南柳“壽徵庵”奉養老父。空閒之時，父子兩經常四處遨遊，尋訪勝景山水。其父在宣德六年，以九十三歲的高齡壽終正寢。父親去世之後，回到北京謝恩，被留住。宣德八年，受命為當年會試主考官，為過埃及選取了百名人才。此次考試的狀元為曹鼐。
黃淮後來屢次覲見，受到仁宗厚待，日子過的是有滋有味。一直到明仁宗去世，正統帝繼承皇位之後，才在正統十四年去世，享年八十三歲，諡文簡，贈太保。