第二次北伐成功收復洛陽使得桓溫聲望大增，昇平四年（公元360年）桓溫進爵南郡公。昇平五年（公元361年）五月，晉穆帝司馬聃駕崩，年僅十九歲。皇位回到了晉成帝司馬衍的長子司馬丕手中。
皇位的更迭似乎也改變了東晉的國運，但不變的是桓溫的野心和扶搖直上的地位。興寧元（公元363年）桓溫被加封侍中、大司馬、都督中外諸軍事、假黃鉞，賜其羽葆鼓吹一部。興寧二年（公元364年）五月，東晉朝廷進封桓溫為揚州牧、錄尚書事，並召其入朝參政。但桓溫還在籌劃下一次北伐，以此進一步提高自己的威望，從而達成自己的野心。於是桓溫以中原尚未恢復為由拒絕。在和朝廷一番扯皮之後，桓溫上表辭去錄尚書事一職，只遙領揚州牧。桓溫統領揚州，他的兩個弟弟桓豁和桓衝則掌握荊、江二州。桓氏一族可謂完全掌控了東晉。
此時的北方，前燕崛起，和東晉不斷交戰。興寧三年（公元365年）慕容恪慕容垂攻克洛陽。前燕自然不可能只滿足於拿下洛陽等地，之後又奪取魯郡和高平郡，甚至曾南侵至竟陵郡。前燕的軍事行動無疑給桓溫北伐提供了良好的機會，但興寧三年（公元365年）晉哀帝司馬丕駕崩，時年二十五歲。因無子嗣，其弟司馬奕即位。桓溫也只能延期了北伐的計劃。但桓溫也沒有閒下來，太和三年（公元368年），桓溫獲加殊禮，位在諸侯王之上。再加封就只能加九錫，九錫之後意味著什麼不言而喻。完成這個目標再次北伐擊敗前燕勢在必行，此時征討前燕無疑是勝算很大的，太和二年（公元367年）慕容恪去世，前燕似乎已無人能阻擋桓溫了。
太和四年（公元369年）三月，桓溫上請北伐，並請與徐、兗二州刺史郗愔、豫州刺史袁真及江州刺史桓衝一同出兵。郗愔還寫信給桓溫，表示願意與他共同輔佐王室。但郗愔不知道桓溫惦記上了他的地盤軍隊。郗愔之子郗超此時擔任桓溫參軍，他深知桓溫的小心思，於是開始坑爹，暗中將原信毀掉，並以父親的名義偽造信件，自稱老病，請以閒職休養。桓溫就順勢改任郗愔為會稽內史，自領徐兗二州刺史，兼併了郗愔的軍隊。北伐還沒開始，就玩起了宮鬥。
同年四月，桓溫率步騎共五萬大軍，從姑孰出發，開始他最後一次北伐。桓溫大軍透過水路一路向北。六月，桓溫大軍抵達金鄉，可此時因為大旱河道水淺，水運困難。桓溫於是命冠軍將軍毛虎生從鉅野澤挖掘長達三百里的運河，將汶水與清水連線，引黃河水入清、汶。此時之前坑爹的郗超向桓溫進言，認為桓溫入黃河是逆水而進，漕運難以保障，如果前燕拒守不戰，就會讓大軍糧道斷絕，陷入無糧的困境。郗超又向桓溫提出兩策，上策他建議桓溫盡率全軍直擊前燕國都鄴城，這樣不論前燕逃回遼東後方、拒守鄴城或出兵決戰都有利於北伐進展。另一個比較穩健的策略則是建議桓溫堅守河道，控制漕運，儲蓄糧食，直至明年夏天再繼續進攻。他認為如不速戰速決，當戰事拖延至秋冬後，在水量減少而北方早降溫的客觀條件之下，會令到晉軍更難維持。儘管郗超是桓溫心腹，深得桓溫器重，可這次桓溫沒采納郗超的建議。
七月，桓溫攻克湖陸，生擒前燕守將寧東將軍慕容忠。前燕君主慕容暐派下邳王慕容厲為征討大都督，帶領兩萬兵馬進攻。慕容厲與桓溫在黃墟交戰，結果又是一場大敗，全軍覆沒慕容厲單騎逃脫。前燕的潰敗還在繼續，前燕高平太守徐翻向晉軍投降。桓溫大軍前鋒鄧遐、朱序又在林渚打敗傅顏。慕容暐趕忙任命自己的哥哥樂安王慕容臧接替慕容厲率各路軍馬阻截，但依舊無法阻擋桓溫大軍，前燕節節敗退。慕容暐只好派散騎從侍李鳳前往前秦求救。桓溫則進駐武陽，前燕孫元率宗族黨眾起兵響應桓溫，桓溫乘勝進抵枋頭。此時桓溫大軍距離鄴城，已不過百里。慕容暐和太傅慕容評驚恐不已，準備逃回龍城。
就在桓溫勝利在即之時，此前頗受猜忌不得已明哲保身的慕容垂，站了出來表示讓他去對付桓溫。雖然慕容暐和慕容評都非常不願意讓慕容垂領兵，可眼下這種局面也只能放手一搏，於是慕容垂接替慕容臧任南討大都督，統率各處馬共五萬人抵擋桓溫。慕容暐對慕容垂也信心不足，又派出散騎侍郎樂嵩再次到前秦求救，以虎牢以西的土地賂誘前秦派兵救援前燕，在和王猛商議之後，苻堅在八月派苟池及鄧羌率步騎二萬救援前燕，但只是進至潁川以觀成敗。
桓溫大軍和慕容垂大軍沿黃河展開了對峙。桓溫讓歸降東晉的段思擔任嚮導準備進攻，卻被前燕尚書郎悉羅騰擊敗，段思被生擒。桓溫又派李述進攻，又被悉羅騰擊敗斬殺，桓溫的攻勢被阻止，大軍士氣下降。隨著秋季來臨，降雨減少水量下降，桓溫這邊航運果然開始出現問題。桓溫也算有所準備，讓豫州刺史袁真，進攻譙郡、梁國，鑿通石門，以此連線睢水與黃河，用以運糧。袁真順利攻克了譙郡、梁國，但石門一時還未能鑿開。慕容垂在穩住局面後，讓弟弟慕容德率領騎兵繞過桓溫緊逼石門，自己仍然留在枋頭牽制桓溫本部。對於燕軍的分兵，桓溫沒有做出反應。
九月，慕容德部擊敗袁真。此時的局面對桓溫很不利，糧道被斷自己軍中糧食也將用完，前秦這邊援軍也快到了。於是桓溫命令焚燒艦船，丟下帶不走的輜重，全軍由陸路向南撤退。只留毛穆之為東燕太守。撤退途中桓溫擔心前燕追兵在上游放毒，命士卒鑿井取水飲用，這樣一直行走了700裡。前燕諸將都想乘勢追擊桓溫，但被慕容垂阻止：“不可。桓溫初退惶恐，必嚴設警備，簡精銳為後拒，擊之未必得志，不如緩之。彼幸吾未至，必晝夜疾趨；俟其士眾力盡氣衰，然後擊之，無不克矣。”於是，慕容垂只領八千騎兵從後緩緩尾隨桓溫軍行進。幾天後，桓溫果然加速退兵，慕容垂下令加速追擊，並在襄邑追上桓溫大軍。此時的襄邑，慕容德早已帶領四千騎兵設伏，桓溫大軍被慕容垂趕進伏擊圈遭遇大敗，陣亡超過三萬。桓溫的厄運還不止於此，此前坐山觀虎鬥的前秦援軍開始行動趁機進攻桓溫，桓溫再敗，又損兵近萬。
直到十月，桓溫收拾散卒，駐屯山陽。第三次北伐至此結束，桓溫個人的聲望也有所減損，但透過這次北伐桓溫將自己的勢力伸向了此前未掌控的地方。而憑藉此戰威名大振的慕容垂，並沒有因此受到慕容暐和太傅慕重用，相反在進一步猜忌排擠之下出走前秦，而前燕也沒兌現戰前許諾前秦的諾言，使得前秦有藉口進攻前燕。
