元興元年（公元402年），當桓玄忙著清除異己之時，東晉的老對手孫恩又一次捲土重來進攻攻臨海郡。此時的孫恩經過劉裕的連番打擊早已實力不在，很快就被臨海太守辛昺擊敗。孫恩見大勢已去不想被晉軍生擒，選擇了投海自殺，孫恩之亂至此結束。孫恩雖死，但孫恩餘黨猶在，他們推舉孫恩的妹夫盧循成為新的領袖。因為自身統治尚未穩固，對於這股勢力，桓玄選擇了招撫，任命盧循為永嘉太守，盧循也接受了任命。
盧循雖然被招安了，但其部眾仍舊為非作歹，禍害一方。這年五月，盧循又一次反叛，從臨海進犯東陽，桓玄派遣劉裕帶兵進攻盧循。盧循不敵劉裕，逃往永嘉。與此同時桓玄對北府軍高層將領大開殺戒，孫無終等一批北府軍高層紛紛被殺。但對於劉裕，桓玄卻沒有痛下毒手，一來劉裕只是北府軍一個後起之秀，遠沒有躋身北府高層。再者由於劉裕在平定孫恩盧循之亂中卓越表現，盧循之亂也尚未完全平定，劉裕對桓玄還有利用價值。最重要的一點，不同於其他北府將領，劉裕對桓玄表現得頗為順從。很快桓玄就又一次用到了劉裕，元興二年（公元403年），盧循又派自己的妹夫徐道覆進攻東陽，桓玄又一次派出劉裕迎戰，盧循軍戰敗。隨後劉裕展開了反擊，在永嘉郡擊敗盧循斬殺了盧循手下大將張士道，盧循倉皇逃往晉安郡，劉裕緊追不捨再次擊敗盧循，盧循只有循海道向南逃走。
劉裕替桓玄平叛，桓玄則對劉裕加官進爵，兩人間似乎關係極為融洽，但這只是表象。就在劉裕征討盧循時，一個人偷偷前來會見劉裕，此人就是劉牢之的外甥何無忌。因為桓玄大肆清洗北府軍將領，惶恐不安的何無忌想勸說劉裕在山陰縣起兵討伐桓玄，但劉裕和孔靖商議後認為山陰離建康太遠，而且桓玄還未篡居帝位時機不成熟，等到他篡位之時在京口起兵才是最佳時機。
此時的桓玄正在為謀朝篡位加緊步伐，安排親信擔任要職，讓朝廷命自已擔任相國，封楚王，加九錫，可以自行設定楚國官署。桓玄離皇位雖然只有一步之遙了，但他和手下對稱帝這事還是有所顧慮，已經聲名鵲起的劉裕的態度也是頗為重要。為了試探劉裕對自己篡位一事的看法，桓玄特意派桓謙前去試探。狡猾的劉裕深知自己如果要起兵反對桓玄，桓玄篡位是必不可少的，於是他對桓謙表示：“楚王，宣武之子，勳德蓋世。晉室微弱，民望久移，乘運禪代，有何不可！”桓謙聽後十分高興，桓玄則在這年底正式逼迫晉安帝禪位，自己稱帝建立桓楚。
桓玄稱帝后，因其自身代表門閥士族，觸動門閥士族既得利益的行為自然不可能發生，改革振新朝政也就無從談起。 儘管桓玄好行小惠以籠絡人心，但他為政繁瑣苛刻，又喜歡炫耀自己，有一次朝中官員將詔書中“春蒐”字誤寫為“春菟”，結果經辦人員即全被降級或免職。桓玄又十分喜歡享受玩樂，遊玩打獵從未間斷，更是不顧百姓生活困苦大興土木修築宮殿，因此一時間人心思變。於是桓玄篡位沒多久，元興三年（公元404年）二月，第一個反對他的人就出現了。桓玄剛稱帝就派使者加任益州刺史毛璩散騎常侍、左將軍。這個任命貌似升官，但其實要讓毛璩離開益州去建康，此時去建康生死不可知，毛璩果斷拒絕，還將使者扣留。桓玄於是任命桓希為梁州刺史，並讓王異佔據涪城，郭法駐防宕渠，師寂駐防巴郡，周道子駐守白帝來防備毛璩。毛璩則傳佈檄文，列數桓玄的罪狀，派巴東太守柳約之、建平太守羅述、徵虜司馬甄季之擊敗桓希等人，接著率軍屯駐白帝。
與此同時，劉裕跟著徐、兗二州刺史，安成王桓修入朝。對於劉裕，桓玄十分看重並極力拉攏，桓玄在王謐面前誇劉裕“裕風骨不常，蓋人傑也。”每次接見劉裕都十分殷勤，贈賜許多財寶。桓玄的妻子劉氏則多次勸桓玄除掉劉裕，但桓玄卻以要借劉裕蕩平中原為由拒絕。對於桓玄的厚愛，劉裕也只是表面附和，內心一直在盤算如何對付桓玄。不久，劉裕以舊傷復發為由，與何無忌同船而回，密謀興復晉室。但僅靠劉裕和何無忌顯然是不夠的，於是一番遊走遊說下劉裕之弟劉道規、劉毅、孟昶、魏詠之、檀憑之、諸葛長民、王元德、辛扈興、童厚之等人也參與其中。按照劉裕的計劃，利用劉道軌擔任桓弘中兵參軍，孟昶為主簿的機會，讓劉毅跟著他兩去江北伺機殺桓弘佔據廣陵；另一邊讓擔任刁逵參軍的諸葛長民殺刁逵並佔據歷陽；王元德、辛扈興和童厚之則在京城活動，以為內應；劉裕自己和何無忌在京口起事，四個地方一起行動。
到了約定的時間，劉裕以打獵為由，同何無忌等人匯合，並招募到了百餘人。第二天清晨，京口城開，何無忌穿著傳詔的衣服假冒敕使走在前面，眾人跟在他後面入城，然後以迅雷不及掩耳之勢襲擊斬殺了桓修。桓修的司馬刁弘獲知訊息後，帶著桓修手下文武前來平叛。面對佔據優勢的對手，劉裕臨危不亂，登上城頭對刁弘等人說：“郭江州已奉乘輿反正於尋陽，我等並被密詔，誅除逆黨，同會今日。賊玄之首，已當梟於大航矣。諸君非大晉之臣乎，今來欲何為？”刁弘等人信以為真，率軍撤退，劉裕牢牢掌控了京口。佔據京口後，劉裕讓何無忌推薦一個主簿，何無忌就把劉穆之推薦給了劉裕，自此劉穆之開始成為劉裕最倚重的文臣。
其他三路，劉道軌、劉毅等人順利斬殺桓弘佔據廣陵，隨後集結部眾和劉裕匯合。但其他兩處卻出了意外，諸葛長民因耽誤了約定的日期而致使計劃洩露，刁逵將他逮捕，裝進囚車押解建康，準備呈獻桓玄，佔據歷陽失敗。建康方面，劉裕派周安穆前去通報劉毅之兄劉邁，要他為內應。但劉邁表面敷衍周安穆，內心卻不敢應允。周安穆看破了他的心事，害怕事情會因此洩露，於是急忙趕回報告劉裕。此時桓玄任命劉邁為竟陵太守，劉邁連夜準備船隻準備走馬赴任。劉邁走得如此匆忙引得桓玄起疑，於是桓玄寫信給劉邁，劉邁看完信後驚恐萬分，以為桓玄已經知道劉裕的陰謀了。於是第二天一早劉邁就把事情全盤托出。桓玄聽後大驚。因告密有功劉邁被封為重安侯，但桓玄轉念一想認為劉邁沒抓周安穆，使周安穆得以逃出，於是又把劉邁給殺死，同時把劉裕在建康城內的內應殺了。
雖然歷陽、建康的行動失敗了，但劉裕等人還是沒有放棄舉兵之事。劉道軌、劉毅、孟旭等人率軍和劉裕匯合後，眾人一致推舉劉裕為盟主。隨後劉裕以孟昶鎮守京口，自己率部眾一千七百餘人，進駐竹裡。面對劉裕舉兵，桓玄這邊任命桓謙為征討都督。可是桓玄桓謙兩人對於如何應戰卻發生了分歧，桓謙等人認為劉裕兵少，主張主動迎擊劉裕。但桓玄認為劉裕作戰勇猛兵鋒正盛，認為應該屯兵覆舟山，以逸待勞。但桓謙還是力主出擊，桓玄於是派頓丘太守吳甫之、右衛將軍皇甫敷作為先鋒先後從建康出發北攻京口。
三月，劉裕軍和吳甫之在江乘遭遇，雙方展開激戰。面對桓玄麾下猛將的吳甫之大軍，劉裕手下也流露出畏懼之意，但劉裕不為所動手握長刀，大吼一聲就衝向敵軍，劉裕手下見狀備受鼓舞，吳甫之大軍很快戰敗，吳甫之被殺。隨後劉裕乘勝追擊挺進到羅落橋。結果皇甫敷率數千人迎擊，檀憑之當場戰死，皇甫敷憑藉人數優勢將劉裕重重包圍。即便如此劉裕也沒有流露懼色仍舊奮力殺敵，使得皇甫敷一時不敢進逼。隨著劉裕援軍趕到，劉裕終於轉危為安，皇甫敷戰敗被殺。
兩員大將的戰死使得桓玄更為驚恐，他一面求神問道，一面調派桓謙和遊擊將軍何澹之進駐覆舟山以東，卞範之進駐覆舟山以西，總兵力共兩萬人，打算固守覆舟山抵禦劉裕。劉裕這邊令部隊飽食後，將餘糧全部丟棄，然後輕裝行軍快速進至覆舟山以東。藉著劉裕就讓老弱計程車卒登山，插滿旗幟故布疑兵，以此迷惑桓玄。桓玄果然上當，急調武衛將軍庾賾之率精兵出援各軍。此時和劉裕對峙的桓謙軍，一來也被疑兵迷惑，二者桓謙計程車兵多出自北府軍，面對劉裕基本都沒什麼鬥志。劉裕抓住時機和劉毅等將軍隊分為數隊，突擊桓謙軍。劉裕身先士卒，將士都深受感染，越戰越勇。恰好此時東北風急，劉裕順勢借風縱火，桓謙大軍立馬潰散。
聽聞桓謙戰敗，原本就準備撤退的桓玄，趕忙帶著兒子桓升、侄子桓浚，在幾千親信的護衛下，打著去和劉裕作戰的口號，實從南掖門倉惶出逃。半路桓玄遇到參軍胡藩，胡藩勸他組織抵抗，桓玄一言不發，只顧用馬鞭指天，然後策馬疾馳，直奔石頭城，乘船浮江西去。桓玄這次逃跑十分狼狽，沿途甚至要忍飢挨餓，左右給桓玄弄來一些粗糧，可即便如此桓玄還是咽不下去。
隨著桓玄撤退，劉裕順利進入建康。劉裕先是在宣陽門外焚燬桓溫神主，重立晉新主在太廟中。隨後誅殺在建康的桓氏宗族。面對司馬道子父子和桓玄留下的爛攤子，劉裕以身作則，並在劉穆之的輔佐下，很快就改變了當時的政治風氣，朝廷內外呈現出新氣象。但此時桓玄之時逃跑，勢力猶在，於是劉裕調兵遣將，準備對桓玄和他的桓楚發動致命一擊。
