4世紀初，在內亂外息的雙重打擊下，西晉王朝的統治搖搖欲墜，都城一度由洛陽遷到了長安。但遷都並不能挽救它滅亡的命運。316年，匈奴人劉聰率兵攻下長安，晉愍帝司馬鄴被俘，西晉宣告滅亡。
西晉雖然滅亡了，但一些晉朝的舊臣並不甘心接受亡國的命運，況且南方還在晉朝官員手裡，於是他們就在各地積極活動，準備恢復晉朝的統治。317年，琅邪王司馬睿在流亡大臣與江南氏族的擁護下，在建康稱帝，建立東晉，這就是晉元帝。
司馬睿在西晉皇族中的地位和名望並不高，他扶持。事情還得從司馬睿被派到建康做鎮守講起。那時的建康還叫建鄴，晉愍帝時改為建康，王導是司馬睿府中的參軍，因為他為人靈活機警、足智多謀，深得司馬睿的信任，司馬睿把他當作知心朋友。
他們一同來到了建康。原以為在這裡會受到隆重的歡迎，可沒想到江南有名望的大士族嫌司馬睿地位低，根本沒把他放在眼裡，一個也不來拜見他。司馬睿心裡很不高興，要王導想辦法。王導也知道要在江南站住腳，沒有這些大士族的支援是不可能的。其從兄王敦當時在揚州做刺史，很有勢力。王導就把王敦請到了建康，兩人商量了半天，總算想出了個主意。
這年的三月初三，按照當地的風俗，百姓和官員都要到江邊去祈福消災。這一天，王導讓司馬睿坐上華麗的轎子，高擎著琅邪王的旗號，並佈置儀仗隊鳴鑼開道，王導、王敦侍立兩旁，北方來的大官、名士，也一個個騎著高頭大馬跟在後面，排成一支十分威武的隊伍浩浩蕩蕩開往江邊，迤邐有一里多長。
司馬睿、王導他們故意繞道走建康城裡最繁華的街道。這一天，在建康城裡看熱鬧的人本來就多，大家看到這種從來沒見過的大排場，都轟動了，紛紛圍觀，人聲鼎沸。江南有名計程車族地主顧榮等聽到這個訊息，從門縫裡偷偷張望。他們一看這個陣勢，都被鎮住了，又見王導、王敦這些有聲望的人對司馬睿畢恭畢敬，大吃一驚，怕自己怠慢了司馬睿，都紛紛出來拜見司馬睿。
司馬睿馬上派王導上門請顧榮、賀循出來做官，兩個人都很高興地接受了官職，並開始在江南士族中大力推薦司馬睿。打這以後，江南大族紛紛擁護司馬睿，司馬睿在建康也就站穩了腳跟。
北方大亂以後，北方計程車族紛紛逃到江南避難。王導又勸說司馬睿要及時救濟他們，並把他們中間有名望的人都收納到王府來。司馬睿聽從了他的建議，前前後後收留了大量的北方士族，深得他們的歡心。就這樣，司馬睿靠著王導的安排。既拉攏了江南計程車族，又吸收了北方的人才，他的地位更加鞏固了。他非常感激王導，感慨地對王導說：“你就是我的蕭何啊！”
317年，羽翼已豐的司馬睿在建康即位，重建晉朝，史稱東晉。登基那天，王導和文武官員都進宮來朝見。司馬睿看到王導要給自己行大禮，趕忙從御座上站起，走下殿來一把拉住王導，要他二起到御座上接受百官朝拜。這個意外的舉動，使王導和眾大臣都大為吃驚。因為在封建時代，皇帝是至高無上懷哪有臣子與皇上同座的道理。
王導急忙推辭道：“這怎麼行。太陽只有高高在上，萬物才能得到它的照耀。如果太陽跟一般的生物在一起，世間萬物還能得到它的照耀嗎？”
王導的這一番話，司馬睿聽得十分高興，他也就不再勉強，自己接受了大臣們的朝拜。
司馬睿登基以後，為了感謝王導、王敦兄弟的大力扶持，對他們特別尊重。王家的子弟親信一時佈滿朝中。當時，民間流傳著這樣一句話“王與馬，共天下。”意思是說東晉的江山是王氏與司馬氏共同擁有的。