西晋惠帝末年，由于中原地区战乱不已，司马氏王室面临严重危机，无论是司马氏内部还是北方的世家大族都感到需要到相对安定的南方找一块立足之地，以便退守自保。
当时，琅邪（今山东临沂）的大族王衍，担任晋朝太尉，便向执掌朝廷大权的东海王司马越建议：“中原已乱，需要依靠方伯（各州之长）的支持，应派文武兼备的官员前往任职。”这一想法与司马越的思想正好吻合，于是遣王衍的弟弟王澄任荆州刺史、都督，族弟王敦出任青州刺史。不久，司马越又改王敦为扬州刺史，以此使琅邪王氏家族控制了荆、扬二州，为晋王室南迁做了准备。
此前，琅邪王司马睿因在“八王之乱”中“恭俭退让”，得以与司马越保持较好的关系。居京都洛阳时，也与王衍族弟王导“素相亲善”。王导便常劝司马睿回到自己的琅邪国，并为其治理琅邪国出谋划策。由于当时中原战乱，晋朝王室垂危，王导便想借司马睿兴复王室，对司马睿“倾心推奉”。司马睿也同样对王导“雅相器重，契同友执。”晋永兴元年（304年），司马越收兵下邳（今江苏邳县南）。封司马睿为平东将军，监徐州诸军事，镇守下邳。司马睿即请王导为安东司马，“军谋密策，知无不为”。晋永嘉元年（307年）一月，晋怀帝继惠帝即位，司马越以太傅身份辅政，进一步感到中原难以维持而意迁南方。七月，司马越让司马睿以安东将军身份都督扬州、江南诸军事，渡江移镇建邺，为司马氏退守江南奠定了基础。
由于司马睿才能平庸，在司马氏宗室中名望不高，初到建邺时，江南世家大族对他都较为冷淡，一个多月过去，还没有一位有名望的士族前去拜见。王导很担心，便与从兄王敦商量：“琅邪王仁德虽厚，但名望尚轻，兄长威风已振，应帮助他复兴晋室。”王敦也表示支持。于是，在三月三日当地人们的修禊日，王导请司马睿乘坐华丽的轿子，排出威严的仪仗队列，由王导、王敦和一批北方名士骑马跟从。南方士族顾荣等在门隙中窥看，大为惊讶，赶快相继到路旁拜见。王导接着向司马睿献计说；“古代的帝王，无不宾礼故老，存问风俗，虚己倾心，招揽俊杰。况且当今天下大乱，九州分裂，我们大业初创，急于用人。顾荣、贺循是南方士族的首领，招他们来任职，以收揽人心。其他的士人自然就会前来。”司马睿便让王导亲自登门去招顾、贺。顾循、贺循曾在洛阳晋朝做过官，中原大乱后回江南。顾荣还认为“中国丧乱，胡夷内侮，观太傅司马越今日不能复振华夏”，只有江南如孙权之类的人物才可能独立称雄。这时见司马睿前来招抚，便欣然而至。顾荣出任军司马后，还向司马睿推荐了不少名士，以致出现了吴越国人心所向的局面。
当时，南北士族间的隔阂仍然很深。王导为联络南方士族，常常学说吴语。北方士族骄傲自大，他们讽刺王导没什么特长，只会说说吴语。王导向南方士族陆玩求婚。陆玩推辞说，小山上长不了大树，香草臭草不能放在一起，我不能开乱伦之先。义兴郡今（江苏宣兴）强族周玘因被北士轻侮，准备起兵杀北方士族，败兵后忧愤而死，并嘱咐儿子周勰要报仇雪恨。周勰纠集了一些怨恨北方士族的豪强束谋攻王导、刁协等人。事败后，王导并不追究。为争取南北士族间的平衡，王导采取了十分忍让的态度。
王导除了争取南方世族支持司马睿中兴晋室之外，还鼓励北方南下的大族坚定信心，合力协助司马睿定安南方。北方战乱以来，避乱南渡的北方世族很多。琅邪国随司马睿一起南渡的就有近千户，中原士族南下的也有十分之六七。王导建议司马睿要同时安抚好南、北两方的士族们，以获得他们的支持。司马睿听取了王导的意见，选用了一百多北方名士担任官职，如汝南人周、渤海人刁协、颍川人庾亮等。王导还制定了侨寄法，在南方士族势力较弱的地区设立侨州、侨郡、侨县，安置北方而来的士族与民众。这种侨州郡县大都在丹阳、晋陵、广陵等郡境内，形势上可护卫建康，又可使北方流亡士族仍在寄居地管辖逃来的民众，使流民得以安置。
北方官僚士族初到南方时，对司马睿振兴晋室表示怀疑。谯国（今安徽亳县）人桓彝，原为西晋骑都尉，初来时见司马睿势单力薄，对周说：“因为中原战乱，我才来到这里避难。不料如此不济，看来前途不佳。”以致忧心忡忡，和王导谈话后，知道他有些办法，才安心任职。一次，名士们到江边的“新亭游宴，周目睹了长江美景之后，叹息说：“风景没有变，只是黄河边成了长江边！”在座的北方人士都哭了起来。王导也在座，他正色道：“大家应当共同努力辅佐王室，克复神州，何至于像楚囚一样那样对泣呢！”名士们听了都停哭认错。心里逐渐踏实下来。于是，人们就把王导称为管仲式的人物，心里逐渐踏实下来。
由于王导、王敦等的辅佐，司马睿在南北世家大族中的威望剧增。西晋之前，司马睿虽名为琅邪王，但已控制了长江流域的荆、扬二州，成为司马氏中惟一强盛的诸候王。西晋亡后，司马睿政权中的官僚纷纷上书拥立司马睿为皇帝，在北方忠于晋室的汉族官僚刘琨，及乌丸、鲜卑族贵族一百八十人也上书劝解。晋大兴元年（318年），司马睿称帝。登基之日，司马睿登上御床，并叫王导与他一起就坐，共受百官朝拜。王导再三推辞，司马睿才独自坐到皇帝座上。
新建的东晋王朝，是在王氏家族的一手扶持，和在南北世族大家的支持下建立起来的。王导身历元、明、成三帝，辅政执权，推行政务求清的政策，相对保证了东晋的稳定发展。