东晋确立初期，政权尚不巩固，还要时时刻刻的面临北方的威逼。这时，东晋的关键人物登场了，他就是祖逖。

祖逖面对东晋的现实，不甘故国倾覆，恒存振复之心，于是主动请缨，向司马睿请求北伐。司马睿呢，表面上支持，任命祖逖为奋威将军，领豫州刺史，却只给了一千人的粮饷、三千匹布帛，兵马一人没派；兵器铠甲一件没给。即便如此，祖逖北伐心意坚决，带着当年一起南迁的百余家人渡江北上，并在江中以楫击水而发誓，“如果不能恢复中原而又再次渡江，就如同这滔滔江水。”后世把祖逖立志奋发，率兵北伐的誓言，称为“中流击楫”，以激励成就大事的决心。

祖逖北上过江后，驻扎在淮阴，招募了两千多壮士，并以淮阴为根据地，在此打造兵器，筹集粮草，训练军队，观察形势、等待时机，各地民众又纷纭响应，数年间，祖逖收复黄河以南中原大片的土地，一时间使得匃奴人不敢南侵。

北伐取得初步胜利后，有一天来人上报，兖豫一带有豪强张平、樊雅占据谯城，拥兵数千，聚坞自保。祖逖意欲收编，以扩充自己的军队，于是派人联络前去说服张、樊二人，张平确不买账，盛怒之下杀了来使，并固守谯城，与祖逖的北伐军对抗。祖逖以重金引诱张平部将谢浮反叛，使用“离间之计”袭杀了张平，谢浮率众归降。祖逖顺利进据太丘(今河南永城)驻扎。张平一死，樊雅不甘被俘，率兵夜间突袭祖逖大营，祖逖沉着指挥，兵勇奋战，虽击败了樊雅，但也折损了不少兵力。

面对樊雅和易守难攻的谯城，祖逖还是有所顾虑，众人献策有一将士桓宣，平日里与樊雅素有交往，可派他前去谯城劝降樊雅。桓宣来到谯城对樊雅几番游说，并明确告知樊雅，“祖逖正准备荡平匈奴人刘聪、石勒，需要仰仗你作为后援，如果你能弃暗投明，既可建功立勋，又能保全富贵。但若还要固执不化，一旦攻城，仅凭你手下这些兵众，是难免血流成河，葬身战场，献城归顺方是万全之策。”经过桓宣的一番利害分析，樊雅觉得有理，于是率众出城归降祖逖。祖逖收编樊雅后，以谯城为根据地，招兵买马，编组军队。北伐军的规模再一次得到扩大，也打通了继续北伐的通道。

祖逖这种明知不可为而为之的北伐，也为江南的东晋政权稳固起到了一定的作用。晋元帝下诏擢封他为镇西将军。然而，就在祖逖准备大干一场的时候，引起了本来对北伐消极畏战的东晋朝廷的忌惮，看到祖逖日益强大，很不放心。太兴四年（321年，晋元帝为节制祖逖，任命戴渊为征西将军、都督司兖豫并雍冀六州诸军事、出镇合肥。

祖逖看着自己辛苦北伐，朝廷不但不予支持，反而猜忌自己，颇感伤心。但更让祖逖揪心的是东晋朝廷内政混乱，导致一直处于士族争权夺利之中，根本没有向北发展的意思，更别说支持北伐了。面对朝内明争暗斗，国是日非，祖逖忧愤成疾而终，时年五十六岁。祖逖死后，豫州百姓如丧父母，谯城民众还为他修建祠堂。晋元帝迫于压力，追赠祖逖为车骑将军，并命其弟祖约接掌其部众。后赵趁机入侵河南，祖约难以抵御，退据寿春。祖逖收复的河南大片土地，最终又被后赵攻陷，北伐大业也因此而功败垂成。