自匈奴人占领中原以来，北方流离失所之民众纷纷南下避难。刘琨的老友祖逖带着几百户乡亲来到了淮河流域。在这场逃亡的行列中，祖逖主动出手指挥，将自己的车马让给了老弱有病的人，让粮食、衣服与大家共享。他的英勇和慈悲使得大家都十分敬仰他，并推举他为首领。
到达泗口（今江苏清江市北）时，祖逖身边已经聚集了一批壮士，他们都是来自北方背井离乡的人们，渴望祖逖能够带他们早日恢复中原。
当时，司马睿尚未即位皇帝。祖逖渡江至建康，对司马睿说：“晋朝大乱，是由于皇室内部斗争导致胡人乘机攻入中原，现在百姓遭受敌人的残酷压迫，每个人都希望起来反抗，只要大王下令出兵，我必将收复失地。”虽然司马睿并无意恢复中原，但听从了祖逖的话，也不好推辞，便勉强答应他的请求，让他成为豫州刺史，并拨给一千粮食和三千匹布，但人马武器则需自己筹备。
随着几百户乡亲，一支队伍在祖逖的率领下横渡长江。当船到达江心，祖逖拿起船桨，在船舷边拍打（文言“中流击楫”），发誓说：“若不能扫平占据我等故土之敌，我决不再过此大江。”这激昂的声音和豪壮气概感染了随行士兵，使他们个个感动，无论是战斗还是艰苦生活，都坚定了前进的信念。
在淮阴停留期间，他制造武器招募军队，加聚两千多名战士，然后向北进发。在沿途，他获得人民支持迅速收复失地。当时长江以北还有许多豪强地主互相争夺土地。祖逖说服他们停止内斗共同对抗外敌，对那些依附后赵或不听号令者，则坚决予以打击。因此，其威望越来越高。
刘琨听到朋友祖逖起兵北伐也感到欣慰，说：“夜间枕戈待旦，就是希望消灭敌人。我现在看，你跑得比我快。”
公元319年，当陈川投降石勒后，祖逖决定发兵攻击陈川。但是后赵派五万援军被其打败。此后桃豹与韩潜又争夺蓬陂城。这场四十天交锋双方均耗尽军粮，最终因晋营假装运送泥土而成功截断赵营补给线，使后赵军团陷入困境，最终放弃阵地逃走。
尽管如此，由于晋元帝对其功劳有所怀疑，不愿授予更大的权力，因此镇西将军的封赏只是表彰之一。而且，即便面对艰苦环境和同士们一样节约生活，将省下的钱财用于帮助部下，还奖励耕作招纳新归附者，如同待自己关系疏远或低微的地位的人一样热情接待，以致生涯中的百姓都拥护他。他曾经举办宴会招待当地父老，那些年迈体衰之辈见识到这一幕竟然泪水盈眶，因为能在活着的时候看到亲人，这样就可以安心闭眼去了。而就在此刻，他正忙于操练士兵扩充武力，为继续北伐准备，而黄河以北国土仍未完全回归，这一切却因为朝廷忧虑其势力的膨胀而受到限制，最终导致死去，从而结束了那段英雄事迹。不过，即便没有完成重建中央中国的事业，那股精神仍旧被世代传颂。那一次，“中流击楫”的英雄气概，就像火炬一般照亮历史长河。
