自匈奴人占领中原以来，北方流离失所之民众纷纷南下避难。刘琨的老友祖逖带领几百户乡亲来到了淮河流域。在这场逃亡的行军中，祖逖主动指挥，将自己的车马让给了疲惫者，让粮食、衣物与大家共享。他的英勇和慈悲赢得了人们的尊敬，被推举为首领。
当他们到达泗口时，祖逖手下的壮士们已经有一批，他们都是背井离乡的北方义士，对祖逖寄予厚望，以期他能领导他们早日收复中原。
在那个时代，司马睿尚未即位皇帝。祖逖渡江至建康，与琅琊王司马睿请战：“晋朝大乱，因内忧外患而使胡人乘机入侵。今百姓遭受苦难，每个人都希望起来反抗，只要陛下出兵命我去收复失地，便会有各地人民响应。”然而，司马睿并无恢复中原的打算，但也无法拒绝祖逖的话，只好勉强答应，让他做豫州刺史，并拨给了一千粮食和三千匹布。
随着一群追随者的几百家乡亲，一支队伍在长江上横渡。当船停于江心之时，祖逖拿起桨，在船边拍击（文言“中流击楫”），发誓：“若不能扫平占据中的敌人，我决不再过这条大江。”他的激昂声调和豪迈气概感动了每一位随行将士，使他们个个激奋。
经过淮阴后，他们制造武器招募兵力，最终聚集两千多人，再向北进发。在此过程中，他获得了民众的支持迅速收复失地。当时，有些豪强割据在长江以北利用混乱状况互相争斗。祖逖说服他们停止内斗跟随他一起北伐，对不听号令依附敌人的，则坚决对待。他的人望越来越高。
公元319年，当陈留地方的地主陈川投降后赵国石勒后，祖逖决定发兵攻打陈川。石勒派五万援军，被祖逖打败。此后，将领桃豹与韩潜争夺蓬陂城，不分胜负四十天双方皆困乏。
有一次，用泥土填满布袋装作运粮至晋营，而另派兵扛米半途休息引诱赵营抢米但被截断支援导致赵军溃败。这次成功使得桃豹放弃阵地逃跑，从此黄河以南全境归晋，同时大量後趙将士投降给晋军。不久，由于功绩卓著，被封为镇西将军。但尽管如此，由于朝廷猜疑，其影响力始终受到限制，最终因病去世留下遗憾事迹。而那份在历史上的英雄气概，如同永恒燃烧的心火，为后代所传颂。
