自匈奴人占领中原以来，北方流离失所之民众纷纷南下避难。刘琨的老友祖逖带领几百户乡亲来到了淮河流域。在这场逃难的行军过程中，祖逖主动出列指挥，将自己的车马让给了老弱有病的人，让粮食和衣服也分给大家共享。人们对他的敬仰之情日益增深，终于推举他为首领。
抵达泗口（今江苏清江市北），祖逖手下的壮士们已经聚集了一批，他们都是背井离乡的北方汉子，对祖逖寄予厚望，希望他能够带他们早日重建中原。
那时司马睿还未即位为帝。祖逖渡过长江至建康，与琅琊王司马睿晤谈：“晋朝大乱，不是皇室内部斗争导致胡虏乘机而入？现在百姓遭受苦难，每个人都渴望反抗，只要大王下令出兵，我定能收复失地。”虽然司马睿没有恢复中原的决心，但听从了祖逖的话，也不好拒绝，便勉强答应了他的请求，并派他为豫州刺史，给予一千人吃饱的粮食和三千匹布，还命令他自己筹划人马和武器。
随着几百家乡亲，一路上组成了队伍，在长江中心，用船桨击楫发誓：“若我不扫平占据中原之敌，再过此江！”激昂的声音与豪迈气概感染了随行壮士，使他们个个动容、人人激奋。
到淮阴，他们制造兵器并招募军队，最终聚集两千多名战士向北进发。其间，他说服地方豪强停止内争共同北伐，对不听从或依附敌人的，则坚决打击，从而树立威望。
公元319年，当陈川投降后赵国主石勒时，祖逖决定发兵攻陈川。石勒派五万援兵，被祖逖打败后，又与桃豹及韩潜在蓬陂城相持四十天，无奈于双方军粮困乏，有一段奇计：用布袋装泥土运粮至赵营，以假乱真，最终使赵营断粟，无力再战。此事传开，更添彼此猜疑，加速了桃豹逃亡的事态发展。
最后，由于种种原因，一直以来的艰苦斗争未能完成，而在战斗中的节约生活、奖励耕作、招纳归附者，以及热情待客等善举，都被后世铭记。在宴会上父老歌舞涟涯眼泪，却又无力回天；同时操练士兵扩展部队，为未来更大的目标做准备。但最终因朝廷牵制与私怨累及，不幸去世留下遗憾。而那个英雄气概，如“中流击楫”，成为永恒传唱的事迹。
