祖逖带着几百家乡亲,在匈奴人占领中原后,逃到淮河流域,一路指挥、照顾老弱,有病的车马和粮食。大家敬重他,让他做首领。当时,司马睿还未即位,祖逖劝说恢复中原,他说:“胡人攻入,我北方人都想起来反抗,只要大王下令出兵,我们一定会响应。”司马睿勉强答应派他做豫州刺史,但只给了粮食和布。祖逖在船上拍打桨,说:“若不能扫平敌人,不再过江。”壮士们感动激奋。
祖逖制造兵器招募军队,在长江以南迅速收复失地。他说服豪强停止内争,对不听的坚决打击。威望越来越高。在公元319年,他发兵进攻陈川,被后赵国主石勒派兵五万援救,但被打得大败。桃豹与韩潜争夺蓬陂城四十天不下,最终祖逖用计夺取了粮食,使后赵军心动摇。
祖逖领导晋兵收复黄河以南土地,大量后赵将士投降,被封为镇西将军。他节约生活帮助部下,奖励耕作招纳归附者。但是晋元帝担忧他的势力,便派戴渊统管北方六州的军事,让祖逖归他指挥。这让祖逖感到不安,最终因忧愤而病死。尽管没有完成恢复中原的事业,但那英雄气概依旧被传诵至今。