晋武帝太康年间（290年左右），二十四五岁的祖逖与刘琨一起任司州主簿，两人英雄相惜，谈诗饮酒，共为豪慡喜侠之士。“情好绸缪，共被同寝。中夜闻荒jī鸣，蹴琨曰：‘此非恶声也’，因起舞。”由于二人皆是不羁骑士，常常夜中坐起，纵论世事，“相谓曰：‘若四海鼎沸，豪杰并起，吾与足下当相避于中原耳。’”由此，可以看出祖逖已经预见国中将有兵灾变起之日。
“八王之乱”后，晋室沦丧。公元311年（怀帝永嘉五年），洛阳陷落。祖逖率亲族乡党数百家避乱于淮泗（今江苏徐淮地区）。一路之上，祖逖躬自步行，把自己的车马让给老弱疾病的人，衣粮药物施予有急之人。逃亡途中多遇盗贼险阻，祖逖应付自如，显示出极qiáng的组织、领导才能，被同行诸人推为“行主”。抵达徐泗时（今徐州市），当时的琅琊王司马睿任命他为徐州刺史。不久，祖逖又被征为军谘祭酒，在京口（今江苏镇江）屯驻。（行主，是坞壁首领的称呼之一。又称坞主，营长等。坞壁组织是中国历史上动乱时代的百姓为了自身生命和财产安全，相聚于山林险地，凭险依势，形成的一种相对独立的宗社流民自治组织。坞壁在王莽末年大动乱时代已经出现，到西晋末及东晋十六国时期，由于世道混乱，坞壁最为繁盛。“永嘉之乱，百姓流亡，所在屯聚”。坞壁的规模，大小不一，从几百家到几千家。首领多由乡里威信高的大族豪qiáng担任，宗族是坞壁的核心构成，而各地流民则构成坞壁的基层组织。因而“招纳流亡”也成为坞壁的一大特色。此外，在门阀士族把持朝政的南北朝，坞壁也是民间下层豪qiáng一显身手的唯一表演空间，在这样一种且战且耕的组织内部，只有靠义气、信誉、公正以及坞壁主的个人魅力来进行管理和沟通，宗法与恩义是坞壁赖以生存、发展的两大支柱。当然，坞壁日后也成为南北朝政局不稳的重要因素，地方豪qiáng中也有不少人演变为动乱的潜在因子和新一轮门阀的候选人。）
作为一时人杰，祖逖常怀恢复之志。晋愍帝继位后，下诏命远在江东的司马睿率兵赴洛阳来勤王。司马睿当时致力于确保江南一隅不失，根本无意（也确实没有足够力量）进行北伐。祖逖上表，慷慨陈词，司马睿就顺手推舟做人情，给祖逖虚封一个豫州刺史的衔号，象征性地拨调千人粮饷、三千匹布帛以充军费，让他自己想办法招募兵士。至于甲胃弓矢、士卒粮马，琅琊王再没有任何支持。
大英雄祖逖本来完全可以在江南依附司马睿，求田问舍享清福。然而，他毅然出发，率先前和他一起南渡的宗族部曲百余家，从京口北渡长江。行至中流，祖逖拔剑而起，眼望茫茫大江，敲击着船楫说：“祖逖不能清中原而复济者，有如大江！”辞色壮烈，众皆感奋。
渡江之后，祖逖屯驻江yīn，冶造兵器，招募兵卒。拥有两千多名武装后的士卒后，祖逖开始北进。
当时，长江以北地区属于大乱过后的三不管地区，各处流民和当地住民纷纷建立坞堡武装，自封刺史、太守，看谁力量大就依附谁，完全乱了“王法”。祖逖纵横捭阖，击败击降坞主张平、樊稚等人。太丘之战胜利后，祖逖攻克谯城。后来，蓬陂坞主陈川叛归石勒，并引来大魔头石虎的五万羯族jīng兵，祖逖出战，与赵兵相持。
公元319年（东晋元帝太兴二年），祖逖与后赵兵在浚仪相持。晋兵屯兵东台，后赵兵屯据西台，双方紧张相持四十天，粮草都到了jīng光的境地。
祖逖派人用布囊盛满砂土，假装是食用的大米，派千余人运至晋兵据守的东台。然后，他又派数人挑着真正的大米（也是用同样的布袋盛装），佯作累坏了躺在道旁喘气歇息。西台的后赵兵望见，马上派jīng兵来袭，担夫都依据计谋，假装惊惧状弃担而逃。后赵将打开袋子，见里面全是上好的大米，推断晋军粮食充足，“以为（祖）逖士众丰饱，甚惧”。古代人打仗，拼的就是粮草，见敌方粮多士饱，自然心中泄气。
石勒遣大将以千头壮驴运粮，支持浚仪城西台的后赵兵。祖逖在汴水设伏，尽得其粮。后赵兵无粮，不支退走。此后，祖逖军将凭据封丘、雍丘，多次出兵攻打石勒的后赵军，使石勒的力量在河南一地迅速萎缩。
与此同时，祖逖还调和河南诸晋将和坞堡头目之间的矛盾，示以祸福，最终使这些人都听从他的节度。对于河南一带的坞堡堡主，祖逖对他们送质子于后赵的权宜之计也以示理解，灵活处理政治纷争，不仅常对他们施以德惠，还不时遣小股军队假装击扰这些坞堡，让后赵方面想当然地认为这些坞堡地主是忠于自己的队伍。
关河大志闻jī起舞（2）
感激之余，坞堡堡主常常向祖逖暗通消息，把后赵军队的行军意图和路线一一提前报告。
“（祖）逖爱人下士，虽疏jiāo贱隶，皆恩礼遇之，由是huáng河以南尽为晋土”。河南父老乡亲感悦祖逖的恩仁德政，作歌咏叹其美。刘琨也对此位老友的文治武功很有感慨，在与亲旧的书信中感赞祖逖。东晋朝廷徙祖逖为镇西将军。
由于有祖逖在，号称攻无不取、战无不胜的羯胡石勒再也不敢侵入河南之地，并派人在成皋县修葺祖逖母亲的坟墓。
石勒还写亲笔信给祖逖，要求“通使jiāo市”。祖逖虽不回信，但却听任军民与河北的羯胡互市，jiāo换各自所需，“收利十倍，于是公私丰赡，士马日滋”。
正当祖逖想“推锋越河、扫清冀朔”之际，东晋朝廷对他拥兵一方产生了疑忌，派江南士族出身的文人戴渊为都督，出镇合肥，以牵制祖逖。
前人栽树，后人乘凉，祖逖心中非常不舒服。当时，东晋朝中王敦与刘隗jiāo恶，互相攻讦。祖逖深知内难一起，北伐大业会因之搁浅。忧愤如此，他仍然加紧一切军事准备工作，带病指挥营建武牢坚城。
公元321年10月，天文有变，“妖星见于豫州之分”。古人迷信，病入膏肓的祖逖也识天文，夜中他仰视星空，叹息道：“此星是应在我身！本想进军平定河北，而天欲杀我，这是对国家不利的征兆呵。”几天后，满怀遗憾，祖逖病亡，时年五十六。
宋人胡曾有首咏史诗，表达了对祖逖病亡的历史遗憾：“策马前行到豫州，祖生寂寞水空流。当时更有三年寿，石勒寻为阶下囚。”
毛泽东也有《七律·洪都》一篇叹美：“到得洪都又一年，祖生击楫至今传。闻jī久听南天雨，立马曾挥北地鞭。”
祖逖死后，东晋朝中久怀逆乱的王敦大喜过望，他先前一直忌惮祖逖不敢有异谋，“至是始得肆意焉”。（《世说新语》中曾记载，王大将军始欲下都更分树置，先遣参军告朝廷，讽旨时贤。祖车骑尚未镇寿chūn，嗔目厉声语使人曰：“卿语阿黑，何敢不逊！摧摄面去，须臾不尔，我将三千兵，槊脚令上！”王闻之而止。）东晋派祖逖之弟祖约代替其兄统领其众，但节节失败，被祖逖收复的河南大片土地最终被后赵攻陷。