祖逖虽然收复了晋朝在河南的大片领土，但对朝廷里的政争却无能为力。此时的东晋，王敦正在密谋篡权，朝廷内部斗争激烈，根本无人顾及什么收复失地。后来朝廷又准备派吴人戴若思来豫州当都督管着祖逖，这让祖逖心内抑郁不已，最终得了重病。
当时天上有妖星现于豫州分野，祖逖自己也注意到了，于是感慨地说：“这是为我啊！我正要平复河北，老天却注定要我殒命于此了，这乃是国家的不幸啊！”
不久，祖逖病逝于雍丘，时年五十六岁。豫州百姓仿佛失去了亲人，纷纷为之立祠。
祖逖一死，他的部众由弟弟祖约统领。祖约比他哥哥差了不是一点半点，在他的手里，祖逖呕心沥血收复的大片领土很快被后赵攻占。到了325年，司、豫、徐、兖四州之地尽被石勒所取，后赵与东晋之间从此就以淮河为边境。
此前，石虎率步骑四万已经平定了山东的曹嶷，洛阳一带也被石生、石聪等攻取。函谷关以东基本上尽为后赵的领土。
后患已被铲除，决战即将开始。