谢安执政后，知道不论是要抵抗前秦还是与上游的桓冲维持势力上的均衡，手里没有自己的嫡系部队是肯定不行的。于是在太元二年（377）借朝廷求文武良将以镇御北方的机会，谢安举荐了自己的侄子谢玄为兖州刺史（次年又兼领徐州刺史）。向来与谢玄关系不好的郗超听说此事后叹道：“谢安举贤不避亲，堪称为明；谢玄必不辜负于他，因其有才！”
后来的事实证明，谢玄确实没有辜负叔叔的举荐。到任后，他开始招募精勇，吸纳流民，重建北府兵。在谢玄招募的这一批人当中，一位名将脱颖而出，此人姓刘，名牢之。
刘牢之，彭城人，出身于“以壮勇称”的武将世家。虽然模样生的“面紫赤色，须目惊人”，猛一看好像关羽张飞合体，但却并非有勇无谋之辈。谢玄重建北府兵，刘牢之与诸葛侃、何谦、田洛、孙无终等人以骁猛应选，被谢玄任命为参军。作战之时，刘牢之常率领精锐为前锋，百战百胜，所向披靡，北府兵的名头也就越叫越响。
苻坚大举南侵前五年，即已命苻丕为征南大都督，统兵十七万进攻襄阳。襄阳地当汉沔要冲，是屏蔽长江上游的第一道防线，当年西晋筹划灭吴就是以羊祜坐镇襄阳统筹全局的（后来我们郭靖郭大侠也是镇守襄阳十多年抵抗蒙古兵的，呵呵），所以苻坚对襄阳是势在必得。同年为了与西线攻势相配合，以成“棋劫之势”，苻坚又派彭超等步骑七万进攻彭城、淮阴一线，从下游向东晋施加压力。