刘备率军在徐州城下与曹军于禁所部小试锋芒，初战告捷，使久被曹军围困的徐州暂时缓解了危机。于是陶谦急令将刘备迎入城内，盛宴款待。陶谦席间便主动提出将徐州让给刘备，说：当今天下大乱，国将不国;公乃汉室宗亲，正当为国出力。老夫年迈无能，情愿将徐州相让。公勿推辞。我当自写表文，申奏朝廷。”刘备闻言愕然，急忙推辞说：“我虽是汉室苗裔，但功德不足称道，任平原相犹恐不称职。我本是为了义气前来相助。您这样说，莫非怀疑我有吞并之心?”陶谦表白说：“这是老夫推心置腹之言，决非虚情假意。”但刘备只是推辞，终不肯接受。糜竺见二人再三辞让，便说：“现在兵临城下，且当商议退敌之策。待事平之后，再议相让不迟。”于是刘备写信给曹操，希望曹操以国家大义为重，撤走围困徐州之兵。恰好这时吕布攻破兖州，进占濮阳，威胁曹操后方。因而曹操便顺水推舟，卖个人情，接受刘备建议，退兵而去。
陶谦见曹军撤走。徐州转危为安，便差人请刘备、孔融、田楷等入城聚会，庆祝解围。饮宴既毕，陶谦再向刘备让徐州。刘备说：“我应孔融之约救援徐州，是为义而来。现在若无端据有徐州，天下将以为我是不义之人。”糜竺、孔融及关羽、张飞等皆纷纷劝刘备接替陶谦治理徐州。刘备苦苦推辞说：“诸位欲陷我于不义耶?”陶谦推让再三，见刘备终不肯受，便说：“如您必不肯受，那就请暂驻军近邑小沛，以保徐州，何如?”众人也皆劝刘备留驻小沛，刘备方始同意。
不久，陶谦染病，日渐沉重，便派人以商议军务为名，把刘备从小沛请来徐州。陶谦躺在病榻上对刘备说：“今番请您前来，不为别事，只因老夫病已垂危，朝夕难保;万望您以汉家城池为重，接受徐州牌印，老夫死亦限目矣!”刘备说：“可让您的二位公子接班。”陶谦说：“其才皆不能胜任。老夫死后，还望您多加教诲，千万不能让他们掌握州中大权。”刘备还是辞让，陶谦便以手指心而死。举哀毕，徐州军民极力表示拥戴刘备执掌州权，关羽、张飞也再三相劝。至此，刘备才同意接受徐州大权，担任徐州牧。