伯颜把脸一沉，用威胁的口气说：“你们再不老实投降，只怕饶不得你们。”
文天祥也气愤地说：“我是堂堂南宋宰相。现在国家危急，我已经准备好拼一死报答国家，哪怕刀山火海，我也毫不害怕。”
文天祥洪亮的声音，庄严的语言，把伯颜的威胁顶了回去。周围的元将个个吓得惊奇失色。
双方会见之后，伯颜传出话来，让别的使者先回临安去跟谢太后商量，却把文天祥留下来。文天祥知道伯颜不怀好意，向伯颜抗议。伯颜装出若无其事的样子说：“您别发火。
两国和议大事，正需要您留下商量嘛。”
随同文天祥到元营的吴坚、贾余庆回到临安，把文天祥拒绝投降的事回奏谢太后。谢太后一心投降，改任贾余庆做右丞相，到元营去求降。伯颜接受降表后，再请文天祥进营帐，告诉他朝廷已另外派人来投降。文天祥气得把贾余庆痛骂一顿，但是投降的事已无法挽回了。
公元1276年，伯颜带兵占领临安。谢太后和赵显出宫投降，元军把赵显当作俘虏押送大都（今北京市），文天祥也被押到大都去。一路上，他一直在考虑怎样从敌人手里逃脱。路过镇江的时候，他和几个随从人员商量好，瞅元军没防备，逃出了元营，乘小船到了真州。
真州的守将苗再成听到文丞相到来，十分高兴，打开城门迎接。苗再成从文天祥那里知道临安已经陷落，表示愿意跟文天祥一起，集合淮河东西的兵力，打退元兵。
文天祥正在高兴，哪儿知道守扬州的宋军主帅李庭芝听信谣言，以为文天祥已经投降，是元军派到真州去的内奸命令苗再成把他杀死。苗再成不相信文天祥是这样的人，但是又不敢违抗李庭芝的命令，只好把文天祥骗出真州城外，把扬州的来文给他看了，叫文天祥赶快离开。
文天祥没办法，又带着随从连夜赶到扬州。第二天天没亮，到了扬州城下，等候开门进城。城门边一些等着进城的人坐着没事都在闲谈。文天祥一听，知道扬州正在悬赏缉拿他，不能进城了。
文天祥等十二个人为了免得被缉拿，改名换姓，化了装，专拣僻静的小路走，想往东到海边去，找船向南转移。
十几个人走了一程，正遇到一队元朝的骑兵赶了上来。他们躲进一座土围子里，幸亏没被元兵发现。
文天祥等日行夜宿，历尽千难万险，终于在农民的帮助下，从海口乘船到了温州。在那儿，他得到张世杰和陈宜中在福州拥立新皇帝即位的消息，就决定到福州去。