元军攻下厓山以后，张弘范召集将领，举行庆功宴会，把文天祥请来。宴会席上，张弘范对文天祥说：“现在宋朝灭亡，丞相已经尽到最后一片忠心。只要您回心转意，归顺我们大元皇上，还能保持您丞相的地位。”文天祥含着眼泪说：“国破家亡，我身为宋朝大臣，没能够挽回局势，死了还有罪孽，怎么还能贪图活命呢。”张弘范一再劝降，没有结果，只好派人把文天祥押送到大都。过了半年，文天祥被押到大都，元王朝下令把他送到上等的宾馆里，用美酒好菜招待他。过了几天，元朝丞相博罗派投降官员留梦炎去劝降。文天祥对这个叛徒早已深恶痛绝，现在见他居然老着脸皮来劝降，更是火冒三丈。没等留梦炎开口，就一顿痛骂，把留梦炎骂得抬不起头，灰溜溜地走了。元朝对文天祥劝降不成，就把他移送到兵马司衙门，戴上脚镣手铐，过着囚徒的生活。过了一个月，博罗把文天祥提到元朝的枢密院，亲自审问。文天祥被兵士押着，来到枢密院大堂，只见博罗满脸凶相，坐在上面。文天祥正眼也不看，昂起头，挺直腰杆走上前去。左右兵士吆喝他跪下，被文天祥拒绝了。博罗恼羞成怒，喝令左右动手。兵士们把文天祥拉的拉，推的推，将文天祥按倒在地上。博罗说：“你还有什么话可说？”文天祥坦然说：“从古以来，国家有兴有亡，做大臣的被灭被杀的，哪一个朝代没有？我是宋朝的臣子，现在既然已经失败，只求早死。”博罗怕审问出现僵局，想缓和一下空气，就说：“自从盘古到现在，有几个帝王，你倒说来听听。”文天祥哼了一声，说：“一部十七史（指《史记》等十七部历史书），从哪里说起？我今天不是到这里来应考，哪有心思跟你们闲扯。”博罗被文天祥抢白几句，讨个没趣，就无理取闹地责问文天祥为什么丢了临安逃走，为什么要另立二王（指赵昰、赵昺）。文天祥一条条据理驳斥，最后，他慷慨激昂地说：“我文天祥今天落在你的手里，早就准备一死，何必再噜苏！”
博罗气得吹胡子瞪眼睛，喝令把文天祥押回兵马司。他想杀掉文天祥。但是元世祖恐怕杀了文天祥，民心不服，不同意把他杀害。文天祥被关的那间土牢，又矮又窄，阴暗潮湿。遇到雨天，屋面漏水，满地是水；一到夏天，地面上发出一阵阵蒸气，更加闷热。牢房的隔壁，有狱卒的炉灶，有陈年的谷仓，发出阵阵烟火气、霉气，再加上厕所里大粪的气味，死老鼠的臭味，使人极其难受。文天祥被关在这间牢房里，恶劣的环境只能折磨他的身体，却并不能摧毁他的意志。他相信，只要有爱国爱民族的浩然正气，就能够战胜一切恶劣的环境。他在牢房中，写下了千古传诵的《正气歌》。他在那首诗里，举了历史上一些坚持正义、不怕牺牲的忠臣义士的例子，认为这都是正气的表现。他在诗中写道：天地有正气，杂然赋流形。下则为河岳，上则为日星。于人曰浩然，沛然塞苍冥。……时穷节乃见（同“现”字），一一垂丹青。（意思是：天地之间有一种正气，分别表现为各种物体。如地下的大河高山，天空的明星辰。在人的身上就表现为浩然之气，充塞在宇宙之间。……到了危急的关头，才表现出他的气节，他们的事迹一件件留在史册上。）文天祥进牢的第三年，河北中山府发生了一场农民起义。起义领袖自称是宋朝皇室的后代，聚集几千人马，号召大家打进大都，救出文丞相。这一来可把元王朝吓坏了，如果不杀文天祥，恐怕闹出大乱子来。元世祖还没有丢掉招降的幻想，决定亲自劝降文天祥。一天，文天祥被人从牢房里押出来，带到宫里。