秦桧当了宰相之后，就干起卖国求和的勾当来。因为遭到许多朝臣的激烈反对，曾经被罢免了宰相职位。但是昏庸的宋高宗还是把秦桧当做心腹看待，过了几年，又重新任秦桧为宰相。秦桧利用他的权力和地位，勾结金朝，千方百计破坏抗金将领的活动。这回听到岳飞连战连胜，准备直捣黄龙府，大起恐慌。因为金朝是他的后台，金朝一败，他在南宋也就站不住脚。于是，他就唆使宋高宗发出命令，要岳飞从前线撤兵。
岳飞突然接到宋高宗的撤兵命令，弄得莫名其妙。他派人送奏章给高宗说：金兵已经丧尽士气，我军士气高涨，胜利就在眼前，时机不能错过。他请求高宗取消撤兵命令，允许他继续进军。
秦桧接到岳飞奏章，又想了一个恶毒的手段，先命令张俊、刘光世等大将的人马从淮北前线撤兵，然后对高宗说，岳飞的军队在中原已经成为孤军，不能再留，叫宋高宗发出紧急金牌，叫岳飞撤军。
岳飞在前线等待高宗的进军诏令，没想到接到的却是朝廷催促退兵的紧急金牌。岳飞接到第一道金牌，正在犹豫，送金牌的快马又到了。从早到晚，快马一个接一个，一连接到十二道金牌。岳飞知道要改变高宗的决定已经没有希望，气愤得泪流满面，说：“想不到我十年来的努力，一下子全给毁了。”（原文是“十年之功，废于一旦”。）
岳飞要从朱仙镇退兵的消息一传出去，附近的百姓十分震惊，纷纷聚集在街头。他们拦住岳飞的马，哭泣着说：“我们顶着香盆，运着粮草，迎接官军，这是金人都知道的事。现在相公要回去，我们只有死路一条了。”
岳飞看到这个情景，也禁不住流下眼泪，他叫左右兵士拿出高宗的诏书来给大家看，说：“朝廷下了紧急金牌，我不能擅自作主留在这里啊！”
百姓们见留不住岳飞，都放声痛哭；兵士们也个个心酸，掩着脸哭。整个朱仙镇响起一片哭声。
岳飞心里不忍，宣布暂缓五天撤兵，让愿意跟随他们的百姓一起走。过了五天，岳家军开始撤兵的时候，当地百姓成群结队随军南迁。后来，岳飞奏请朝廷，把这些百姓安置在南方安家垦荒。
兀术打听到岳家军已走，马上重整旗鼓，向南进攻。本来被岳飞收复的河南许多州县，一下子又丢失得精光。
秦桧和宋高宗决心向金朝求和。他们恐怕受岳飞、韩世忠等人的阻挠，把他们召回京城，让韩世忠做枢密使，岳飞做枢密副使，名义上是提升，实际上是解除了他们的兵权。秦桧夺了岳飞的兵权，就派人向金朝求和。公元1141年十一月，金朝派使者到临安，谈判议和条件。谈判结果：宋、金之间，东面以淮河为界，西面以大散关（今陕西宝鸡西南）为界；南宋向金朝称臣，每年向金朝进贡银绢各二十五万。历史上把这次屈辱投降的和约叫做“绍兴和议（绍兴是高宗的年号）。