谈判班子分为一、二、三线。一线直接出面的是朝鲜人民军南日大将和志愿军副司令员兼副政委邓华，乔冠华、柴成文为二线，李克农隐居三线，掌握全盘。他直接与毛泽东、周恩来和金日成、彭德怀电文往返。谈判桌上无戏言，字字句句都得反复斟酌。面对世界头号帝国主义，要在谈判中取胜绝非易事。此次谈判，中朝联合，首席代表是朝鲜人民军南日大将，必须既要沟通，又要尊重，还要考虑国际关系，倍为复杂。毛泽东曾致电金日成：我方是此次谈判的主人，中朝两国商定，对外以朝鲜人民军为主。实际上谈判第一线由志愿军代表团党委书记李克农主持。面对有时一天十几份的电文和瞬息万变的突发情况，李克农真有些招架不住，常常是边开会边大把大把服药。李克农和彭德怀，一个谈得耐心，针锋相对丝毫不让；一个打得坚决，毫不手软。然而李克农的病情令人堪忧，几次昏倒。1951年11月，中央决定外交部副部长伍修权接替李克农回国治病，当伍来到朝鲜传达中央意见时，李克农一字一顿地说：“临阵不换将!”
有一次当谈到交换战俘问题时，美国提出无理要求并采取拖延手法，谈判桌上互相目视对方，长时间沉默地对峙着。中朝代表的眼神中透出了焦躁。柴成文悄悄离开会场，来向李克 农请示怎么办?李克农此时也在默坐沉思，大口大口地抽烟，他眼皮不抬地在一张纸上写了三个字：坐下去。纸条在中朝代表手中默默传递。灵丹妙药似地，代表们一个个直起腰板，稳坐不动，逼视对手。这场由美国代表主持的谈判从下午2时半开始，足足沉默对峙了132分钟。这是一场高度紧张的精神战，一场意志、毅力、克制力的较量。美国人顶不住了，宣布休会。
李克农认为，交换战俘符合双方利益，美国人之所以推延，是因为“大国优越感”在作怪，必须打掉他们的妄想。于是想了一个“绝招”。轮到朝鲜代表主持会议，首席代表南日大将宣布谈判开始，双方代表刚一落座，他便马上宣布“休会”，只用了25秒。弄得美国人耸肩晃脑，连声说“NO、NO”，一幅莫名其妙的样子。南日说，既然你们不表态，只有休会，坐下去无意义。美国人只得请求继续谈。很快同意在三八线交换战俘。他们由此知道不远处的帐篷里有一个“巨大的隐形人物”在指挥一切，对李克农充满了敬畏。拖是谈判中的技巧，快也是一种技巧。李克农对此两种方法运用得出神入化，弄得美国人自叹弗如。其实这并不全是李克农“别出心裁”，他的后盾是毛泽东。此前，李克农向毛泽东、金日成、彭德怀报告：“如对方继续采取拖延政策，则我亦不急。他提议休会，我们即同意休会，表示我们不怕拖……”毛泽东回电：“李克农并金、彭：不要怕拖，要准备再拖一个较长的时期才能解决问题。只要我们不怕拖，不性急，敌人无所施其技了。”于是出现了谈判桌上创历史纪录的沉默对峙战。
这个时期，毛泽东给李克农的电文有几十万字之多，每份电报上都留下了李克农潇洒刚劲的笔迹。但终于有一天，他的笔尖在一份电文上凝固了：“家父病逝，望节哀。”他大吃一惊，不知所措，泪水模糊了双眼。无论如何他是不能回国奔丧了。从此李克农没有刮胡须，以此纪念自己的父亲。
美国人其实并不服输，因此谈谈打打，假谈真打，所以整个谈判用了两年多的时间。当谈判最后进入签字阶段时，李克农不由得又担心起来，生怕再出什么意外。这样的教训不是没有过。一个多月前曾是预定的签字期，可是李承晚却制造了一起扣留战俘事件，致使推迟了签字。这次为避免节外生枝，李克农提出一个巧妙的办法，美国人连声叫好——这就是允许各国记者进入现场，双方司令官回避。平时谈判，不许新闻记者进入会场，这次必须打破常规。李克农的考虑是，万一李承晚或别的什么人在现场滋事，或对双方司令官的任何一位进行行刺，后果不堪设想，签字又得推迟。而记者可以目睹签字过程并公开报道，将真相公诸世人。于是，李克捉提出一个双方司令官不到现场签字的办法，即先由双方首席谈判代表签字并立即生效，然后各自向自己的司令官送签互换的文本。这是条约签字形式上不寻常的作法。李克农的这个方案一提出，美方很快接受。
从朝鲜回国后，李克农被任命为中国人民解放军副总参谋长兼外交部副部长。1954年4月，李克农作为中国政府代表团代表，随同周恩来总理出席日内瓦会议，为争取和平解决朝鲜和印度支那问题做出了重要贡献。1955年被授予上将军衔，并兼任中共中央调查部部长。曾当选为中共第八届中央委员，第一、二届人大代表，第三届全国政协常委。