四月中旬，国民政府行政院长何应钦召开秘密会议，讨论中共1月14日提出的和谈八项条件。阎锡山说，条件的实质是难以接受的，即使接受了，以后也难以解决问题。他还亲赴溪口和蒋介石面商，谓李宗仁进行的和谈，决不会成功。到和谈破裂时，他愿拥蒋再度出山，由他任行政院长，扭转败局。
南京被解放军攻克后，广州成为国民政府临时首都，阎锡山也到了广州，并和ＣＣ系联合发起成立了“反侵略大同盟”。国家主义派、民社党也参加其中。该大同盟虽然昙花一现。但却为阎创造了有利条件。这时行政院长孙科在内外交困下辞职。李宗仁想让自己人居正担任行政院长，组成以桂系为中心的内阁。蒋介石怕不能操纵政府，反对居正出任行政院长，但又不便让自己的亲信来出任。这就给阎锡山提供了一个好机会。居正一被否决，阎锡山便以守城“名将”的名声和坚决反共的态度，在ＣＣ系的大力支持下，于1949年6月3日担任了国民政府的行政院长。
阎锡山上任后，先飞到台湾见蒋介石，然后到桂林同李宗仁商议，发表了组阁名单。以朱家骅为副院长，其余国防部、财政部等要害部门都未曾变动，还是蒋介石的原班人马。阎锡山将自己的亲信贾景德任命为行政院秘书长，王平为财政部次长，方闻为总务司长。6月15日他首先提出一个“扭转时局方案”，规定后方几省成立“反共救国总司令部”，由省主席兼任总司令。7月1日，又制定“全国作战计划”，以重庆为军事枢扭，以台湾为作战基地。7月6日，他又与陈纳德商定，重组“飞虎队”。7月7日，阎锡山和蒋介石、李宗仁等，以及青年党，民社党负责人和胡适，于斌等98人，借纪念“七七事变”之际，在广州联合发表“反共救国宣言”，声称要“集中力量，坚持战斗”。7月12日，行政院颁布“反共公约”，规定五家连坐，互相监督，检举。8月3日，国民党临时成立的决策机构“非常委员会”，通过了阎锡山提出的“反共救国方案。”
这时，东北、华北已全部解放，湖南程潜亦表明愿意和平解放的态度。但阎锡山仍希望在湘粤间阻挡解放军南下；同时，他派出许永昌到绥远游说董其武不要随同傅作义响应和平解放，并调开甘肃省主席郭寄峤，将甘肃军政大权完全交给马步芳，以图巩固大西北。他还对云南的龙云表示希望西南不要有什么变化。但事于愿违，绥远在徐永昌离开几天后便宣布起义。西北的马家军也很快被解放军击溃，兰州于八月解放。粤北的韶关、英德相继落入解放军手中。在这种情况下，国民政府于8月8日由广州迁往重庆。接着福州、兰州、银川相继被解放军攻克，新疆和平解放。
10月14日，李宗仁和阎锡山在广州被攻克后飞往重庆。10月16日，阎锡山在四川推行总体战，制定“军政一元化”的作战方案。但解放军入川作战，进展神速。阎锡山又于11月28日飞往成都。在成都，他又兼任国民党教育部成立的“反共救国战斗团”的团长。1949年12月8日，在成都被解放军占领前夕，阎锡山飞往台湾。
八. 临终留谜
1950年3月，蒋介石在台湾再次出任总统。陈诚继任行政院长。阎锡山从此逐渐退出政治舞台，其职位是总统府资政和国民党中央评议委员。这时的阎锡山，住在阳明山之菁山，深居简出，很少参加公开活动。这里原是日本人没有完工的一个农场。没有公路，自来水，也没有电灯电话。阎锡山为躲避炎热和台风，打了一个石窑洞，起名“种能洞”，住在这里，每日埋头写作。他先后出版了《世界和平与世界大战》，《共产主义的哲学和共产党的错误》，《收复大陆与土地问题》，《反共复国的前途》等著作。1959年，香港《真报》记者和他谈重返大陆的问题，他说：“一旦能配合国际形势，王师跨海北进，直捣黄龙，毫无问题。诸位别看我阎锡山老态了，真个一旦反攻号响，看吧，我还要请求率领健儿们再打几个胜仗给国人看看；我有信心，生从太原来，我这把老骨头仍将活着回太原去”。
但此时的阎锡山心里一定很明白，他不会再看到生他，养他的故乡了。就在这次谈话后不久。阎锡山于1960年5月23日病逝于台北寓所，享年77岁。
病重时，阎锡山对一直看护他的贾景德说：他痛惜自己不能追随蒋介石回大陆去，而深感遗憾。阎给其亲属留下了六点遗嘱：一、一切宜简，不宜奢；二、收挽联不收挽幛；三、灵前供无花之花木；四、出殡以早为好；五、不要放声而哭；六、墓碑刻他的日记第一百段及第一百二十八段；七、七日之内，每日早晚各读他选作之《补心录》一遍。
生前，阎锡山还自作挽联数幅，嘱家人在他死后，贴在指定位置。贴在灵前的是：“避避避，断断断，化化化，是三步功夫；勉勉勉，续续续，通通通，为一笔事功”。横幕为“朽［目真］化欲”。贴在檐柱前的为：“摆脱开，摆脱开，沾染上洗乾净很不易；持得住，持得住，掉下去爬上来甚为难”。横幕为：“努力摆持”。贴在院中的为：“有大需要时来，始能成大事业；无大把握而去，终难得大机缘”。横幕为：“公道爱人”。贴在院门上的为：“对在两间，才称善；中到无处，始叫佳”。横幕为“循中蹈对”。中间两幅较易为人理解。对前后两幅，凭吊者往往莫明其妙，不解其意。有人说“阎一生喜弄玄机。临终还留此谜联，让人动脑筋”。
阎锡山病逝后，台湾成立了以何应钦为首的治丧委员会。委员有于右任、张群、贾景德、唐纵、李石曾、张道蕃、谷正鼎、谷正伦、梁寒操等人。5月29日入敛，蒋介石亲往祭奠，并送一块“怆怀耆勋”的匾额。随后葬于阳明山七星山之上。
阎锡山所处的时代，正是中国最混乱的时期。多少风流人物在这个历史的大舞台上演出了一幕幕悲喜剧。有的人象流星一样很快就消失了。而阎锡山在清王朝末期、辛亥革命、北洋军阀、国民政府及国民党退据台湾的最初十年等几个时期，总是扮演着一个引人注目的角色，功过自有评说, 但阎锡山在近代中国政坛上的“不倒翁”形像，为阎的一生及他的时代提供了一个注解。