白崇禧到台湾不久，又将家眷二十多人从香港接到了台湾，在台南盖了两栋房子，安置大哥、九哥、六弟、二妹等亲属，他自己一家则住在台北松江路127号一幢旧式平房中。
李宗仁在美国，蒋介石鞭长莫及，不能治他的罪，白崇禧就不能放过。当年白崇禧几次乘危逼宫，这对蒋介石来说，是非常难堪的事，蒋介石对此忌恨不已，但他并没有立即公开处置，而是将白崇禧列为头号政治敏感人物，并给其取了个“老妹子”的代号，保密局在白崇禧公馆对面设了个派出所，对白崇禧的一举一动进行严密的监视。敏感的白崇禧马上就知道是怎么回事，于是减少外出活动和与朋友的交往，连打猎、下棋的爱好也自动收束。
有一次，白崇禧的轿车开出去后，即发现后面跟着一辆吉普车，走了不多久，那辆吉普车抛了锚，白崇禧知道那是一辆盯梢的车，连忙命自己的司机停车，并派侍从人员去告诉那辆车上的人不要着急，慢慢修车，白崇禧自觉停车等他们。奉命监视的特工人员没料到被白崇禧看出了行藏，显得相当尴尬。还有一次，白崇禧跟一班朋友在一家咖啡店喝咖啡，临走时白崇禧将另外两桌客人的账也付了。白崇禧的朋友对此莫名其妙，白崇禧连忙解释说：“我看出他们是监视我的人，这个客我应该请。”后来这件事传闻开来，那些不速之客承认，那么多人中，确实只有这两桌人是有任务的，白崇禧能一眼看穿，不多不少，真不愧是“小诸葛”。
蒋介石虽然没有公开处罚白崇禧，却由湖北籍“国大代表”敲山震虎，在“设计委员会”会议上对白崇禧提出弹劾案，主要有两点：一、军费方面，吞没中行黄金7万多两，吞没汉口中央银行库存370多万两白银。二、军事责任方面，拥兵不救援徐州，不遵从统帅调兵命令，拥兵自卫。弹劾案要求“追究责任，以明是非，振纪纲而知复兴”。
对此弹劾，白崇禧非常恐惧。不过，蒋介石暂时还不想借此清算他，陈诚也为白崇禧开脱。
1954年“国民大会”一届二次会议上，旧案重提，并有40多名“国大代表”联名。白崇禧不得不再次以书面答复。最后，“国大”会议决定将此案保留，一场弹劾案才不了了之。
不久，曾任国民党中央宣传部副部长的潘公展在香港《新闻天地》刊登文章，提及当年白崇禧逼宫事。1959年蒋经国在台湾出版《危急存亡之秋》一书，将白崇禧逼宫案原原本本地披露了出来。这样一来，白崇禧再想辩护也不行了。
逼宫案成了白崇禧晚年的最大心病，成了一个挥之不去的梦魇。他想站出来辩护，真是百口莫辩，不出来辩护则又等于默认。白崇禧时刻担心蒋介石一怒之下，清算旧账，拿他开刀。
1965年，李宗仁夫妇冲破阻难，抵达北京，受到中共党政军领导人的热烈欢迎和很高的礼遇。
李宗仁的回国，对于在台湾的白崇禧来说，却是致命的一击。李宗仁一回大陆，白崇禧牵制李宗仁的价值消失，蒋介石不再需要白崇禧了，白崇禧也就自身难保了。据说，白崇禧也明白其中的利害关系，曾很痛苦地对身旁的人说：“德邻投共，我今后在台湾，更没有脸见人了。”
事实上，李宗仁回大陆后，蒋介石即迁怒于白崇禧，他命令毛人凤对白氏直接采取制裁行动。毛人凤将这一任务交给谷正文办理。
谷正文奉命后，就积极策划暗杀行动，并确定行动的最高原则是：绝不留下半点痕迹，以免外界怀疑是一起政治谋杀。谷正文收买了白崇禧身边的一位姓杨的副官。不久，这位杨副官报告：“先生去花莲县寿丰半山打猎。”这样，谷正文决定在白崇禧出外打猎时，于山野外杀死他。
谷正文密令侦防组：“暗杀不准用枪。要把一切制造意外死亡的条件搜集起来。”
经过勘查，侦防组发现狩猎区有小型山间铁轨，可使用人力轨道台车登山。白崇禧当时已年逾七十，不会徒步上山，而一定会乘轨道车。
这样，侦防组派人到现场实地勘查后，决定等白崇禧上山时，把握时间破坏途中一木制小桥，等他下山行经桥面时，便会连同轨道车一起坠入50余米深的峡谷。经过实地演练，他们还找到了螺丝松脱法，能丝毫不留痕迹地使轨道台车“发生意外”。
事发当天，白崇禧等一行人兴致很高地去打猎。10点37分，白崇禧等人通过预定的谋杀地点后，侦防组的行动人员迅速爬到桥下，将支撑桥面木墩的螺丝钉一一松开，然后，躲入不远处的树丛里，静候白崇禧等人下山。
下午3时许，寂静的山中传来轨道台车的响声，两辆车从高山背面滑出，相距约30米。前面一辆车上坐着林意双乡长父子与一名助理；白崇禧与两名副官坐在后面一辆车上。当第一辆车滑到已经松开了螺丝钉的桥中央时，突然连人带车一起坠入深谷中。说时迟，那时快，就在这千钧一发之际，白崇禧的一名副官用力将白崇禧推出车外，自己则随车跌入深谷。
白崇禧从地上爬起，拍去尘土，他望着谷底下的几具血肉模糊的尸体，再望望四周的山野，似乎明白了什么。事后，谷正文和毛人凤前往蒋介石官邸汇报行动结果，蒋介石并未苛责，只是不无遗憾地对他们说：“再从长计议吧！”
白崇禧经历这次险情后，行动更加谨慎，这使谷正文的暗杀行动很难下手。
白崇禧晚年异常苦闷。在白夫人去世后，为解除烦闷，居然与身边的护士张小姐热恋起来。侦防组了解到这一情况后，决定买通医生下重药，置白崇禧于死地。
一天，谷正文打电话给医生赖少魂询问白崇禧的情况，赖少魂报告说：“白将军不是病，他想补……”
“不管他是买什么，你要发挥自己的专长，蒋总统要你多‘照顾’将军，须以猛药起沉疴，重病得下猛药。”谷正文暗示赖少魂在药的剂量上动手脚，使衰老的白崇禧不胜药力，“补”不起。赖少魂奉命后，立即给白崇禧开了一帖药力很强的药方。白崇禧照方到天生堂中药店买了两大包药回家泡酒。往后数月，白崇禧似乎从药酒中得力，与热恋的张小姐频繁往来。
1966年12月1日晚，张小姐与往常一样到白宅夜宿。就在这天晚上悲剧终于发生了。第二天早晨，白崇禧的副官发现主人赤身裸体趴卧在床，而张小姐早已离去。这位国民党一级上将，叱咤风云数十年的“小诸葛”，却在失意中不明不白地走了。另有一说法是，白崇禧的遗体上呈铜绿色，不像自然死亡；保姆曾看到床头柜上主人晚上喝的药酒杯中尚剩有小半杯药酒，但后来药酒与酒杯都不见了。但白家自觉此事背景复杂，并未追究。