1949年解放军发起的渡江战役结束后，国民党军队虽然号称还有两百万，但军心涣散，蒋介石与李宗仁一直处于明争暗斗中，众将领各怀鬼胎，心存观望，蒋介石根本无法建立起有效的指挥体系，以致众多的国民党军一击即溃。尽管已是兵败如山倒，国民党内仍有一些孤臣孽子，怀抱少时读诸葛武侯《出师表》的愁绪，“受任于败军之际，奉命于危难之间”，诚惶诚恐，忠实地执行上级的命令，黄杰就是其中一位。
黄杰，湖南长沙干杉乡人，1924年进入黄埔军校第一期，毕业后担任教导第一团侦探队中尉排长。1926年，黄杰任教导第一团第三营营长，随东路军北伐。1928年5月1日，北伐军攻占济南。日本军队为了阻止南京政府统一中国，先于北伐军进入济南，在济南城内以纬四路为中心，划为东西两个“警备区”，构筑工事，架设路障，实施戒严，将大炮架在济南城墙下，装甲车在济南城内横冲直撞，解除北伐军武装，杀害北伐军官兵，制造摩擦，随时准备向北伐军开战。守备济南的第一师第五团团长李延年电告黄杰，立刻率部护送北伐军总司令蒋介石离城，以避开日军炮火。这是黄杰第一次近身护卫蒋介石。他们簇拥着蒋介石徒步离开济南，再搭火车经泰安到徐州，又改平汉线北上。其间，黄杰不离蒋介石半步，甚至晚上都在蒋介石屋外守护，令蒋介石大受感动。其后，黄杰得到了快速升迁，中原大战时期，黄杰任第一师第二旅少将旅长。蒋介石对中央红军发动“同剿”时，黄杰已升任第二师中将师长。1933年1月，日军由东三省侵犯山海关和热河，黄杰奉命北上抗日，接替南天门防务，守备黄土梁、南天门、八道楼子一带阵地，参加了著名的长城抗战，与侵犯日军激战5昼夜，伤亡官兵3000多人。1935年7月他因战功被授予青天白日勋章。同年调任税警总团任中将总团长，并开展大练精兵活动。“七七”卢沟桥事变爆发后，黄杰率税警总团走上了淞沪战场，负责镇守刘家宅一带阵地。在他的指挥下，税警总团打得有声有色，被公认为参战部队最出色的作战单位之_—。1938年5月，原在豫北的日军土肥原第十四师团突然从濮阳一线强渡黄河，攻陷鲁西，企图占领兰封（现兰考固阳镇），随后直取开封、郑州，与沿平汉线南下的日军会合进攻武汉。蒋介石深知此战的重要性，亲赴郑州指挥，调集精兵，发动兰封战役。时任第八军军长的黄杰率部负责镇守归德、以防驻徐州的日军第十六师团增援。结果黄杰丢了归德，让日军十六师团冲了过来，致使兰封战役最后失败，黄杰也因此被撤职查办。直到1943年4月，黄杰才重新带兵，不久，担任第十一集团军总司令，指挥4个军11个师，参加滇西反攻，连克龙陵、芒市、遮放、畹町等四大据点，与新一军及美英盟军在缅北姆色举行会师典礼。因指挥对日作战有功，获美国政府授予的“自由勋章”和国民政府授予的“云麾勋章”。尽管如此，由于黄杰没有高明的政治手腕，也没有出众的才华，在国民党党政军高官的合影中还是常常被安排站在后排不太显眼的位置。
解放战争开始后，国民党的大批精锐部队被歼，蒋介石最重要的亲信将领或被俘，或主动献城投降，黄杰又成了蒋介石手中少数可以重用的将领之一。1949年8月，程潜和陈明仁在湖南倒戈，蒋介石任命黄杰担任湖南省主席与湖南绥靖总司令和第一兵团司令官。此时，国民党败局已定，蒋介石开始将战略重心转至台湾，留在大陆的国民党各部队已经无法阻挡人民解放军解放全中国的进程，只希望能尽量多地撤出兵员和武器，将力量集中到台湾。因此，黄杰能做的与其说是与解放军作战，不如说是把仍然忠于蒋介石的军队带出大陆。这项工作非常艰难，因为国民党握有实权的官员早就带着家眷搭乘飞机，一批批地飞往台湾安置，像黄杰这种直接带兵的将领只能坐着吉普车，甚至徒步带着大队人马东逃西窜，稍不留神就会全军覆没，沦为战俘。自1949年8月起，自崇禧辖下华中战区部队第一、第三、第十、第十一、第十七5个兵团总计30万人开始南窜，高级将领中分为两派，黄杰和李品仙等人主张进入云南、广西，凭借西南天然地形继续作战，夏威、张淦、徐启明等人则主张直接退到海南岛，隔海保存实力，寻机退到台湾。最终，后者的意见占了上风。然而，逃往海南岛的计划最终还是落空，因为解放军主力四野与二野士气如虹，行军迅速，无坚不摧，先头部队早已赶到国民党军前方，白崇禧手下的第三、第十、第十一兵团在转往海南岛的途中，遭到解放军合击包围，全军覆没，只有黄杰统帅的第一兵团在东、北、南三个方向的包围下，孤军西进——这时已是1949年12月，中华人民共和国中央人民政府已经成立两个多月了。黄杰本想依照原定计划进人云南，但云南的卢汉倒戈，人滇之路又告中断。此时，他分别接到白崇禧与老长官陈诚的两封电报。白指示：“为适应当前情况，各部队应力求避战，保存实力，轻装分散，机动出击，化整为零，各自选择适当地区，以安全为第一。”陈则指示：“贵部行动目标，未知白长官有无计划与指示，弟以贵部如出北海防城，照目前敌情，恐于事实上难以达到，不如并力西进，重行入安南（编者注：即越南），保有根据地，然后相机行事，留越转台，皆可自卫，未知兄意如何？”
接到两项指示后，黄杰立刻召集属下军官开会，最后决定“假道入越，转运回台”。会后，黄杰分别向白崇禧和陈诚发电汇报，又写了一封信给法国驻越南的高级专员，洽商假道于越南的事宜。12月12日，黄杰与法方签署协议，法方同意黄杰部借道海防转回台湾，但要求黄杰的部队分为500人一组进入越南，并在指定地点将武器交付法方封存，由法方护送至码头。法军负责黄杰部的安全，提供粮食补给；黄杰部由军官带队，保证军纪严明。协议签署当天，黄杰就下令各军向中越边境爱店集结，要求各部上报人员编组名册及枪支弹药器械统计表，准备入境越南。命令刚刚下达，解放军已经尾随而至。黄杰的第十四军六十三师当即被歼，第九十七军副军长郭文灿被俘。时间非常紧迫，黄杰已经无法协调各部的行动了。13日早上，黄杰只好再次下令部队紧急入境越南，只留下第十四军十师担任掩护工作，挡住解放军快速纵队的强攻，最后随余部由爱店进入越南。
爱店与峙马屯为中越边境南北对峙的两个高地，相距约500米。爱店位于广西境内，有一个小集市，数十家商店。峙马屯位于越南北部边境，建有碉堡数座。两点之间，有隘谷一条，成为中越的天然国界线。黄杰被解除了武装，在仓皇逃亡中跨出国境，内心充满了痛苦。后来回忆这段经历时，他说：“我于12月13日上午9时，率兵团指挥所第三组官兵步下爱店市街，只要向前走五分钟，便离开了大陆最后一寸土，我对这里的一草一木，都感到分外亲切，一种依依不舍之情，泛起在我的心头。我是军人，军人的天职是寸土必争，如今在艰苦的斗争场合中败下阵来，有什么理由把责任诿卸？因此我的心境，既惭愧，又悲愤，更有无尽的迷惘与痛苦。我糅杂这些复杂的感伤，一步步地向峙马屯的关卡走去……”
此时，解放军已攻占了爱店西北的两个高地，完全可以用火力封锁行进在隘谷中的国民党残部，但对面就是越南，炮火可能打到法军阵地，因此必须向上级请示。情况瞬息万变，就在解放军来回请示的过程中，国民党军在大陆成建制的最后一支部队、华中战区第一兵团3万多人已经快速地进入了越南境内。
解放军虽然停止了追击，但在芒街一带大量集结。不久，新中国总理周恩来就通过广播，谴责法国占领当局允许国民党军入境。法国看到国民党政府已经垮台，美国对待蒋介石的态度又暧昧不明，因此不愿公开冒犯新中国，但也不想立即把这支部队驱逐出境，于是就用飞机将黄杰接到河内，软禁在一座洋楼里。将其他官兵集中在蒙阳与来姆法朗两个区域。此时正逢越北雨季，霪雨连绵，半月不停，34000多人包括士兵和眷属，不分男女老幼，全都挤在这狭小的地方，艰苦异常。1950年3月，法方又将他们转移至富国岛和金兰湾两处。1950年6月，朝鲜战争爆发，美国军舰驶入台湾海峡，冷战时代开始。从1953年5月起，台湾方面派船舰到越南，分七批将3万余人运到台湾，大多数编入台湾陆军各师，眷属则分别安置在台北、台中、台南、左营、花莲等新建的“富台新村”。另外约1500多人自愿留在越南。
被誉为“海上苏武”的黄杰回到台湾，先后担任台北卫戍司令部司令、“陆军总司令”兼台湾防卫司令、“总统府参军长”，1960年晋升“陆军一级上将”。1962年底，黄杰脱下军装，转任“台湾省主席”，并当选为国民党中央常务委员。1996年，黄杰在台湾病逝，终年93岁。