1926年7月9日，以蒋介石为总司令的国民革命军在广州誓师北伐。这个北伐军是拥有三民主义信念的革命军队，不再是以前那些军阀部队了。
北伐军的首要目标自然是盘踞华中的直系残部，他们的口号也是“打倒吴佩孚，联络孙传芳，不理张作霖”，北伐军首先攻入湖南湖北。
此时的直系已经是日薄西山，吴佩孚勉强组织了10万大军对抗北伐军。
吴佩孚只为军饷作战的军阀部队，根本不是抱着统一全国，复兴中华信念的北伐军的对手。
直军在湖北和北伐军激战1个多月，最终直军惨败，湖北全境被北伐军攻占。
吴佩孚无奈，率领残部退往河南。经过此战以后，直军主力基本被北伐军歼灭，直系也完蛋了。
随着张作霖在皇姑屯被炸死，吴佩孚也宣布下野，从此脱离军界，当时他54岁。
晚年
1932年1月31日吴佩孚到北平定居什锦花园颐养天年。由于当年的名气，吴佩孚受到当时控制北平的张学良的优待，他却已经没有复出的兴趣，平时以种花、养鸟、著作、研究佛学安度晚年。
吴佩孚同第三个妻子张佩兰的感情非常好，奇怪的是张佩兰也始终没有生育。1923年，吴佩孚在洛阳过五十大寿的时候可谓风光无限，但吴佩孚回到卧室中长吁短叹。别人不知道什么原因，张佩兰却知道吴佩孚是痛感没有孩子。此时的张佩兰也有38岁了，两人在这十几年来打针吃药，看完中医看西医，吃尽了民间偏方，甚至求神拜佛，都全无作用。
很多人认为吴佩孚的三个妻子都没有怀孕，可能是吴自己身体有问题，但经过检查并没有发现吴佩孚有任何不孕不育的症状。
在1928年被北伐军击败转为隐居以后，吴佩孚不关心政治，开始很想要个后代。1929年3月8日，吴佩孚在大兴寺做五十六岁大寿，夫人张佩兰这时也已经四十四岁。张眼见自己不可能怀孕，亲自挑选自己一名丫环，劝吴佩孚收房做了小妾，这也是吴佩孚第四任夫人。
此时吴佩孚的年纪已经很大，在和这个小夫人最后的10年时间也始终没有让她怀孕。
最后吴佩孚终于放弃有自己的孩子，他决定以胞弟文孚的儿子吴道时为嗣，承续烟火。
一个显赫一时的军阀，最终也没有留下自己的后代。
30年代日军逐步入侵华北，北平的局势也非常动荡。当时日本人已经开始暗中扶持傀儡政权的计划，曾经是中华民国头号人物的吴佩孚和曹锟自然成为首选。
吴佩孚和曹锟两人虽然都是军阀头子，几根硬骨头还是有的，他们对日本人的拉拢熟视无睹。
日本特务头子荒木曾经提出提供步枪十万支、机枪二千挺、大炮五百门，子弹若干，此外并助款百万现款帮助吴佩孚东山再起。
其实只要吴佩孚愿意，他随便召集一下旧部，组织个几万人是没有问题的。
但吴佩孚却冷冷回答：我已经退休，还想多享几年清福，你们找其他人去吧。
吴佩孚一生比较清贫，从不贪污腐败，晚年家中没什么钱，主要依靠张学良赠送的房子和拨款为生。
九一八东北军不战而退以后，吴佩孚却毫不留情的当面问张学良：你在东北为什么不抵抗？
搞得张学良下不了台，随后再也不敢和吴佩孚见面，每月的拨款只让部下送过去。
日本占领东北以后，很快扶持溥仪建立了伪满洲国。吴佩孚立即通电痛骂伪满洲国和溥仪：伪称满洲独立国，实际为日本附庸，阳辞占领之名，阴行掠夺之实。
吴佩孚是老军阀，并不像新军阀一样唯利是图，有奶就是娘，他有很强烈的民族气节，也有民族荣誉感。
吴佩孚一生以关羽、岳飞和戚继光为榜样，他一再对家人说，中国人关起门来，怎么打都可以，但绝对不能忍受异族的侵略和侮辱。
1937年七七卢沟桥事变爆发，日军很快占领北平，也控制了华北很多地区。此时日本人急需要在华北扶持一个伪政权来控制局面，但他们手中只有齐燮元，王克敏，梁鸿志这类小角色。
日本人再次去拉拢吴佩孚和曹锟，并且开始威逼。
吴曹两人还是一个鼻孔出气，对日本人不理不睬。
1938年6月，伪华北临时政府与伪南京维新政府合并，迫切需要一个大人物来主持大局。
当时华北的汉奸中，地位最高的齐燮元不过是一个过气的江苏督军，跟吴佩孚无法相比。所以日军再次请吴佩孚出来当官，这个时期，吴家门口每天都是车水马龙，军警林立，日军高级军官及形形色色的汉奸说客络绎不绝，门前经常水泄不通。
在日本人强大压力下，吴佩孚没有丝毫屈服。他痛骂上门游说的大汉奸江朝宗“老而不死”，齐燮元“死无葬身之地”，还斥责汪精卫是“著名汉奸”“无耻下贱”。一旦日本人逼急了，吴佩孚就拍桌子，掷茶碗，盛气凌人，日本说客见此只好灰溜溜的逃走了。
1939年12月，吴佩孚因碎骨头嵌进牙缝引发牙痛，由一日籍牙医替其拔牙，引发细菌感染，于12月4日逝世。
关于吴佩孚的死因有两种主要的说法：被日本人害死；自然疾病死亡。（参见《是谁谋杀了吴佩孚？》）
1940年1月21日，国民党中央执行监察委员会公祭吴佩孚。1946年12月16日，国民政府为吴佩孚举行国葬，葬于北平玉泉山，由军事委员会北平行营主任李宗仁主祭。民国军政要员等近万人参加，并且追赠吴佩孚为陆军一级上将。
花絮：吴佩孚是个相当有内涵，也是相当自律的军阀。他遵从儒家的道德规范约束自己，
吴佩孚一生清廉，没有什么存款，也没有什么值钱的不动产和珠宝首饰，连晚年居住的房子都是张学良赠送的。他晚年仅仅依靠张学良每月馈赠的4000大洋维持一大家子的生活。董必武称：吴氏做官几十年，有过几省地盘，带过几十万大兵，他没有积蓄，也没有田产，相比与同时军阀腰缠千百万，总算难能可贵。
吴佩孚于1924年9月8日首次亮相美国《时代》周刊，是第一个上时代周刊封面的中国人。上海英文杂志《密勒氏评论报》的主编、美国人约翰·鲍威尔评价道：这个有着一嘴短短的红胡子，长脸高额，鼻相很好的直系军阀是中国最强者，比其他任何人更有可能统一中国。