此后，直系成为中国最强大的军队，仅仅直属部队五个师和一个混成旅十余万人，控制着直隶、陕西、山东、河南、湖北等省地盘。
吴佩孚的司令部设在洛阳，这个地方也成为中国的行政、军事中心。
当时全国有18个省的督军、总督的代表机构就设洛阳，洛阳成为各方所仰望的中心，被时人称为西宫。
吴佩孚五十寿辰时，全国各地来洛阳向他祝寿的达官显贵、文化名人及各国驻华使节就有六七百人之多。由于吴佩孚当时已成为北方实力最大的军阀，洛阳实际上成为了北方的政治、军事中心。按曹锟所言：只要洛阳打个喷嚏，北京天津都要下雨。
如果说吴佩孚之前都是一帆风顺，那么下面就开始走霉运了。
利欲熏心，大势已去
1923年2月他镇压了共产党领导的京汉铁路大罢工，处死了共产党员施洋、林祥谦。为此，吴佩孚背上了一个屠杀工人的骂名。
10月，一心想当民国合法总统的曹锟先挤走了徐世昌，又吓走了黎元洪。吴佩孚对这个老长官的所作所为非常不满意，他认为奉系还没有被消灭，随时可能进攻关内，这种情况下更应该整军备战。所以直系内部一定要团结，不能自相残杀，不然就是重演太平天国的历史。
可惜此时曹锟已经被大总统的美梦冲昏了头，他再次不顾吴佩孚的强烈反对，以每个议员5000大洋的贿赂，买通了大量的国会议员，又以40万元的高价，收买了国会议长。曹锟共用去贿赂款1350余万元，成为大总统。
此件事情很快被媒体曝光，全国舆论都起来嘲笑攻击直系。吴佩孚对此非常愤怒。虽然他仍然支持这个老长官，不过对曹锟的信任已经下降。
没想到曹锟还接二连三搞出花样来。他为了沽名钓誉，再次通过贿赂，让国会通过一部曹锟宪法。这部曹锟宪法本身倒是一部非常优秀的民主宪法，但关键这是曹锟使用贿赂才搞出来的东西，自然又被舆论大肆攻击。
随后，曹锟居然又莫名其妙的认为天津话是中国最优美的语言，准备立法将天津话定为国语（曹锟是天津人）。
在曹锟倒行逆施，胡乱施政的情况下，直系的财力军力受到极大消耗。
而此时奉系已经卧薪尝胆2年之久，购买和制造了大量武器。甚至张作霖为了增加中低级军官能力，特别办了一个东北讲武堂，可谓用心良苦。
此消彼长，1924年第二次直奉战争爆发了。
此时的吴佩孚也犯了一个错误，表面上他有20万大军，张作霖入关的只有15万人，似乎直军占优。实际上奉军此时的战斗力已经远远超过直军，更让吴佩孚无法估计到的是，他麾下大将冯玉祥已经暗中被张作霖收买，而之前被击溃的皖系军阀也同意和奉系联手。
两军开始在热河省境内激战，吴佩孚亲率10万大军血战张作霖15万军队。由于奉军上下对吴佩的威名都深感恐惧，不敢过度的进攻，主要以防御为主。两方激战近一个月，不分胜负。
此时吴佩孚的后方却出了大问题，在长城一线奉命北上增援的冯玉祥先是按兵不动。随后冯突然率领他的3万多西北军离开长城口南下，宣布背叛直系。
当时控制北平的又是冯玉祥的大将孙岳。这样一来，直系老巢被冯玉祥一下子抄掉了。通过行贿上来的直系大总统曹锟也被冯玉祥活捉囚禁。
在热河前线激战的吴佩孚得知北平被冯玉祥占领，补给线也被切断，大惊失色。他立即率部返回河北试图夺回北平。
张作霖岂是吃素的，奉军随即全线追击，在热河的直军已经无力抵挡，奉军从冷口杀入长城，将大部分直军包围在关外。
而此时直军回到河北的部队又被冯玉祥的西北军迎头痛击，站不住脚。
见吴佩孚大势已去，四面的军阀都来捡便宜。山西军阀阎锡山出兵京汉铁路，占石家庄，山东皖系将领郑士琦出兵津浦铁路，占德州，阻止鄂豫直系援军北上。
吴佩孚受奉军，西北军，皖军，晋军四面夹攻，在华北的主力全部覆灭。
此时以前的敌人皖系军阀头子段祺瑞还算讲点情面，他派人给吴佩孚送了一封信，要吴佩孚赶快从塘沽离去，他已经安排了战舰让其逃走，并且许诺会救出曹锟。
11月3日上午11点，吴率残部两千余人自塘沽登军舰南逃，回到长江流域，盘踞湖北湖南几省。10多万直系大军就像风吹落叶一样，一下子覆灭了。
这是吴佩孚人生第二次遭受重大打击，直系经过此次决战也一蹶不振，再也没有恢复到全盛时候的样子。
好在1926年4月9日，曹锟被冯玉祥部下鹿钟麟释放，他赶忙到河南投奔吴佩孚。两个几十年的老朋友见面，面对凄凉的现状都无言以对，由于当时北伐军已经全线北上，吴佩孚也朝不保夕。曹锟随后前往天津老家寓居，1938年5月17日因病去世。
败退到湖南以后，吴佩孚并不死心。他派人向张作霖游说，指出冯玉祥的种种拥兵自重行为。张作霖此时也对冯玉祥渔翁得利，占领河北，河南几省极为不满。
于是奉系同意和直系联手，两军夹击冯玉祥的西北军，几乎将其全部歼灭。西北军全线溃败出中原，冯玉祥也被迫下野。
这样一来，直系的光景又开始扭转，似乎有复兴的希望了，可惜这只是水中楼阁而已。