这样胡乱混了半年，实在混不下去了。当时山东河北的穷人一般只有两条出路，一是闯关东去东北讨生活，另外就是从军。
吴佩孚本人秀才出身，从没做过重体力活，也干不了重体力活，他知道就算到了东北也肯定是饿死。
实在没有办法，吴佩孚最终决定去投军，因为他毕竟做过水军，多少有点经验。
1898年春，口袋空空的吴佩孚找到堂兄吴亮孚，向他借了一笔钱，然后赶到天津，加入了当时清军精锐部队武卫左军聂士诚部，成为一名普通的勤务兵。
吴佩孚当过水兵，可实际上仍然是一个文弱书生。刚刚加入军队时候，他极不适应，行动也非常笨拙。他常常因军训动作不合格，被教官惩罚示众。
一向自傲的吴佩孚深感羞辱，只好沉默寡言，不怎么和战友聊天，所以战友们都戏称他为“吴傻子”。
武卫军虽然是精锐部队，但军中几乎是清一色的文盲士兵。秀才出身的吴佩孚在里面就是完全的异类。一日，身为勤务兵的吴佩孚为巡警营幕僚郭绪栋送一份公文。他无意中看了一眼公文，发现郭错用了一个典故，就随手改正。郭才得知吴佩孚是个秀才，遂与吴佩孚结为把兄弟，并时常把吴佩孚叫到家里吃饭。在郭绪栋的推荐下，吴佩孚很快就从勤务兵升为团里面的文书。
军队的文书是很清闲的，平时抄抄公文，帮着战友写写家书就行了，薪水还挺不错。
此时的吴佩孚胸中已经有大志，他不会甘心这种小吏的生活，开始努力学习，准备报考军校。
3年后的1901年2月，吴佩孚凭借优异的成绩考入开平武备学堂步兵班，开始了军校生涯。
当年9月，北洋大将袁世凯担任直隶总督兼北洋大臣，而开平武备学堂正是袁世凯培养种子军官的学校。袁世凯很快将开平武备学堂迁到保定，成立“北洋武备学堂”，吴佩孚也跟着学习了1年多的测绘科。
吴佩孚对所谓的测绘不感兴趣，他想要转学指挥又被一再拒绝。在上级军官看来，你一个手无缚鸡之力的秀才，还扛什么枪呢，老老实实学学画图好了。
吴佩孚一气之下离开军校，回到天津应聘成为了一名陆军警察。
吴佩孚的能力出色，很快被提拔，先后被授予准尉、少尉、中尉衔，成为一个警察头目。
通过特工出名
没想到仅仅一年之后的1904年，日俄战争就爆发了。当时东北基本是俄国人的地盘，日本人猛龙过江，急需要得到一批中国人为其提供情报。特别要提供东北准确的地图，因为日本人还没有这样一份地图。日本人找到关系很好的袁世凯，要求他提供一批情报人员潜入东北。袁世凯从北洋武备学堂挑选出20个年富力强的学员交给日本人。
而这些学员中有相当一部分都是学测绘的，潜入东北是为了绘制地图。在这些老同学的推荐下，在天津担任警察小队长的吴佩孚也有了机会，他成为这些人中的一员，跟随同学们多次潜入东北。
日本人将这20个学员和30名日本情报人员混编，然后全部派到大连、旅顺进行谍报工作，目的是刺探俄军远东舰队的情报。
此时，吴佩孚的精明强干就很好的表现出来。
他可能是个蹩脚的勤务兵，平庸的文书，巡逻都巡不好的警察，但他却是一个出色的军人，也是一个出色的特工。
他几次成功的潜入东北，完成了大量的情报工作，没有一次失手，也给日本人提供了巨大的帮助。
一同工作的日本特工对吴佩孚非常钦佩，认为吴能力卓越，心理素质极为过硬，关键时候从不惊慌，并且能够做出正确的判断。
日本人说：吴温和良顺，举动不苟；交人圆和而不露圭角；任事处变而不急近功和不邀虚名；所自信以为是者，则行之以渐。
越是艰难的情况下，越是要依靠有能力的人。吴佩孚不自觉的成为这群特工中的领袖。很多日本人都向吴佩孚请教工作应该怎么做，吴佩孚出的点子几乎百发百中，因此也得到一个“总有法子先生”的外号。
最后一次进入沈阳的时候，因为其他特工被捕出卖，吴佩孚本人也被俄国人抓住。
俄国人对他拳打脚踢，命令其交代出组织的情况。吴佩孚咬紧牙关，一言不发，根本不承认自己是特工，就说自己是个小贩。
俄军见撬不开他的嘴，通过军事法庭对其宣判，以间谍罪处以死刑，押送哈尔滨枪决示众。
这一次是非常凶险的，好在吴佩孚本人够机灵。
他在押送的火车上寻找机会，在发现看守的两个俄国兵喝的醉醺醺的时候，他突然一脚踢翻其中一人，然后冒死从疾驰的火车上跳了下去。