1904年，日俄兩國為爭奪我國東北地區控制權而爆發了戰爭。

為打破俄國獨占東北的局面，保住“龍興之地”，清政府中的一些人表面說保持“中立”，暗地里卻搞起“聯日拒俄”。日俄戰爭前夕，日本駐華軍事顧問從北洋督練公所中選拔出包括吳佩孚在內的多名青年軍官，與日本情報人員秘密組成“中日混合偵探諜報隊”，分別到旅順、大連等地刺探俄軍情報。吳佩孚建議日軍用多只普通漁船日夜不停地對俄艦隊進行騷擾、試探，趁其麻痹之際，再把情報船混在漁船中送到日本海軍指揮艦，此建議受到日軍的采納，為后來日軍殲滅俄軍陸上要塞做出了貢獻。10月，吳佩孚被俄軍逮捕，但在被押往哈爾濱的途中成功逃脫。吳佩孚出色的情報工作才能，深受日本人的賞識，吳佩孚后來的顧問岡野增次郎和兩度到洛陽相訪的白鳥健夫，就是他在這次間諜活動中認識的。日俄戰爭后，吳佩孚因屢次立功，被日本贈“單光旭日勛章”一枚。

日俄戰爭結束后，吳佩孚進入第三鎮步隊十一標第一營任督隊官。第二年，曹錕成了第三鎮的統制。一次吳佩孚隨曹錕駐防吉林時，曹錕要用東北地圖，結果整個第三鎮只有吳佩孚有一張在日俄戰爭時期自己繪制的東北地圖，由此曹錕對吳佩孚開始關注，派吳佩孚到與俄國交界的吉林興凱湖測量、繪圖。

隨著日俄戰爭結束，東北各地“胡子”（即土匪）蜂起。吳佩孚因諜報活動對當地地理頗為熟悉，加之膽大敢干，在剿“胡子”行動中屢次立功。1907年除夕，別人都在飲酒賭錢，吳佩孚卻利用這個機會率隊出去抓“胡子”。天明歸來，抓到“胡子”20余人，并繳獲大量贓物。經此一戰，全營上下都說他有一套“鬼八卦”，于是送給他“吳小鬼”的外號。

吳佩孚又向曹錕立下軍令狀說：他只帶一營士兵，配備20匹戰馬，在三個月內消滅當地的“胡子”。曹錕贊賞吳佩孚的膽量，就任命他為剿匪特務隊的隊長，撥給他一營士兵、20匹戰馬。

針對“胡子”采取的“你來我走，你走我搶”戰術，吳佩孚心中早就盤算好一套對付戰術。戰術說起來也不復雜——吳佩孚針對“胡子”的行動特點，采取“跟蹤驚擾”、“守株待兔”的辦法，先帶著特務隊跟蹤“胡子”，如果小股“胡子”作亂，就地予以殲滅；如果是大股出動，則不與之硬拼，只是讓“胡子”知道他的部隊就在附近，如此一來，“胡子”只得撤退，他們則不緊不慢地跟隨其后。兩個多月后，大隊“胡子”被特務隊跟得筋疲力盡，還無法作案，食不果腹，只好化整為零，各自回到落腳地，想等官兵撤了之后再重新聚集。等“胡子”一散，吳佩孚立即命令特務隊將他們分批緝捕。看到吳佩孚的剿“胡子”成果顯著，曹錕非常滿意，很快提拔他為標統。此后，曹錕更是對吳佩孚言聽計從。

直皖戰爭后，吳佩孚成為直系的首領之一。然而“胡子”出身的奉系張作霖卻看不起吳佩孚。吳佩孚曾隨曹錕去天津與張作霖會晤。見吳佩孚在一旁不斷插嘴，張作霖當面斥責他說：“你以一師長，在某與三哥（指曹錕）面前自由發言，擅做主張，成何體統？此間某之部下師長非止一人，若竟效之，豈不亂了套嗎？”對“胡子”歷來反感的吳佩孚聞言色變，遂拂袖而出，恨恨地說：“早晚要讓你張胡子認識認識俺這個師長的厲害！”據此有人說，后來吳佩孚不惜兩次發動直奉戰爭，與此不無關系。