第74軍是1937年9月1日在浙江組建，由王耀武第51師(轄周志道151旅、李天霞153旅)和俞濟時第58師(轄吳繼光174旅、邱維達172旅，該師系國民政府警衛(wèi)1旅擴編而成，是74軍的骨干)合編而成，俞濟時任軍長(俞濟時是黃埔1期畢業(yè)，浙江奉化人，蔣介石的外甥)。全軍共8個團，2.1萬人。

74軍成軍不久就參加了淞滬會戰(zhàn)，南京保衛(wèi)戰(zhàn)，多次與日軍浴血撕殺，傷亡過半。經(jīng)過補充74軍先后參加徐州、蘭封會戰(zhàn)。在蘭封會戰(zhàn)中74軍在羅王寨、三義寨、曲興集攻堅戰(zhàn)中與日軍第14師團激戰(zhàn)，斃傷日軍益田兼英步兵中佐、森永澄雄步兵中佐等1000余人。

1938年7月德安戰(zhàn)役(又稱萬家?guī)X戰(zhàn)役)爆發(fā)，74軍第58師重創(chuàng)106師團第113聯(lián)隊，但是58師也付出巨大代價，10月7日，國軍調(diào)整兵力，發(fā)起全線總攻。74軍作為主攻部隊奉命攻擊日軍在萬家?guī)X地區(qū)的核心陣地張古山，第51師多次猛攻均未得手，后有人獻計(三國鄧艾偷襲陰平)從山后偷襲，團長張靈甫并親率突擊隊從山后偏僻小道襲占張古山。殲滅106師團所部步兵第111旅團第147聯(lián)隊第1大隊鬼冢義淳所部，305團攻占張古山，為突破日軍106師團防線立下頭功。戰(zhàn)役中74軍守得住攻得上，居功至偉。戰(zhàn)后著名作家田漢任光曾以此戰(zhàn)和張該戰(zhàn)為原型編寫了話劇和74軍軍歌。軍歌歌詞如下：起來，弟兄們，是時候了。我們向日本強盜反攻。他，強占我們國土，殘殺婦女兒童。我們保衛(wèi)過京滬，大戰(zhàn)過開封，南潯線，顯精忠，張古山，血染紅。我們是人民的武力，抗日的先鋒。人民的武力，抗日的先鋒！

此后，74軍與友軍圍殲106師團，日軍損失慘重，戰(zhàn)斗的殘狀與日后在瓜達卡納爾島、新幾內(nèi)亞、因帕爾等南方戰(zhàn)場上日軍的慘狀記錄相類似。此戰(zhàn)中幸存下來的日軍輜重兵第106聯(lián)隊士兵那須良輔在戰(zhàn)后仍然心有余悸地回憶道：“戰(zhàn)友們大部都受傷，也有些因為饑餓和疲憊而倒下來。死在水溝的戰(zhàn)友們，他們的臉色都變成茶色而浮腫，白花花的蛆蟲從他們的鼻孔和嘴巴掉下來。一連幾天都沒吃東西，只能從漂浮著同伴尸體的水溝里舀臟水喝，活著的人也都快變成了鬼。我也覺得我的死期到了。對著十月的月亮，我放聲大哭。”

此戰(zhàn)，日軍戰(zhàn)死傷第145聯(lián)隊第1大隊長寺川完步兵中佐、野炮兵第106聯(lián)隊第2大隊長海老原毅炮兵中佐、第145聯(lián)隊第2大隊長河井豐步兵中佐、第147聯(lián)隊第2大隊長梅田治助步兵中佐、師團參謀成富成一步兵中佐、輜重兵中尉東鷗哲雄等10000余人，106師團幾乎全滅。

1941年3月，74軍參加上高會戰(zhàn)，上高位于江西錦江上游，日軍采取分進合擊戰(zhàn)術(shù)，兵分三路;33師團、第20旅團、34師團企圖合圍國軍主力于高安、上高地區(qū)。但南北兩路進攻均被擊退，中路日軍孤軍深入，又遭到74軍堅強抵抗，3月22日日軍集中萬余兵力在數(shù)十架飛機掩護下猛攻74軍云頭山、白茅山陣地，74軍與日軍反復(fù)爭奪，先后7次與日軍白刃肉搏，日軍全線潰敗，74軍乘勝追擊，收復(fù)官橋。此戰(zhàn)，擊斃214聯(lián)隊長浜田十之助大佐、擊傷日軍日軍第34師團長巖永旺少將，師團參謀長櫻井德太郎大佐兵敗后逃回駐地自殺，整個上高會戰(zhàn)共斃傷日軍1.5萬。此役74軍戰(zhàn)功顯赫，榮獲國民政府第一號武功狀和最高榮譽“飛虎旗”，被譽為抗日鐵軍。74軍軍長王耀武和第153旅旅長張靈甫旅表現(xiàn)優(yōu)異，受到表彰。

1943 年11月常德會戰(zhàn)中，74軍57師余程萬部8000人堅守常德城16天，頑強抗擊了日軍陸、空、坦的協(xié)同攻擊，在日軍猛烈炮火甚至釋放毒氣情況下仍死戰(zhàn)不退，日軍不得不圍三闕一，放74軍一條生路，此時全師不足2000人，師長余程萬率180人突圍，其余官兵自愿與常德共存亡，與突入城內(nèi)的日軍逐屋爭奪，死戰(zhàn)不退。6天后余程萬就隨反擊部隊又殺回常德，收復(fù)常德。

戰(zhàn)斗中，日軍第116師團步兵第109聯(lián)隊聯(lián)隊長布上照一步兵大佐，第109聯(lián)隊第3大隊大隊長島村長平步兵中佐、日軍第3師團步兵第6聯(lián)隊聯(lián)隊長中田護一步兵大佐，均在常德會戰(zhàn)中斃命，日軍共傷亡2萬余人。此役正逢美、中、英開羅首腦會議，羅斯福總統(tǒng)聽取了蔣介石的戰(zhàn)況介紹，特意將余師長的名字記在備忘錄上。著名作家張恨水就根據(jù)常德之戰(zhàn)寫出一部名叫《虎賁英雄》的小說。常德人民為紀念74軍為國捐軀的犧牲將士，自發(fā)募捐，于1944年3月在市青年路東側(cè)修建占地達30000平方米的陣亡將士墓地，作為永遠的紀念。

1945年5月，在雪峰山戰(zhàn)役中，換裝美械的74軍再次顯示出抗日鐵軍的雄風(fēng)，給予日軍以重創(chuàng)，獲得兩面“飛虎旗”。日軍死傷小笠原七郎中佐、瀧寺保三郎大佐、重光三馬大佐、永里恒彥少佐、田丁由五郎大尉等28000余人。被俘的日軍記載：厲害的重慶軍，沖入陣地后，抓住了我們，上來就是幾個耳光，打得滿眼直冒金花，有時還拳打腳踢，還用槍托打人，打人最厲害的要算74軍的58師;在把我們向后方押送時，在集中上汽車之前每人都被捆綁著雙手并前后各人相連，經(jīng)過村莊、城鎮(zhèn)時，成群的男女、老幼。以憤怒的行為對待我們，真是狼狽不堪……

八年抗戰(zhàn)中，74軍幾乎參加了所有正面戰(zhàn)場上的重大戰(zhàn)役，尤其是在德安、上高、常德三次戰(zhàn)役中表現(xiàn)最為突出，以其英勇頑強的戰(zhàn)斗意志，被譽為抗日鐵軍，美軍顧問團曾有過“中國只有74軍能打”的贊譽。1945年8月，日本投降，74軍空運南京受降，并擔任南京守備(整編為74師，張靈甫)部隊，因此被稱為“御林軍”。