1937年“八一三”淞滬抗戰中，謝晉元與八百壯士在四行倉庫喋血奮戰的英勇表現足以驚天地而泣鬼神。當年10月底，堅守“四行”，與敵鏖戰四日四夜的謝晉元部奉命撤離。31日凌晨二時，謝晉元團長手持國旗，最后一個與四行告別。當時的《大美晚報》報道，四行將士退出人數中受傷者26人，重傷送醫院救活者數人，在堅守四行百余小時的激戰中，我軍壯烈犧牲者五人，斃敵二百多，傷敵不計其數。后來總部以八百壯士盡忠職守，為國爭光，特電犒賞，對殉難受傷者從優撫恤，以慰忠魂而獎有功。

謝團撤離四行，原想退到滬西歸隊，不料一進租界，即被繳械，拘禁于當時位于昌平路888號的膠州公園內，即今靜安工人體育場及江寧電影院一帶。時稱之為“孤軍營”。營地因陋就簡，以蘆席蓋起臨時營房。但營房四周卻被鐵絲網扎得嚴嚴實實，而且大門口由租界工部局的萬國商團派武裝日夜巡行看守，步步設防，層層戒備。

謝團被困孤軍營旬日，南市亦告陷落。從此租界變成日軍包圍中的孤島。孤軍營在孤島，處境更為險惡。但是謝晉元壯心仍在，御敵之志，從不稍懈。他曾作詩自勉：勇敢殺敵八百兵，百無聊賴以詩鳴。誰憐愛國千行淚，說到倭奴氣不平。

孤軍營在租界內，幾與“俘虜營”無異。八百壯士的自由受到限制，但謝團軍紀嚴整，堅持每天早操前的升國旗儀式。不久，租界當局橫加干涉，不準他們進行這個儀式。于是謝團就將此改為“精神升旗”儀式。即早操前由謝晉元帶領全體官兵昂首肅立，向天空行軍禮，以示大家熱愛祖國，抗戰到底的決心。

1938年8月，在紀念抗日戰爭一周年之際，謝晉元向租借工部局再三交涉，要求在孤軍營內升國旗。8月9日工部局送去了一根旗桿。可是旗桿豎起才一天，租界當局出爾反爾，唯恐遷怒日本又收回前允。經謝團長據理力爭，租界方面才復同意，但旗桿要截去四尺。誰料8月11日國旗剛升起，萬國商團蘇格蘭隊、意大利隊立刻集結在孤軍營外面，如臨大敵一般。國旗剛一升起，白俄商團竟直沖營內準備硬搶。謝晉元與八百壯士當即堅定地表示，保衛國旗，如衛國土，決不示弱。就這樣雙方發生了大規模的沖突。敵眾我寡的情況之下，已被解除武裝的謝團官兵不幸有四人犧牲而受傷者逾百數。最后，不但國旗被搶劫，孤軍營也被外國軍隊占領。為了抗議租界當局的這一野蠻行徑，八百官兵進行了絕食斗爭。事件發生后，上海各界人士激于義憤，以各種方式作壯士們的后盾。如當時市立模范中學師生積極聲援，并派代表前往慰問。謝晉元當眾表示，頭可斷，血可流，絕對不做任何帝國主義的順民。經謝團的頑強斗爭和上海市民的有力聲援，工部局懾于眾怒，只得將國旗送還。謝晉元為此勉勵將士們：“大上海租界，我們的言行必須使外國人從我們身上看出中國人的氣概，認識中國人的精神。”當時漢口中共機關刊物《群眾》月刊，特別為此發表文章，向留在上海堅持斗爭的八百壯士致以誠摯的問候。

八百壯士在孤軍營前后四年多，他們的日常生活由當時國民黨“上海統一委員會”撥款維持。但主要是來自社會各界的熱情支援。如當時大中小學和其他工商各界沖破重重阻力，經常有組織地去參觀慰問，并饋贈食物和其他各種慰勞品。這些都使謝團官兵備感鼓舞。

在謝晉元部隊進入孤軍營的第一天，商務印書館門市部主任顧祖蔭出于愛國熱忱，專程前往拜訪謝團長。顧花了相當于他本人三個月薪酬的200銀元，買了《步兵操典》和筆墨硯臺練習本等，他發給謝部官兵每人一套。另外贈給謝將軍精制日記本一本。謝氏在日記本第一頁寫道：“這本日記是顧先生送給我的，我一定從今天起開始記日記，以期無負顧君的一番盛情雅意。”這本日記后來由正言出版社負責人翻譯家朱雯整理，出版了《謝晉元日記抄》。

八百壯士在孤軍營，精神食糧從來不虞匱乏。上海各種報刊都有贈送。比如《正言報》，每天送達50份。《正言報》不但經常報道壯士們的生活動態，宣傳他們對敵斗爭的光榮事跡，同時還不時地轉達上海各界對他們的熱愛和敬意。報社一名叫梁西廷的記者常去孤軍營采訪，還曾教戰士們唱抗日歌曲。其中給人印象最深的是由夏之秋作曲，桂濤聲填詞的《歌八百壯士》，歌曰：“中國不會亡！中國不會亡！八百壯士奮戰東戰場，四方都是炮火，四方都是豺狼。寧愿死，不退讓;寧愿死，不投降，我們的國旗在重圍中飄蕩，飄蕩！八百壯士一條心，十萬強敵不敢擋。同胞們起來，快快趕上戰場，拿八百壯士做榜樣。中國不會亡，中國不會亡，不會亡！”與此同時，社會各界還積極幫助官兵們開展文體活動，讓他們強體健身和豐富生活內容。一些知名體育人士到軍營中當戰士們的教練員;而一些經營體育器械、用品、服裝的公司也紛紛為戰士們作捐贈。《上海體育史話》一書中，曾有文章記載如下史實：其一為“1938年冬，日寇當局企圖利用少數民族敗類誘使四行孤軍的官兵投降，中共地下黨領導的業余文化團體益友社針鋒相對地予以抵制，并向愛國官兵贈送慰問品。在文體活動演出后同孤軍合影，鼓舞孤軍官兵堅持抗戰立場，發揚民族氣節”。其二是“孤軍營的官兵在謝團長率領下，自行辟劃場地、設施，組織體育訓練，運動技術不數月而大進。除時常自行組織運動會外，還活躍于孤島時期的社會體育之林，同孤島同胞一起聯歡，并放映《戰地英雄》等影片，以進行抗日愛國主義教育。當時孤軍營堅持抗戰到底不失民族氣節的事跡，斐然島上，名揚中外……”

隨著孤島形勢的不斷惡化，敵偽對謝晉元的威脅利誘也日甚一日。日軍曾揚言不惜一切代價要把他劫持到手，而汪偽也以高官厚祿為誘餌，妄圖促其就范。但是這些都是枉費心機。謝團長在1939年8月11日懸旗沖突一周年紀念日那天，領導全體官兵舉行精神升旗典禮后，即席講話說：“吾人應以個人生命貢獻于國家民族，只有國家民族之自由而無個人自由;只有國家民族之生命而無個人之生命。一年前為懸掛國旗，吾同志死難四人，流血一百多人，大家必須以牙還牙，以血還血，永記勿忘。”接著他預立遺囑，并函父母，重申他誓死報國之決心。信中有云：“上海形勢惡化，租界自身難保，而敵人對男之企圖，勢在必得。大丈夫光明而生，亦必光明磊落而死，男對死生之義，求仁得仁，泰山鴻毛之旨，熟慮之矣。人生必有一死，此時此地而死，實人生之快事也。”視死如歸的凜然精神，溢于言表。

1941年4月24日清晨五時，謝晉元如往常一樣率士兵們早操。此時，已被汪偽收買的郝鼎誠、張文清、張國順、張福忠等四名士兵故意遲到。謝因此將這幾人叫到一旁詢問。早有準備的四個奸徒忽然拔出兇器，群刺謝晉元，中頭胸數處。謝晉元重傷倒地，流血至黃昏許，醫治無效，一代抗日英雄，就這樣悲憤以歿，時年僅37歲。

噩耗一經傳出，舉國震悼。各地唁電如雪片飛來。上海同胞往孤軍營吊唁者有30多萬人，素車白馬，途為之塞。國民政府給予謝晉元以極高的評價。通電表彰，追贈其為陸軍步兵少將。當時全國各地的報紙都為追悼謝將軍而出了特刊。

謝晉元逝世半年后，日軍進入租界，將孤軍營謝余部解送各地為苦力。國軍回師之后，八百壯士返滬者百余人，皆結廬于謝團長墓側，多年不去。國府改四行倉庫所在地的膠州路為晉元路，并樹碑傳以為志焉。