八百壯士在四行倉庫孤軍抗戰，引起了上海公共租界當局的不安，他們害怕戰事的繼續會危及租界安全，要求中國政府下令孤軍撤退。中國軍事當局考慮到預定任務已經完成，乃于31日命令孤軍撤退。謝晉元接到命令后，當即代表八百壯士表示：全體官兵早已立下遺囑，誓與陣地共存亡，但求死得有意義，但求死得其所！后經再三電令，八百壯士才揮淚表示執行命令，退入租界。

第88師副師長馮圣法、參謀長張柏亭，上海市政府秘書長俞鴻鈞，上海警備司令楊虎等為安排孤軍撤退，曾同負責租界駐軍的英軍司令斯馬萊特進行交涉，雙方達成協議：由英軍壓制日軍火力，孤軍通過西藏路，從新垃圾橋進入租界，然后搭乘英軍汽車到滬西歸隊。31日凌晨，謝晉元率孤軍開始撤退。壯士們敏捷地沖出大樓，由新垃圾橋進入租界。謝晉元自己最后一個離開倉庫陣地，楊瑞符營長身負重傷，住院治療。

謝晉元率八百壯士成功地撤出四行倉庫，退入租界，正準備從滬西方向歸隊，繼續與日軍作戰時，租界當局迫于日軍關于若租界準許孤軍通過，日軍也將通過租界追擊孤軍的威脅，違背諾言，要收繳孤軍的武器，車運膠州路羈留。八百壯士群情激憤，聲言武器為軍人的第二生命，決不能離手，寧愿重返四行倉庫，繼續固守到底。雙方僵持不下。經過多方周旋，租界方面表示，這僅是替孤軍代為保管武器，定點明數量出具收據，絕非繳械。八百壯士為顧全大局，忍辱負重，被車運膠州路孤軍營。租界當局攝于日方壓力，不敢釋放孤軍歸隊，同時也拒絕了日方關于引渡孤軍的無理要求。這樣，八百壯士被羈留在孤軍營。孤軍營占地數十畝，地面坑坑洼洼，垃圾滿地，住房十分簡陋，營地四周鐵絲網高架，由白俄士兵把守，壯士們只能在鐵絲網內活動，實際上是一個俘虜營。

身處逆境，但八百壯士誓死抗日的信念沒有動搖。壯士們把孤軍營生活當成另一種形式的戰斗，通過自己的言行，“使友邦從我們身上看出中國軍人之氣概，從此認識中國的真精神。”來到孤軍營的第二天，謝晉元在接見中外記者時表示：“倭寇與我們勢不兩立，我們存在一天，決與倭寇拼命到底。”在條件艱苦的孤軍營，八百壯士在謝晉元的率領下，仍然過著嚴格的部隊生活，早操、值勤、站崗，從不間斷，并自力更生進行生產。他們進行嚴格訓練，準備隨時報效祖國。為激發愛國熱情，他們還每天舉行精神升旗典禮，表達了他們對中華民族的無限忠誠。

1937年11月12日，中國軍隊全部撤出上海，日軍軍包圍了租界，孤軍營成為孤島中的孤島，也成了上海抗戰的最后精神堡壘。有一段時期，孤軍營未被限制普通人的出入，上海同胞可以隨便和孤軍接觸，在通往孤軍營的路上，每天人來人往，絡繹不絕，如同圣徒們擁向圣地一般的景象。

1938年8月，時值上海“8·13”抗戰周年紀念日，孤軍向租界當局提出要求在孤軍營內懸掛國旗，以示紀念。租界當局多方阻撓，企圖阻止紀念活動。幾經交涉，租界當局被迫同意升旗，但要求將旗桿截短，與營內禮堂屋頂相齊，避免日軍看到。11日，孤軍舉行了莊嚴的升旗典禮，國旗在營內飄揚。上海同胞望見，無不感奮流淚。租界當局見狀，害怕得罪日本人，派萬國商團的白俄隊沖入孤軍營，欲強行摘下國旗。手無寸鐵的孤軍奮力抗爭，手拉手地筑起人墻，圍在旗桿下。白俄士兵開槍射擊，孤軍為護旗當場犧牲4人，負傷11人。白俄隊還將謝晉元等部分軍官挾持到車上，拉至外灘幽禁起來。為此，孤軍全體官兵絕食抗議，上海同胞亦憤慨萬分，罷市3天，聲援孤軍，要求將謝晉元等送歸孤軍營。8月13日，中國共產黨在漢口出版的《群眾》周刊上撰文：“向羈留在滬堅持奮斗的八百壯士致誠摯慰問之意。”17日，租界當局迫于各方壓力，同意謝晉元等人回到孤軍營。

隨著上海形勢的變化，日偽活動日趨猖獗，他們對謝晉元等威逼利誘，企圖使其變節，但謝晉元毫不動搖。敵人見利誘不成，便準備下毒手。1941年4月24日清晨，謝晉元率部早操時，遭被敵人收買的孤軍內部叛徒郝某等4人突然襲擊，不幸犧牲。謝晉元殉國后，孤軍悲憤萬分，失聲痛哭，叛徒當場被抓獲，受到懲罰。噩耗傳出，上海人民震驚至極。4月25日，舉行遺體棺殮儀式，前往吊唁者達10萬之眾。中外報刊紛紛報道消息，表示哀悼。國民黨政府于同年5月追晉謝晉元為陸軍少將。解放后，上海市人民政府褒揚他“參加抗日，為國捐軀”的精神，并為他重修墳墓。

太平洋戰爭爆發后，日軍于1941年12月闖入孤軍營，拘禁了全體孤軍，并將他們送往吳淞口看管，4年的孤軍營生活至此結束。此后，日軍對孤軍進行了百般殘害，強迫孤軍挖壕溝，做苦工，后來又將他們押往南京老虎橋監獄。即使在這種殘酷的環境中，八百壯士仍表現出不屈不撓的精神，與敵人展開斗爭。為瓦解孤軍，日軍仍將八百壯士分散看管，并將其中一部分押往杭州和南洋做苦工，直至抗戰勝利，幸存者才恢復自由。