1927年4月，日本田中義一上臺后，向張作霖強(qiáng)索鐵路權(quán)，逼張解決所謂“滿蒙懸案”，從而激起了東北人民的反日怒潮。9月4日沈陽兩萬人示威游行，高呼“打倒田中內(nèi)閣”。在全國反帝浪潮的沖擊下，以及張作霖本人的民族意識，奉系政府未能滿足日本在“滿蒙”筑路、開礦、設(shè)廠、租地、移民等全部要求，并有所抵制，這為日本內(nèi)閣所不能容忍，日本關(guān)東軍則斷定東北人民的反日游行系張作霖煽動所致，對他恨之入骨。

1928年4月5日，蔣介石為了擴(kuò)大自己的地盤在徐州誓師，對以張作霖為首的北方舊軍閥舉行“第二次北伐”。4月9日，第一集團(tuán)軍發(fā)起全線進(jìn)攻。4月30日，各路國民軍對濟(jì)南發(fā)起總攻。這天夜晚，張宗昌率殘部棄城北逃。5月下旬，國民軍已逼近京津地區(qū)。盤踞北京的“中華民國陸海軍大元帥”張作霖見大勢已去，在6月2日發(fā)出“出關(guān)通電”，宣布退出北京回東北。

這次張作霖回東北，日本提出了最后通牒，脅迫他同意日本的要求，張作霖卻仗著自己手里還有幾十萬軍隊(duì)，不肯松口。于是，日本關(guān)東軍決定在張作霖回東北的路上除掉這個(gè)眼中釘。當(dāng)國民軍迫近京、津之時(shí)，日本“惟恐戰(zhàn)亂波及滿洲”，一面增兵青島，威脅南軍北進(jìn);一面按其“東方會議”的決策，對張作霖施加壓力，迫張及早離京。1928年5月18日，日本對交戰(zhàn)雙方發(fā)出警告，聲稱：“動亂行將波及京、津地方，而滿洲地方亦有蒙其影響之虞。夫滿蒙之治安維持，為帝國之所最重視，茍有紊亂該地之治安，......帝國政府為維持滿洲治安計(jì)，不得不取適宜且有效之措置。”在這“警告”發(fā)出的前后，日本加緊了逼張的活動：既催張退回東北，又乘機(jī)向張勒索“滿蒙”的權(quán)益。

1928年5月13日和15日，日本得寸進(jìn)尺，要他“解決滿蒙諸懸案”。據(jù)《時(shí)事新報(bào)》揭露：當(dāng)時(shí)日本曾向張“提出條件十款，其苛毒不忍言”。有人回憶：芳澤曾屢次逼張，要他履行所謂的“密約”。為逼張作霖退回東北，5月17日晚，日使芳澤會見張作霖，與張談至深夜。芳澤說：“大勢已經(jīng)如此，為使戰(zhàn)亂不波及京、津，收拾軍隊(duì)撤回滿洲以維持滿洲治安，我想無論對中國國民還是對奉天派都是萬全之策。”張作霖聽后不悅，嚴(yán)詞拒絕。芳澤繼續(xù)追問說：“你們能打過北伐軍嗎？！”張作霖說：“若打不過他們，我們可以退回關(guān)外。”芳澤說：“恐怕未必回得去吧。”張作霖說：“關(guān)外是我們的家，愿意回去就回去，有什么不行呢？！”

芳澤見張作霖不上其圈套，就進(jìn)一步采取威脅手段，從懷里掏出日本政府關(guān)于滿洲問題警告南北雙方的覺書。并向張作霖提出“滿蒙權(quán)益”的要求，逼張作霖答應(yīng)。不僅如此，他又向張作霖威脅說：“張宗昌的兵在濟(jì)南殺死幾十名日本僑民，你對此應(yīng)負(fù)一切責(zé)任。”這一連串的威逼，使張勃然大怒，由座上猛地站起來，把手里的翡翠嘴旱煙袋猛力地向地下一摔，搕成兩段，聲色俱厲地沖著芳澤說：“此事(指張宗昌殺日僑事)一無報(bào)告，二無調(diào)查，叫我負(fù)責(zé)，豈有此理！......”他說完之后，就扔下芳澤，怒氣沖沖地離開了客廳。三個(gè)多小時(shí)的會談就這樣結(jié)束了。

那時(shí)，張作霖本想“留在關(guān)內(nèi)”，他對日本的逼迫行徑“非常不滿”。因而不但口頭上拒絕了芳澤的“勸告”，而且于1928年5月25日發(fā)表書面聲明，反對日本1928年5月18日的“警告”。日本見張作霖不聽擺布，對他繼續(xù)施加壓力，警告他：如果不聽勸告，失敗后想回東北，“日軍當(dāng)解除其武裝”。同時(shí)，日本關(guān)東軍也“開赴沈陽、錦州、山海關(guān)等地，并將關(guān)東軍司令部由旅順遷至沈陽，在沈陽滿鐵借用地分設(shè)六大警備區(qū)，日僑也組織日勇千余，劍拔弩張”。在內(nèi)外交迫下，張作霖不得不表示離京。在日本迫使張作霖退回東北的時(shí)候，奉系內(nèi)部的“新派”，為便于和蔣、閻妥協(xié)，也勸張作霖離京。張作霖在答復(fù)中表示“東三省及京、津?yàn)橹袊I(lǐng)土，主權(quán)所在，不容漠視”，反對日本政府公然干涉中國內(nèi)政。當(dāng)時(shí)報(bào)刊報(bào)道說張作霖“有不得不出關(guān)的苦衷”：(一)張不離京，一切妥協(xié)和其他事均無從說起;(二)奉軍新派人物，均極盼張速去，以望與黨方合作“。同時(shí)，奉軍在軍事上節(jié)節(jié)失利，軍心早已動搖。

張學(xué)良、楊宇霆等亦“力勸老將回奉”。5月30日，張作霖召集張作相、孫傳芳、楊宇霆、張學(xué)良舉行會議，決定下總退卻令。6月1日下午，“邀外交團(tuán)入府”，在懷仁堂與外交團(tuán)告別。他在致詞中，以極悲痛的語句，向各國使團(tuán)表示他的“討赤”立場。他說：“余為中國計(jì)世界計(jì)，始終矢志討赤，至保護(hù)外僑生命財(cái)產(chǎn)，即余在滿洲時(shí)......亦未嘗一日忘懷，今后仍然請各位放心。”6月2日，張作霖發(fā)表了“出關(guān)通電”，說明自己到北京“本為救國而來，今救國志愿未償，決不忍窮兵黷武。爰整飭所部退出京師。”張作霖雖通電“退出京師”，但決不甘心放棄既得的統(tǒng)治地位。在離京前(6月1日)，他命許蘭州將“安國軍大元帥”的印、旗、國務(wù)院的印信、外交部的重要檔案全部運(yùn)往關(guān)外，并下令“一切重要命令，仍須由大元帥蓋印發(fā)表”，夢想“在關(guān)外龐然自大，一過其大元帥之癮”，企圖有朝一日卷土重來。