奉軍進入北京后，段祺瑞的政治能量終于喪失殆盡。1926年4月20日上午，他在外交總長胡惟德不知情的情況下，特任其兼署國務總理，攝行臨時執政職權。當天下午，他乘坐專列離開北京，前往天津。

這是段祺瑞第三次到天津過寓公生活。他在天津沒有房產，以前都是住舊部段芝貴或小舅子吳光新的宅弟，這次來津，開始是在日租界的壽街租了一間房子，但有一次他無意中將自己的姓“段”和壽待的“壽”聯系了起來，覺得不太吉利。吳光新聽說后，便勸他搬到自己位于日租界宮島街的寓所。

吳光新的這座寓所建于1916年，外形奇特宏大，施工質量很高，可與日租界清遜帝溥儀所居住的張園相媲美。缺點是此處離日本天津駐屯軍司令部比較近，經常有日本軍政官員來訪，段祺瑞不勝其煩，只好經常托病不見。

得知段祺瑞想找一個清凈的住所，老部下魏宗瀚就把他接到了日租界須磨街自己的寓所。

下野后的段祺瑞自稱“正道居士”，每天吃齋禮佛，十分虔誠，但他的須磨街住宅卻并不顯得門庭冷落——他的那些部下幕僚，如曾毓雋、章士釗等人全都不離不棄，一路從北京跟隨到天津，而其它各路的說客和謀士也經常前來登門“勸道”。

這種情況下，就算老段真的像他表面宣布的那樣只談佛經不問政治，“政治”也會時不時地來光顧和過問他。問題是，此時的國內政局已經發生重大變化，他再也不可能成為政壇上的中心人物了。

甚至連段祺瑞本人都不會想到，他實際擔負著最后一次挽救和整合北洋系的使命。在段祺瑞黯然下野和段記執政府“杯碎”之后，北洋各派繼續相互削弱，使得整個北洋系更以加速度奔向自己的末路。

吳佩孚曾經是段祺瑞的頭號勁敵，正是吳佩孚在直皖戰爭中對皖系的致命一擊，造成了段祺瑞及皖系的一撅不振。不過后來吳佩孚終于領悟到了段祺瑞對于北洋系乃至于整個近代中國的重要意義，只那時候，他也成了被政壇拋棄的落魄寓公，而段祺瑞剛剛去世。

吳佩孚特請人代表他到段宅吊唁，并親撰挽聯。他告訴別人：“我對合肥（指段祺瑞）之喪，一度任秘書，一度任帖寫（指挽聯等均系吳本人自作自寫），此為有生以來第一次，惟對段夫子一人而已?！?/p>

吳佩孚所寫挽聯的聯文很長，道盡了他歷經波折滄桑之后的感悟：“天下無公，未知有幾人稱帝，幾人稱王，奠國著奇功，大好河山歸再造；時局至此，皆誤在今日不知，明日不戰，憂民成痼疾，中流砥柱失元勛?！?/p>

吳佩孚送的祭帳為“木壞山頹”。大匾上款為“芝泉夫子”，下款為“受業吳佩孚敬獻”，四個大字乃“還我河山”。

那一刻，這位曾經書生意氣并無比叛逆的秀才將軍，成了最懂段祺瑞的人。