放下行裝，劉峙急不可耐地去拜見蔣介石，要“匯報工作”。豈知見面之時，蔣介石不容他開口，劈頭蓋臉就是一通臭罵。好在劉峙了解蔣介石的秉性，知道他罵過以后就會風平浪靜的。況且，他在大陸時期就已養成標準的奴才德性，可以立正恭聽“領袖”責罵，不管蔣介石罵多久，不管罵什么，劉峙一律唯唯稱是，而且可以保持立正的姿式一動不動。這一次，年近七旬的蔣介石體力已不比當年在大陸時期，罵了一會兒便感到疲倦了，只好住口，吩咐劉峙回去后好自反省。

劉峙從“總統府”退出來后，心情反倒舒暢起來。他憑以往的經驗斷定，蔣介石對他這頓痛罵，就算把過去種種舊賬一筆勾銷了。果然，一個月后，“總統府”派人給劉峙送來了“總統府國策顧問”的大紅聘書。1954年2月，劉峙出席“第一屆國民大會”第二次會議，再度當選為大會主席團主席，10月還受聘為“行政院光復大陸設計研究委員會”委員。因為有流落爪哇當“猢猻王”的履歷，劉還在“光委會”里兼國際關系僑務組召集人，這個頭銜，又成為臺灣人飯后茶余的新笑料。這些官職雖然都是虛職，沒有什么實權，但“車馬費”還是不少的，可保生活無虞。劉峙有了在海外漂泊受苦的經歷，對這一結局已感相當滿意。1960年2月，劉峙出席“第一屆國民大會第三次會議”，仍當選為大會主席，1966年“國民大會”也是一樣，1967年兼任“行政院光復大陸設計研究委員會”臺中區主任直到去世。

劉峙回到臺灣后，定居于臺中市，妻子黃佩芬任教職于省立臺中女子中學。劉峙五十多年未出國門一步，除了1950年至1953年冬，在印尼僑校教書時曾到一些地方游覽一番外，再無其他游歷。而來臺之后，在極平淡和寂寞的生活中，又度過了自認為是毫無生命價值的八載，進入了人生古稀的階段。人到晚年本應心情閑散恬淡，然而劉峙自覺生活圈子太小了，靜極思動，欲作遠游，限于經濟條件，只是幻想而已。不料糖尿病日趨惡化，心臟也發現有問題，便想趁早到美國去檢查身體，并看看新大陸的繁華。于是劉峙在得到復興公司董事長周兆棠，以及胡宗南、黃杰、羅列、劉安祺幾位黃埔軍校時的學生的資助，終于遂了平生“壯游”的心愿。1961年9月10日，劉峙和妻子黃佩芬由高雄港登上復平號貨輪，起碇赴美。船行至赴美的第一站神戶停泊，因其在日本有一段時間停留，而后再由橫濱起碇繼續赴美的航程，劉峙及夫人便趁此機會由神戶登陸，經大阪到東京候船，藉此觀光。劉峙在東京車站得到商起予上將、馬晉三中將及臺灣駐日本“使館”參事熊質傅的迎接。劉峙與商起予相別已十數年了，如今在異國老友相聚，二人嗟嘆不已。劉峙在日本各處逗留了12天，在此期間受到臺灣駐日本使館參事張厲生的盛筵款待，得到馬崇六中將的按摩治療。復平輪于9月28日再次啟航，至10月13日晨，到達美國西海岸的洛杉磯港外。

在美國，劉峙夫婦先后游歷了洛杉磯、舊金山、紐約、波士頓、華盛頓、芝加哥等地，這期間在紐約的外甥女婿宓寧家中住了月余。12月30日乘復康輪啟碇離開波特蘭港返航。這一次游美，從西海岸的洛杉磯登陸，從舊金山橫貫新大陸，到東海岸的紐約，然后又從紐約經芝加哥，回到西海岸，由波特蘭返臺，劉峙的游蹤在新大陸劃了一個V字形。他總算是遂了心愿，自覺大開眼界，深有感觸。

劉峙“居恒好讀書，無日不寫日記”，在開封綏靖公署時，空暇之余，常請熊哲（后為臺灣國立政治大學教授）為之講解古籍，書法也勁猷有力。劉峙喜歡辦教育，1931年在吉安原籍創辦“扶園”學校一所（包括中小學），直到解放后才停辦，歷時近二十年。在開封創辦“扶豫小學、贛聲中學、黎明中學、中州中學、

中國中學、中正中學及靜宜女中等校，在重慶也曾創設中學，均是斥私資經營，以上各校培育的學生不下萬人。劉峙晚年回憶起自幼立的三大愿望，即是：（1）創辦由小學到大學的大規模學校一所，以最佳教育方法，為國家造就人才。（2）設置一個大圖書館，古今中外書籍齊備，為大眾增進知識，并便利有志者進修，促進國家文化發展。（3）開設大醫院，為貧苦無告者，解除疾苦。然而除第一項曾經創辦到中學為止外，其余兩項，等于自己說謊。種種憧憬，均成幻影，浩嘆不已！

劉峙閑暇時回憶往事，且憶且述，數年后居然整理出一部《我的回憶》。因沒錢出版，劉峙的這本回憶錄先以油印本形式在昔日同僚、部下中傳閱，后被出版商相中，才得以正式出版。

1962年，與他在印尼落魄患難的妻子黃佩芬因病去世，這件事對年邁的劉峙是一個沉重的打擊。從此后他益加落落寡歡，在寂寞孤單中消磨歲月。劉峙身體狀況向來不錯，不吸煙、不飲酒，早晚不懈運動，只是中年患有糖尿病及輕微心臟病，服藥未能根治，1970年夏中風，半身不遂，住院半年養病，終告不治，1971年1月15日，劉峙病逝于臺中。