雍正十三年八月，彌留之際的雍正帝，沒有忘記安排他的老臣，在他的遺詔中囑咐了讓鄂爾泰和張廷玉配享太廟，這讓嗜名如命的張廷玉視為了光宗耀祖的殊榮，因為大清朝能享受此待遇的漢臣就他一人，連清初那位被皇太極寵幸的范文程也沒有此等榮譽。

但是，遭逢也要看時運，張廷玉雖然被雍正所寵，卻不為乾隆所愛。在乾隆的眼里，張廷玉就是先皇雍正的秘書，僅僅是代為書寫諭旨，無非就是文墨好一點。他把張廷玉鄙視成了一件供人觀賞的玩物。

乾隆即位之初，張廷玉已經是接近七十歲的老人了，看在三朝老臣的份上，乾隆準許他在紫禁城騎馬，又允許不上早朝。乾隆這么做一方面是出自對老臣的關照，但另一方面，卻不無排斥之意，從而在軍機處形成了訥親獨自面承圣旨的局面。

張廷玉歷經宦海沉浮，見慣了官場的傾軋，對于君臣之間關系出現的變化，不會沒有感受。只是他一向立身嚴謹，信奉“萬言萬當，不如一默”的原則，絕不會因此而面露一絲不滿，更不會去追究其中的緣由。

乾隆十三年，張廷玉上疏乞求告老還鄉，按常理張廷玉此時已是八旬老臣，請求榮歸故里，這本是人之常情，但是在乾隆的眼里，卻認為有不肯盡忠之嫌，他認為作為臣子，應鞠躬盡瘁死而后已。他對張廷玉說：“卿受兩朝厚恩，且奉皇考遺命，將來配享太廟。豈有從祀元臣，歸田終老之理？”

乾隆沒有批準張廷玉歸隱的請求，而張廷玉卻三番五次奏清，盡管乾隆反復解釋不應退隱的道理，張廷玉就是聽不進去，始終不肯罷休。而結果是張廷玉被強留了下來，還惹得乾隆滿心的不悅。

而這一年，剛好是乾隆心情最糟糕的一年，先是皇后富察氏病逝，乾隆喪失愛妻，接著又是大臣辱命，金川傳來戰敗消息。乾隆一反常態，大開殺戒，連連的懲治大臣，或殺、或革、或降級流遣，官場上烏云密布，雷聲四起，大小官員似乎又突然回到了雍正時代，處在人人自危，岌岌不可終日的恐懼中。

張廷玉雖然沒有卷入到這場風暴中去，但是也沒有躲過這場風波帶來的余震，他三番五次受到乾隆的點名指責。

然而乾隆皇帝咄咄逼人的申斥并沒有打消張廷玉的思鄉之情。乾隆也很明白他的心思，于是在乾隆十四年發布了上諭說：“張廷玉生長京邸，子孫繞膝，原不必以林泉為樂，城內郊外，皆有賜第，可隨意安居，從容幾杖，頤養天和。”

乾隆的這道上諭一方面是告誡張廷玉，為臣的天職在于任勞任怨，決不可倚老賣老邀功。另一方面，又在提醒張廷玉要知勸。

無奈張廷玉的鄉思已經到了執迷不悟的程度，到了十一月，乾隆見他仍然歸心似箭，且老態日增，精采大減，故而動了惻隱之心，覺得強扭著也不行，便允許了他歸隱之請。

如果張廷玉就此和乾隆一別，便可以榮歸故里，安享晚年了。誰知他又節外生枝，自取其辱，反落得蓬頭垢面的下場。

原來張廷玉遂了歸鄉的心愿以后，又擔心起身后能否配享的問題了。因為乾隆說過“豈有從祀元臣，歸田終老之理？”，君恩似水，何況這位新君并不在意他這個老臣，張廷玉不能不為此感到擔憂。而恰巧在這時，他又聽到大學士貽直向乾隆進言，說他無功無德，不應配享。

張廷玉頓時心急如焚，強烈的虛榮心使他忘記了多年以來秉持的甘于淡泊，泰山崩于前而色不變的方正君之了。他進宮面見乾隆，請求乾隆不要改變雍正的遺命，流露出一付不講廉恥的乞恩討賞的奴才相，平日的清高謹慎完全不見了。

乾隆雖然對張廷玉有所不滿，但心中并沒有違抗雍正遺命的意思。見張廷玉對自己如此防備，提出這般要挾的請求，心中自然十分不舒服，但乾隆還是勉從所請，答應了張廷玉。

張廷玉三朝元老重臣，久經政治風云，當盡知為官之道。不知他是真的輕視皇帝，還是一時糊涂，在得到恩準配享的諭旨之后，他只是具折謝恩，并以年老天寒為由，沒有親赴殿廷面圣，而是讓兒子張若澄代往謝恩。

乾隆這次真是動怒了，張廷玉敢于這樣對自己不敬，積郁已久的不滿向火山一樣爆發，他讓軍機處傳旨，令張廷玉明白回奏。

龍顏大怒，張廷玉已知此番非同小可，第二天一大早，他便趕到宮廷跪叩請罪，不料這亡羊補牢之舉，非但沒有任何用處，反而授人以柄。乾隆知道張廷玉的請罪并非出自真情，本來盛怒之下大有顛覆張廷玉之勢，但乾隆的高明之處，就在恰到好處。

乾隆見張廷玉已經威風掃地，而所犯之罪又不足以嚴懲，因此當滿朝大臣提出張廷玉應該革去大學士之職，取消配享的建議時。乾隆反倒下令讓張廷玉仍以大學士銜致仕，身后任準配享太廟，只是削去了伯爵。

但張廷玉注定是命運多舛的，乾隆十五年，皇長子永璜去世，張廷玉是是永璜的老師，按理應該等到喪期結束后才回鄉，但是張廷玉在喪服未除的時候便匆匆告歸，被乾隆指責漠然無情，不顧師生之誼。

乾隆還很不客氣的對張廷玉說，劉伯溫是輔佐朱元璋成就大明的功臣，他當時配享太廟都引來朝野爭議，你問問自己，和劉伯溫相比較你有什么資格配享太廟。

可伶張廷玉三朝侍君，五十年如一日，修煉了一輩子的謹慎，竟因一時疏忽，觸犯了龍顏，結果是備受羞辱，衣冠掃地，乾隆十五年張廷玉以大學士致仕，灰溜溜的返回了桐城老家。

張廷玉在老家也不安生，他的兒女親家朱荃獲罪，牽連到他。因為張廷玉的包庇，朱荃在朝廷內廣植黨羽，無所顧忌。后被乾隆治罪，張廷玉也因此被罰款一萬五千兩，并追繳了歷年皇帝賜給他的禮物、查抄在京的住宅。

經過這場問罪，張廷玉以垂老之軀幾遭嚴譴，盡失往日的威勢，門生故吏各尋出路，樹倒猢猻散，就連吳士功這樣的死黨也投奔了他人。在經過鄂爾泰和張廷玉的打擊后，乾隆以皇權的獨尊落下了帷幕。

乾隆二十年三月，張廷玉病逝，乾隆做出了眷念老臣的姿態，寬恕了他的過失，令仍配享太廟，并稱“皇考之命朕何忍違，且張廷玉在皇考時，勤慎贊襄，小心書諭，原屬舊臣，宜加優恤”，賜祭葬，謚“文和”。

直到死后，張廷玉才挽回了一點面子！