平心而論，大漢酷吏張湯雖然手段有點過頭，但是他本人生活作風還是很簡樸的，尤其像他這樣能被漢武帝視為左膀右臂級別的官員，竟然在死后只有五百金家產，當真是讓人感慨。張湯的被誣陷致死讓他兒子多長了心眼。張安世在張湯死后，在皇帝的授意之下，出任郎官。張安世明白父親的死雖然可憐，卻也與性格有關，于是，他一生小心。在漢武帝手下做事，得有點能耐，張安世的記憶力非常好。漢武帝巡幸河東時，丟了三箱書，誰都不記得那些書中寫的是什么，唯獨張安世記得，并當場背出來。后來書找到了，果然沒有太大差別，武漢很高興，提拔他為尚書令，然后又升他為光祿大夫。

漢昭帝即位后，先是霍光將一眾輔臣給打殘，燕王謀反后，一并剪除，前朝留下來的老資格沒幾個了。這個時候，霍光把張安世抬出來，推薦他作了右將軍光祿勛，成了霍光的副手。而漢昭帝也想拉攏張安世，加封張安世為富平侯。于是，張安世處事要更小心了。張安世的侯爵怎么來的，他很清楚，夾在霍光和漢昭帝之間要保持平衡也很難，不過漢昭帝死后隊伍就好站了。車騎將軍張安世和霍光，共同冊立昌邑王劉賀。后又廢黜了昌邑王，轉而立劉詢為帝，是為漢宣帝。漢武帝時代的巫蠱之禍。牽連幾萬人，張安世的哥哥張賀也是其中之一。張賀原是劉據的手下，經過張安世說情，漢武帝恩準張賀下蠶室，受了腐刑，后當了掖庭令。而劉詢也才從監獄中放出，被收養在掖庭。

于是，張賀把劉詢撫養長大，親自教他讀書，還自己出錢給劉詢迎娶了許平君，張賀和劉詢恩同父子。因為這段淵源，漢宣帝上位后，他也拉攏張安世。漢宣帝為張賀布置守冢二百家，張賀的兒子死得早，張安世的小兒子張彭祖和漢宣帝是發小，一起讀過書，過繼給了張賀后，被漢宣帝加封為陽都侯。張安世深知出頭的椽子先爛，他多次辭讓，漢宣帝說：“吾自為掖廷(庭)令，非為將軍也。”后來這個侯位一直延續了二百多年，歷經王莽的篡亂和東漢的建立，直到東漢中期才失去。

霍光死后，有人提議讓張安世出任大將軍，張安世知道大將軍這個職位燙屁股，于是他堅決辭讓：“老臣耳妄聞，言之為先事，不言情不達，誠自量不足以居大位，繼大將軍后，唯天子財哀，以全老臣之命。”漢宣帝雖然沒有硬塞給他，但也任命他為大司馬車騎將軍，接大司馬的兵權。霍家被族，而張安世的孫女卻在漢宣帝的授意之下得已保全，不能不說張安世在漢宣帝心中的份量，張安世的小心那是出了名的。

張安世曾舉薦他人，等到他人來道謝時，他卻斷絕和這人的來往。至于他人的抱怨，他也及時去化解，有才的升官，沒才的加以勸慰。張安世貴為三公，食邑高達一萬戶，這在人臣之中是極少的。富貴已極，但他仍簡樸到底。身穿粗布衣服，夫人親手紡織，七百個家仆各有各的手藝，在家里興辦各種產業，在市場上銷售產品，比大將軍霍光更富有。但奇怪的是，漢宣帝怕霍光，卻親近張安世。

元康四年，張安世病逝，漢宣帝贈送了印綬，賞賜了陵墓，建造了祠堂，派輕車甲士為張安世送葬。后麒麟閣十一功臣中張安世被排第二，僅次于霍光。張安世謹慎小心，萬事中庸，把夾心餅干做得是有聲有色，張氏家族歷經二百年沒有失去侯位(從西漢昭帝元鳳六年(公元前75年)張安世受封富平侯起，一直到東漢安帝永初三年(公元109年)張吉死后無子繼承，爵位斷絕為止，爵位傳襲多至九代，長達184年。)，不但功高，更是低調有內涵的家族傳統。