張湯很小的時候，有一次父親出門回來，發現老鼠偷吃了肉，就遷怒于張湯，把他打了一頓。于是張湯挖開老鼠的巢穴，活捉了老鼠，把老鼠當作犯人一樣嚴加審訊拷打，并記錄下審訊過程，最后把老鼠和老鼠吃剩的肉都當堂呈供，作為證據，宣判老鼠應當受磔刑，然后親自把老鼠分尸。

張湯的父親看到這份審訊記錄，大吃一驚，因為這份判決書簡直就像一個資深法官的作品，于是讓張湯學習斷案的文書。父親死后，張湯當上了長安的官員。

張湯工于心計。他的好朋友趙禹擔任少府，廉潔傲慢，公卿去拜訪他，他卻從來不回訪，甚至和知心朋友都斷絕了來往，一心一意秉公辦理公事。張湯覺得他的做法不可取，于是廣泛結交官員，哪怕自己討厭的人也裝作親熱的樣子。

張湯后來做到了九卿的大官，他善于揣摩漢武帝的喜好，每次有疑難案件，都先向漢武帝分析事情的前因后果，漢武帝認為對的，張湯就記下來，作為以后判決的法規。如果辦案沒有順著漢武帝的意思，受到譴責之后，張湯就把別的同事抬出來，說：“哎呀！他們早就向我提過跟皇上您一模一樣的意見，我這人太笨了，竟然沒有采納。”既恭維了漢武帝又推卸了責任，漢武帝也就既往不咎了。他還善于籠絡人心，漢武帝對他辦的事很滿意的時候，張湯就說是誰誰誰出的主意。凡是他辦的案子，揣摩是漢武帝想要治罪的，就交給執法嚴酷的官吏去辦;揣摩是漢武帝想寬大的，就交給執法公正的官吏去辦。所以張湯辦的每件案子都很符合漢武帝的口味。

當然，該邀功的時候，該表示鐵面無私的時候，張湯也會表演得像一個堅持原則的法官。他辦理淮南王、衡山王、江都王謀反的案件時，漢武帝本想寬恕同案犯嚴助和伍被，張湯卻說：“伍被是策劃者，嚴助是出入禁宮受您寵信的人，他們倆竟然和諸侯私交同謀，如果不殺了他們，后果不堪設想。”這一番替漢武帝設想的大道理，讓漢武帝沒了辦法，只好殺了二人。

當時漢朝和匈奴連年征戰，這一年匈奴提議和親，博士狄山上奏說和親有利。漢武帝就問他為什么有利。狄山回答：“刀兵乃兇器，不能輕舉妄動。漢高祖劉邦伐匈奴，結果被困在了平城，答應和親后才被放回來。孝惠和高后時期，沒有和匈奴打仗，結果天下太平。到了孝文帝時期，想征伐匈奴，結果天下不得安寧。孝景帝遇到了七國之亂，打來打去，民不聊生，平定七國之亂后，孝景帝終生不再提打仗之事，因此天下富足。現在皇上您如果攻打匈奴，一定會導致國庫空虛，百姓貧困，所以還是和親的好。”張湯一聽，當場就反駁說：“這是腐儒之見。”狄山面子下不來了，干脆和張湯聽上了：“你說我是愚忠，我看你是詐忠。你處理淮南王和江都王案子的時候，深文周納，誣陷諸侯，離間皇上和諸侯骨肉之親，諸侯的大臣們也寢食不安，這不是詐忠是什么！”這句話一下戳到了漢武帝的痛處，他馬上變了臉色，問狄山：“你丫牛逼哄哄的，我讓你去管一個郡，你能擋住匈奴嗎？”狄山回答：“不能。”漢武帝又問：“那一個縣呢？”狄山仍然回答說不能。漢武帝又問：“那一座要塞呢？”狄山心想，如果再說不能，皇上肯定會把我治罪，于是只好說能。這一下不打緊，漢武帝真的派狄山去守要塞了，一個多月以后，手無縛雞之力的狄山就被匈奴砍去了腦袋。于是群臣大驚，再也不敢和張湯公開辯論了。

張湯做了七年御史大夫，后來失勢了。這時，被他整治過的人開始對他實施報復。

河東人李文曾經同張湯有矛盾，做了御史中丞后，開始整張湯的黑材料。張湯有個手下叫魯謁居，為了討好張湯，就向漢武帝造謠告發李文。這件事正好落到張湯手中，張湯就把李文給殺了。漢武帝問他：“那個匿名告發李文的人是誰啊？”張湯故作驚訝：“啊？可能是李文的老朋友干的吧。”事后魯謁居生病，張湯親自去探望，居然替魯謁居按摩雙腳，以報答魯謁居。這件隱私被趙王偵知，上書說：“張湯是朝中大臣，魯謁居是他的手下，張湯竟然替他按摩雙腳，他肯定指使魯謁居干了什么大壞事。”

這件事交給了廷尉處理。魯謁居一病嗚呼，他弟弟也被牽連了進來，下獄。恰好張湯去審理別的囚犯，看到魯謁居的弟弟，就想私下里開脫他，當面卻裝作不認識。沒想到魯謁居的弟弟會錯了意，還以為張湯故意不理他呢，一怒之下就告發張湯和魯謁居是共謀。正好丞相莊青翟和他手下的三個長史都忌恨張湯，于是聯手陷害張湯。漢武帝終于認清了張湯的真面目，派了八批使者，像張湯小時候審訊老鼠一樣審訊張湯。張湯不服，漢武帝于是派張湯的好朋友、鐵面無私的趙禹審訊。趙禹責備張湯以前辦案子的時候殺了多少人，現在你的案子有根有據，皇上很難處理，就想讓你自己自殺算了，你還想多方對質干嗎呀？

張湯一聽原來是漢武帝的意思，沒辦法，只好自殺了。

張湯死后，抄家時發現，他的家產只有五百金，而且全是皇上賞賜給他的，沒有別的任何產業。親戚們想厚葬張湯，張湯的母親說：“張湯是被誣告而死，干嗎要厚葬？”于是葬得非常寒酸。漢武帝聽說后，感慨說：“沒有這樣的母親，哪能生出這樣的兒子呢。”于是下令窮究此案，殺了那三位長史，丞相莊青翟也像張湯一樣自殺了。張湯即使死了也報了仇。