等到其父回來，查看家中情況，誰知廚中藏留之肉被鼠竊食。其父大怒，將張湯打了一頓。張湯被打，自念爲鼠所害，心中不甘，要想尋鼠報仇。
次日其父出外，張湯閉上房門，掘開鼠穴，果然捕獲一鼠，並搜得食剩之肉。張湯大喜，心想平日常見父親審理案件，處決罪犯，甚是有趣，我今捕得此鼠，正好仿照父親行事，不但泄憤，又可取樂。於是將鼠縛住當作犯人，自己做起刑官坐堂審案。吊起此鼠取出餘肉，喝問道：“此肉是否被汝竊食？”那鼠只是唧唧作聲，張湯便當他不肯實供，喝令拿下拷打，自己卻用小棍向着鼠身亂敲。那鼠被打跳躍大叫。張湯當作他已招認，遂錄出口供擬下判詞，援據法律處以死罪。又假作文書將此案申報朝廷，得了批准，案情已定，然後將鼠就堂下磔死，算是行刑了結此案。
張湯正在遊戲，恰值其父回來，問他幹嘛？張湯告知其事，其父便索取張湯判詞看了一遍，心中大加驚異。原來此判詞字字精當，如同老獄吏一般，我一向並未教他，他又何從學得，想是天生其才。既然如此，索性造就他將來做個刑官。從此其父便將自己經辦案件，所有文書判詞，交與張湯書寫，使之練習。張湯對於刑獄日加熟悉。其父死後，張湯初爲長安獄吏，便受收他人財物。又與長安富商田甲、魚翁叔等交結，彼此錢財往來。
其時正值景帝末年，王皇后同母弟田勝因事犯罪，系在長安獄中。張湯暗想此人乃皇后之弟，將來太子即位便是國舅，正好趁此時先燒冷竈結下交情。於是傾身照顧田勝，吩咐獄卒好生看待，又設法將所犯案件寬緩下來。果然不久武帝即位，田勝得釋出獄，封爲周陽侯，心中十分感激張湯，又帶領他遍見朝中貴人。恰遇寧成由中尉移爲內史，張湯爲其屬吏，甚被賞識，薦於丞相衛綰，衛綰調他爲茂陵尉。及田蚡拜相，以張湯爲丞相史，薦補侍御史。陳皇后巫蠱事起，武帝發交張湯審辦，張湯窮究黨羽，連坐死者三百餘人。武帝以湯爲能，擢爲太中大夫，命與趙禹共定律令。二人意見相同，彼此一見如故。
趙禹年長，張湯以兄禮事之。所定法令，專務苛酷。又作見知故縱之法，凡官吏見知他人犯法，不即出頭告發，是爲故縱，與犯人同罪。
李蔡死後，張湯滿望自己得升相位，偏武帝不使爲相，另命太子少傅莊青翟繼李蔡後任。張湯因爲莊青翟直受不辭，未嘗相讓，遂與莊青翟有嫌，意欲設法構陷他，只因一時無可下手，權且耐心等着。
卻說楚地一帶，奸商私鑄銅錢，武帝特召故內史汲黯入朝，拜爲淮陽太守，使治楚民，汲黯固辭不獲，乃入見武帝道：“臣已衰朽，自以爲將填溝壑，不能再見陛下，偏蒙陛下垂恩，重賜錄用。臣實多病，不堪出任郡治，情願乞爲中郎，出入禁闥補闕拾遺，或得效忠萬一。”武帝笑道：“我不久便當召君。現因淮陽吏民兩不相安，所以借重君名前去臥治。”汲黯只好應命，謝別出朝。當有一班故友前來餞行，汲黯不過虛與周旋。看見大行李息到來，不覺觸着一樁心事，惟因大衆在座不便與言。待李息去後，特往他家裏回拜，屏人與語道：“黯被徙外郡，不得預議朝政，但思御史大夫張湯，內懷奸詐欺君罔上，外挾賊吏結黨爲非，公位列九卿，若不早爲揭發，一旦湯敗，恐公不免同罪！”李息本是個模棱人物，怎敢出頭劾湯？不過表面上樂得承認，說了一聲領教，便算敷衍過去。汲黯乃告辭前往就任。李息始終未敢發言，那張湯卻攬權怙勢，大有順我者便生，逆我者死的氣勢。
原來趙國人民多以冶鑄鐵器爲業，趙王劉彭祖藉此抽捐得了一大宗收入。自從張湯建議將鐵器歸官專賣，各地設立鐵官，禁止人民私鑄。趙王失了此項利益，心中不甘，便藉故與鐵官爭訟。事歸張湯審辦，張湯袒護鐵官，判斷趙王無理。趙王心中憤怒。張湯又使魯謁居查辦趙王，趙王因此也怨魯謁居，於是密遣心腹之人，暗查張湯過惡。來人奉命到了長安，終日偵察張湯舉動，可巧魯謁居生病，張湯爲他摩足，事爲偵探所聞，還報劉彭祖。劉彭祖偏乘隙入奏，嚴詞糾彈。武帝因事涉張湯，不便令湯與聞，乃將來書發交廷尉。廷尉將謁居弟帶至廷中。謁居弟不肯實供，一時案情未決，無奈當時罪人極多，犯人皆滿，遂將謁居之弟拘禁導官。一日，張湯因辦理別案人犯，到了導官望見謁居之弟。謁居弟連忙大聲呼救。張湯心生憐憫，原想替他設法出脫，但因自己現在被趙王告發犯了嫌疑，當着衆人之前不便露出形跡，只好佯爲不識昂頭自去。謁居之弟因兄連累無辜被系，正在冤憤填胸，滿望張湯爲之出力解免。如今見了張湯，方欲上前訴苦，張湯卻揚長而去，如同陌路一般。他是粗人，何曾理會張湯深意，便以爲張湯抹臉無情，很是生恨，當即使人上書，謂張湯曾與魯謁居同謀構陷李文。