狄仁杰，字懷英，唐貞觀四年(630年)生于并州(今太原)的一個官宦之家。祖父狄孝緒，任貞觀朝尚書左丞，父親狄知遜，任夔州長史。顯慶元年(656年)，26歲的狄仁杰通過明經科考試及第，出任汴州的判官。滿腔熱血的狄仁杰開始了他的工作，可現實很快給了他一次沉重打擊——被胥吏誣告了一把。雖然不清楚誣告何事，但從狄仁杰后來剛直不阿的性格來看，估計多半是狄仁杰破壞了官場“潛規則”吧。幸運的是，這一狀告到了河南黜陟使閻立本那里。

閻立本是中國古代最著名的畫家之一，尤擅畫人物。《步輦圖》(故宮博物院藏)，《歷代帝王圖》(美國波士頓美術館藏)就是他的杰出作品。他的畫名太大，以至于有人稱他為“丹青宰相”。不過這時候他是“欽差大臣”，正好到汴州考察。接觸到狄仁杰這個案子后，閻立本不僅弄清了真相，而且發現狄仁杰是一個德才兼備的難得人物，夸獎他是“河曲之明珠，東南之遺寶”，推薦狄仁杰做了并州都督府法曹。

可能因為狄仁杰在地方工作出色而勤懇，特別判案方面才能十分突出，在地方上積累了將近20年的斷案經驗后，上元二年(675年)，他被調到中央，當上了大理丞。這個官職品級不高，只是從六品，但地位重要，負責京師案件的審判斷罪，同時也復核全國各地的判案。

狄仁杰剛到大理寺上任的時候，積壓的案件已經非常多。他一心撲在工作上，夜以繼日，筆不停批，整整奮戰了一年，就把積壓案件全都清理了，涉案人員達17000人之多，事后竟然一個喊冤的都沒有。數量之多，質量之好，在當時傳為佳話，在今天看來也堪稱神奇。

狄仁杰讓皇帝印象深刻的事情，來自一次執法糾紛中的犯顏直諫。唐高宗儀鳳元年(676年)，左衛大將軍權善才、左監門衛中郎將范懷義誤砍了昭陵(唐太宗陵墓)中的柏樹，唐高宗大怒，命令立即處死。狄仁杰卻上奏為二人辯護，認為他們罪不當死。高宗疾言厲色地說：“權善才他們置我于不孝之地，必須處死！”皇帝盛怒，狄仁杰卻神色不變，仍然振振有詞：“現在依照法律，他倆罪不至死，而陛下堅持要殺，那么法律就無法取信于人，人們會很茫然失措，這樣法律就失效了。現在陛下因為昭陵的一株柏樹殺了一個大將軍，千百年之后，人們會怎么評價陛下呢？如果我奉命殺了善才，那才是真正陷陛下于不道啊。”

后來高宗冷靜下來，覺得狄仁杰說得很有道理，于是特別下令讓史官把這件事情記錄下來，以便能流傳后世。高宗有意識地強化這個案件，一來表彰狄仁杰，給大臣們樹立一個榜樣，二來也順便提升一下自己，樹立一個善于納諫的皇帝形象。

不久，高宗就提拔他當了“侍御史”。侍御史是御史臺官員，屬于監察系統。此官的品級雖不高，和大理丞一樣也是從六品，但屬于“清望官”。這個官位對日后的仕途有很大幫助，一般來說，它的升遷速度比其他機構要快。可見，高宗雖是將他平級調動，實則把狄仁杰放入到“重點培養考察對象”中了。

狄仁杰沒有辜負領導的期望，他非常好地履行了自己的職責。侍御史，也是負責審訊案件的，只不過對象不是普通人，而是百官。可以說，御史就是官員中的“憲兵”，御史的別稱就叫“憲銜”，有個成語叫“口銜天憲”，就是從這里來的。在任職期間，狄仁杰很不客氣地彈劾了高宗的兩個寵臣、權臣。一是司農卿韋弘機，此人為高宗修了很多宮殿，都特別寬敞壯麗。狄仁杰上奏章彈劾韋弘機引導皇帝追求奢泰，韋因此被免職。另外左司郎中王本立因為受寵，恃恩用事，也被狄仁杰毫不留情地揭露彈劾，而且狄仁杰對皇帝的說情也一點不買賬，最終將他拉下了馬，“一時朝廷肅然”。從六品的狄仁杰，硬是為朝廷整了一回風。當然，這也仰賴高宗對他的支持和寬容。

這時期的狄仁杰，給世人的印象是能力超強，判案如神又鐵面無私，很像后來人們心目中的包公形象。這大概就是狄仁杰會被認為是“神探”的重要原因。