錦衣衛原先是軍事建制。明初的軍制比較簡單，其基層單位是“衛”和“所”，京城的禁衛軍所轄衛所為48處。朱元璋改革禁衛軍，建立了12個親軍衛，其中最重要的就是“錦衣衛”。錦衣衛的首領稱為指揮使，由皇帝的親信武將擔任，很少由太監擔任。其職能是：“掌直駕侍衛、巡查緝捕”，即一部分是負責執掌侍衛、展列儀仗和隨同皇帝出巡的錦衣衛，基本上與傳統的禁衛軍沒什么兩樣。這些人雖名為“將軍”，其實只負責在殿中侍立，傳遞皇帝的命令，兼做保衛工作。這些人都不是等閑之輩，一個個長得牛高馬大，虎背熊腰，而且中氣十足，聲音洪亮，從外表上看頗有威嚴，對人有一定震懾作用。錦衣衛中負責“巡查緝捕”，則是錦衣衛區別于其他各朝禁衛軍的特殊之處。

朱元璋建立錦衣衛的初衷是用來做儀仗禮儀，后來由于他大肆屠戮功臣，認為司法機構如刑部、大理寺、都察院都不好用，于是將錦衣衛的保衛功能提升起來，使其成為皇帝的私人警察。負責偵緝刑事的錦衣衛機構是南北鎮撫司，其中北鎮撫司專理皇帝欽定的案件，擁有自己的監獄，可以自行逮捕、刑訊、處決，不必經過一般司法機構。南北鎮撫司下設五個衛所，其統領官稱為千戶、百戶、總旗、小旗，普通軍士稱為校尉、力士。校尉和力士在執行緝盜拿奸任務時，被稱為“緹騎”。緹騎的數量，最少時為1000，最多時多達60000之眾。錦衣衛官校一般從民間選拔孔武有力、無不良記錄的良民入充，之后憑能力和資歷逐級升遷。同時，錦衣衛的官職也允許世襲。

明朝的前兩代皇帝朱元璋是貧寒子弟出身，朱元璋起兵奪取天下，朱棣是靠武力奪取了侄兒的江山，由于這種出身的特殊性，明朝對皇權的維護有其他朝代所沒有的強烈欲望。這就使得錦衣衛“巡查緝捕”的職能無限度地擴大了。錦衣衛的指揮使利用職務之便，不遺余力地制造事端，既打擊異己，又作為自己升遷的資本。

如明成祖時的紀綱、明武宗時的錢寧等，在他們掌權時，緹騎四出，上至宰相藩王，下至平民百姓，都處于他們的監視之下，對他們的命令只要稍有拂逆，就會家破人亡，全國上下籠罩在一片恐怖氣氛中。

臭名昭著的北鎮撫司大牢中更是關滿了各種各樣無辜的人們，死于錦衣衛酷刑之下的正直人士更是不計其數。更為可怕的是，這種恐怖的氛圍，與唐武則天時期的短期出現不同，明朝幾乎是綿綿不絕，這種無節制的濫捕極大地影響了皇帝與官僚機構之間的關系，使百官、民眾、軍隊與皇帝離心離德，有人甚至評價道，明朝不是亡于流寇，而是亡于廠衛。

傳說有一次明朝的開國重臣宋濂，秉性老實忠厚，年紀雖老，辦法卻還算得力，讓皇帝滿意。有一天下朝回家，大概因為總是早起上朝，加上年紀大了，體力有些不支，過于勞累，就順口賦詩一首：“四鼓咚咚起著衣，午門朝見尚嫌遲。何時遂得田園樂，睡到人間飯熟時。”第二天上朝，朱元璋一見宋濂便說：昨天做得好詩！可是我并沒有嫌你遲呀，還是改成“憂”吧。嚇得宋濂趕忙拜倒謝罪。當朝宰相只不過在自己家中偶爾感嘆一下，沒想到第二天就傳到了皇帝的耳朵里，可見錦衣衛勢力之大。

錦衣衛另一項著名的職能就是“執掌廷杖”。廷杖是皇帝用來教訓違紀的士大夫的一項酷刑。一旦哪位官員觸怒了皇帝，被宣布加以廷杖，他就立刻被扒去官服，反綁雙手，押至午門行刑。

在那里，司禮監掌印太監和錦衣衛指揮使一左一右，受刑者裹在一個大布里，隨著一聲“打”字，棍棒就如雨點般落在他的屁股上。行刑者為錦衣衛校尉，他們都受過嚴格訓練，技藝純熟，能夠根據司禮太監和錦衣衛指揮使的暗示準確地掌握受刑人的生死。如果這兩人兩腳像八字形張開，表示可留杖下人一條活命;反之，如果腳尖向內靠攏，則杖下人就只有死路一條了。

杖完之后，還要提起裹著受刑人布的四角，抬起后再重重摔下，此時布中人就算不死，也去了半條命。廷杖之刑對士大夫的肉體和心靈都是極大的損害，但皇帝對此樂此不疲，錦衣衛也就對它情有獨鐘了。