朱元璋登基，任命李善長為左丞相，徐達為右丞相。李善長是朱元璋攻下滁陽后，接納下來的謀士，指揮作戰，組織供應，事事皆能妥善處理。還在朱元璋稱吳王時，李善長便出任右相國，充分展現他裁決如流的才干，為功臣之首。洪武元年任左丞相，封韓國公，在朝廷上位列第一。徐達常年帶兵在外作戰，實權掌握在李善長手中。之后，他的兒子李祺又被朱元璋招為駙馬，權勢更加顯赫，成為朝廷中掌握實權的淮西集團首領。

淮西集團勢力的日益膨脹，威脅到皇權。朱元璋對他頗存顧忌，于是在洪武四年，以年高有病為名，讓李善長告老還鄉，時年五十八歲。其實，朱元璋早就有意撤換李善長，還曾經向劉基請教合適人選。

劉基說：“善長為元勛舊臣，能調和諸將，不宜驟換。”朱元璋道：“善長屢言卿短，卿乃替他說情么？朕將令卿為右相?！眲⒒B忙頓首道：“臣實小材，何能任相？”可能劉基預料到在淮西集團當權的情況下，必然會受到排擠，故而堅決不肯任相職。朱元璋又問：“楊憲何如？”劉基答道：“憲有相材，無相器。”朱元璋又問：“汪廣洋如何？”劉基道：“器量褊淺，比憲不如。”

太祖又問及胡惟庸，劉基連連搖頭道：“不可不可，區區小犢，一經重用，僨轅破犁，禍且不淺了?！敝煸澳粺o言。但是后來朱元璋還是根據李善長的推薦，任用了善于逢迎的胡惟庸。劉基嘆道：“惟庸得志，必為民害?！焙┯沟弥?，便對劉基忌恨在心。不過，后來的事實證明，劉基的話還是有道理的。

因李善長的提攜，胡惟庸于洪武六年，進入中書省，與汪廣洋同任右丞相，左丞相空缺。胡惟庸入相后，他的精明干練很快得到朱元璋的賞識。這期間，胡惟庸還將自己的侄女嫁給了李善長的弟弟李存義的兒子李佑為妻，結成姻親，使得他與李善長關系更進一步。有這樣的元老重臣為后盾，胡惟庸更加膽大妄為。加上李善長的舊屬們也極力幫助他，胡惟庸可謂如魚得水。由于他逢迎有術，漸得朱元璋寵任。到洪武十年，進左丞相，位居百官之首，獨攬丞相之權。

隨著權勢的不斷增大，胡惟庸日益驕橫跋扈，獨攬丞相大權，生殺黜陟，為所欲為。內外諸司所上的奏章，胡惟庸必先取閱，對自己不利的，就隱匿不上報。他任意提拔、處罰官員，各地喜好鉆營熱衷仕進之徒、功臣武夫失意者，都奔走于他的門下，送給他的金帛、名馬、玩好，不計其數。胡惟庸一時間權傾朝野，許多人都看他臉色行事，敢怒不敢言。

大將軍徐達對胡惟庸的擅權亂政，深惡痛絕，便把他的劣跡上告朱元璋

對于異己者，胡惟庸必定會打擊報復。之前，因入相問題，胡惟庸就與劉基有過節。恰恰甌閩間有一片空地名叫談洋，一向為鹽梟占據，劉基奏請設巡檢司進行管轄，鹽梟不服，反而糾眾作亂。劉基兒子劉璉將實情上奏，沒有事先向中書省報告。掌管中書省的胡惟庸認為劉基蔑視他，越加憤怒，于是唆使刑部尚書吳云彈劾劉基，誣稱談洋有王氣，劉基想據為己有，用來修墓，應嚴加懲處。朱元璋便對劉基奪俸，劉基憂憤成疾，沒過多長時間就去世了。

大將軍徐達對胡惟庸的擅權亂政，深惡痛絕，便把他的劣跡上告朱元璋。誰知竟被胡惟庸聞知，忌恨在心，企圖誘使徐達家的守門人福壽謀害徐達。但因福壽揭發，未能得逞。可見胡惟庸氣量狹窄、心計毒辣。

對于胡惟庸的所作所為，朱元璋也略有察覺，對他的擅權更是感到不滿。洪武十二年九月，又有阻隔占城貢使一事發生，胡惟庸等人未及時引見占城貢使，又與禮部互相推卸責任，朱元璋一怒之下，將他們盡行囚禁，不難看出，此時胡惟庸已經受到朱元璋的嚴重猜忌。就在這年十二月，又查出汪廣洋被賜死時，有個從死的妾陳氏，竟是獲罪后妻女并皆入官的陳知縣的女兒。朱元璋得知后，更為震怒，說道：“沒官婦女只給功臣家，文臣何以得給？”敕令法司要徹底追查此事，因此從胡惟庸以至六部堂屬各官都難辭其咎、負有罪責。此時胡惟庸的地位已岌岌可危了。

在胡惟庸已明顯失寵的情況下，大概是揣度到朱元璋的心理，洪武十三年正月，御史中丞涂節首先告胡惟庸謀反。與此同時，被謫為中書省屬吏的御史中丞商暠，也揭發了胡惟庸的許多隱私。

朱元璋接到告變后，立即命廷臣進行審訊，隨即就把胡惟庸處死了。告變人涂節，也因朝臣參劾說他本來準備參加謀反，因事不成才告變，連同胡惟庸和另一主犯，曾與汪廣洋一同參劾李善長的御史大夫陳寧，同時被殺。

罪名升級，胡惟庸死后被誅九族

洪武十三年，胡惟庸被處死后，胡惟庸案遠沒有結束，對于胡惟庸的罪狀一直都在搜集查證。

洪武十八年(1385)，有人告發李存義和他的兒子李佑，不僅是胡惟庸的至親，還曾經伙同胡惟庸謀逆。胡惟庸雖已被誅，李存義也必須連坐。這可是禍從天降，并且為禍不輕，李家揣揣不安。但是朱元璋對此事并未嚴懲，還特別下詔，李存義與李佑都免于死罪，只是被貶到崇明島閑住。可能是因為李善長為功臣元老，朱元璋念及舊情，因而特地從輕發落。按理李善長受到如此殊遇，應該上書謝恩，但是李善長對此事全然不予理會，這種態度令朱元璋感到非常不快。

胡惟庸案的查證一直都在繼續著，并且有了新的進展。洪武十九年(1386)明州衛指揮林賢通倭事發，經審訊得知，他是奉胡惟庸的命令下海通倭的，胡惟庸謀反案有了進一步的證明。洪武二十三年(1390)，又捉拿到奸人封績。封績本是元朝的舊臣，后來歸降于明，據說他經常往來于蒙、漢之間，曾經為胡惟庸給元嗣君送過信，胡惟庸在信中稱臣，并請元嗣君出兵為外應。其實早在洪武二十一年(1388)，大將軍藍玉出塞時，在捕魚兒海地方就捕獲過封績，但是由于李善長施加影響，并未上奏，就把封績給放了。直到這次，由于封績再次被捕入獄，李善長終于也被牽連進來了。

恰在此時，李善長為了娛老，大興土木，因缺少工人，向信國公湯和借用衛卒三百名，以供營建。以營卒為工役，這種事情本是常事。但湯和膽小怕事，又不敢得罪李善長，因而表面應允，暗中卻向朱元璋報告，這無疑是說李善長私自集結兵力。湊巧，京中吏民為黨獄誅累，坐罪徙邊，約有數百人，中間有一個叫丁斌的，為李善長私親，李善長便替他求免。由于朱元璋對李善長的猜忌之心日重，他不但沒有答應李善長的請求，反而命令將丁斌拿獲。經審訊得知，丁斌偏巧曾經供事胡惟庸家，于是供出不少李、胡兩家的往來之事。這樣，便認定了李存義、李佑父子伙同謀叛的罪狀，立即將他們從崇明島拘捕進京，重新審理定罪。

接著，朱元璋便頒布嚴敕說，李善長以“元勛國戚，知逆謀不舉，狐疑觀望懷兩端，大逆不道”。真是欲加之罪何患無辭！于是，七十七歲的李善長被賜死，其妻、女、弟、侄等一門七十馀人被殺。只有李善長的長子李祺及兩個兒子，因為臨安公主的緣故，得以免死，流徙江浦。

然而胡惟庸的獨斷專行，使相權與皇權的沖突更為明朗化了

與此同時，朱元璋又策劃陸仲亨的家奴告發陸仲亨與唐勝宗、費聚、趙雄三名侯爵，曾串通胡惟庸“共謀不軌”。一場“肅清逆黨”的政治運動鋪天蓋地而來，到處偵捕，牽連蔓引，共有三萬馀人被誅戮。連一向與胡惟庸關系疏遠的“浙東四先生”也未能幸免，葉升以“胡黨”被殺，宋濂的孫子宋慎也牽連被殺，宋濂本人則貶死于四川 茅州。

為了平服人心，朱元璋特地頒布《昭示奸黨錄》，刊印多冊，發往各地，曉諭臣民，以此為戒。胡惟庸案至此才算告一段落，前后遷延近十年。