在《明史》中記載，大富豪沈萬三因為拍朱元璋馬屁，沒拍好而遭朱元璋斥責和處罰。朱元璋當時要修建南京城，沈萬三則“助筑都城三分之一”，即承擔了現今南京城墻的中華門到水西門一段的修建任務。后來沈萬三想趁熱打鐵，更進一步討好朱元璋，便請求出資犒賞三軍，這一下拍到了皇帝的馬腳上。朱元璋大怒曰：“匹夫犒天下之軍，亂民也，宜誅之。”幸好馬皇后覺得因此殺人有些過分，便勸道：“不祥之民，天將滅之。陛下何誅焉！”沈萬三才保住小命，被發配云南，最后客死他鄉。這是洪武六年的事。

當家人沈萬三被發配云南了，家產也損失大半，可家中還有很多其他親屬。日子過得仍然比普通人家強很多，但更大的災禍卻一步步向沈家襲來。

沈萬三有一個女婿叫顧學文，這個人人品很差，據說正是他的拈花惹草給沈家帶來了滅頂的之災。在清嘉慶年間的《同里志》中，有這樣一段詳細的記載，講述了顧學文惹禍的經過：在洪武后期的同里鎮，有一個姓陳的人，生了一個弱智的兒子。兒子智力雖差，但其家境卻不差，于是這個陳先生給弱智的兒子花錢娶了一個知書善吟的美貌女子梁氏做老婆。顧學文后來聽說有個弱智娶了美妻后，心里很好奇，便想見識一下這位梁氏美女。

于是，他常常找借口雇船往來于周莊和同里之間，并故意停泊在梁氏居室的窗下，期待西門慶那樣的艷遇。一來二去，顧學文果然得到了幾次與梁氏照面的機會，二人眉來眼去之間，似乎互有傾慕之意。后來，顧學文覺得時機比較成熟了，便花錢雇當地的潑皮勾引梁氏的弱智丈夫飲酒賭博。同時，他求得梁氏的一個鄰居老太太，幫他捎給梁氏一些新奇的首飾，并寄上挑逗的言語。梁氏本對顧學文也早有好感，于是二人一拍即合。

他們之間的事，開始比較隱蔽，少人知曉，弱智丈夫更是渾然不知，他的父親陳先生因在外地當差也不知道，可“紙里終究包不住火”。陳氏父子雖然不知道，但陳先生一個綽號陳縮頭的兄長，也就事弱智兒子的伯父，卻隱約聽到了風聲。他怕這事影響陳家的聲譽，便在暗中調查，他買通了梁氏身邊的仆人，獲得了一封顧學文與梁氏暗通款曲的書信作為憑證，寄給了在外地當差陳先生。陳先生收到信后，當然非常生氣，但他想僅憑這樣一封書信去官府告發，未必能有什么結果，弄不好還會敗壞陳家的名聲。

正當陳先生煩惱沒有好辦法時，洪武朝廷上發生了一件大事，就是開平王常遇春的妻弟藍玉謀反案爆發。這個案件越發展牽涉的范圍越大，很多無辜的人都被牽連進去。這給陳先生以啟發，何不舉報顧學文與藍玉通謀造反呢？只要引起朝廷過問，任憑你顧學文或者沈萬三家有多少錢，也不能免死。后來，事情的發展果然印證了陳先生的想法，不但顧學文被殺，就連他的父親、兄弟還有老丈人沈萬三的兒子沈旺等一大批人，紛紛被殺掉。梁氏也被其父逼迫自殺。據說，這件事從洪武二十六年起到洪武三十一年才平息。

沈萬三家族，經此一劫算是徹底敗落了。沈萬三費心經營所得的無數財富，在政治斗爭中被逐漸消磨，最終落得家敗人亡的結局。但也有很多人認為，明史中關于沈萬三的一些記載是清朝人為了詆毀抹黑明朝的統治者而故意為之，其實，根本不存在沈萬三修南京城、犒軍被罰等事件，他很可能在朱元璋建立明朝之前就死了，甚至根本就沒和朱元璋有過交往，事實究竟如何，還有待后人進一步探究。