公元前74年6月5日，漢昭帝駕崩，享年21歲。因為無子，7月18日，大將軍霍光等人迎立昌邑王劉賀即位。據(jù)《漢書·霍光金日磾傳》載劉賀罪行“受璽以來二十七日，使者旁午，持節(jié)詔諸官署征發(fā)，凡千一百二十七事?！眲①R在即位二十七天內(nèi)，就干了一千一百二十七件荒唐事，平均一天四十件。

然而事實上，這只是霍光等大臣的托詞。真實的原因恐怕是劉賀即位之后，急于提拔自己從昌邑帶來的僚屬，忽視了朝中重臣，得罪了以霍光為首的西漢上層統(tǒng)治階級中的官僚集團。憑借羅列上述所謂的罪行托詞，霍光以其不堪重任，突然發(fā)動政變，與大臣奏請15歲的皇太后(即孝昭皇后上官鳳兒，大將軍霍光的外孫女)下詔，于8月14日廢黜了劉賀，并親自送他回到封地昌邑(今山東省巨野縣昌邑鎮(zhèn))，保留王號(昌邑王)，令其食邑二千戶。同年，霍光尊立衛(wèi)皇后(衛(wèi)子夫)唯一曾孫、戾太子劉據(jù)唯一的遺孫、18歲的劉詢?yōu)榈?，是為漢宣帝。

霍光新?lián)砹⒌臐h宣帝劉詢心底到底有些忌憚，在即位的第二年就讓山陽太守張敞考察劉賀，發(fā)現(xiàn)他的“囚徒”生活很卑微不堪，公元前66年，他年紀雖然只有27歲，可是行動不便，也不再有復辟的打算。還生養(yǎng)了22個子女，猥瑣度日。漢宣帝看他如此可憐，保全了他的性命。

元康二年(公元前64年)，霍光寫信給山陽太守張敞：“謹備盜賊，察往來賓客。毋下所賜書?！币螽?shù)毓賳T密切監(jiān)視劉賀。從各種證據(jù)看來，劉賀之立廢，實乃削權(quán)之舉。

元康三年(公元前63年)，劉賀被貶斥到了今天的江西省永修縣一帶做了“?；韬睢薄?/p>

在他的這個侯國里面，他又艱難地生活了4年直到去世。這4年中，雖然已經(jīng)解除軟禁，但仍然被周邊的官吏秘密監(jiān)督，例如后來的揚州刺史“柯”就上報朝廷一件事情：劉賀與一個叫“孫萬世”的人交往，孫萬世問劉賀：“在被廢除皇位前，君為什么不堅守內(nèi)宮、關(guān)閉宮門，斬殺霍光，卻聽憑他們奪取皇位璽綬呢？”劉賀說：“是啊，當時太年幼，真是大大的失策啊。”孫萬世又希望劉賀做“豫章王”，絕不要一直做這么普通的?；韬?。劉賀說：“道理是如此，但是這話不宜說啊?！庇谑浅⑾铝畈檗k劉賀，差點要逮捕他。皇帝發(fā)話說：“那就削除他的3000戶封邑吧。”于是只剩下1000戶人口與賦稅，不久劉賀憤慨而死，年僅34歲。