劉賀夢見在皇宮西門的臺階東側，有一大堆綠頭蒼蠅的糞便，約有五六石之多，上面蓋着大片的屋瓦。劉賀向龔遂詢問，龔遂說：“陛下身側的奸佞之人很多，就像您在夢中見到的蒼蠅糞便一樣。希望陛下將昌邑舊人中的奸佞之徒全部逐出朝廷。我龔遂以身作則，第一個走。”劉賀不加理會，根本聽不進龔遂的話。
漢書記載：劉賀受璽以來27天內幹了1127件荒唐事，平均一天40件。這個數字確實驚人!試問一個孩子能有多荒唐，有沒有故意誇大之嫌？要知道漢代有嚴厲的規定，皇帝是不準干預《起居注》記載的。但霍光不是皇帝，作爲政治高手，他是不是干預了記載皇帝起居的官員呢？
事實上這是霍光等大臣的託詞。真實的原因恐怕是劉賀即位之後，急於提拔自己從昌邑帶來的僚屬，想用這些舊臣來親政。這點就得罪了大將軍霍光，霍光能夠把持朝政那是辛苦經營而來，劉賀怎麼可能會那麼容易拿走呢，於是雙方就產生了衝突。可論權謀手段，劉賀豈是霍光的對手。霍光悄悄地叫人把他的心腹大司農田延年找來，並將他延入密室，屏退從人問以方法。
田延年道：“將軍爲國柱石，既知此人不可爲君，何不奏聞太后，另選賢人立之。”霍光道：“吾意也是如此，但以臣廢君，不知古代曾有此事否？”延年道：“昔日伊尹爲商朝宰相，廢太甲以安宗廟，後世皆稱其忠。將軍若能行此，也是漢之伊尹也。”
原來霍光未曾讀書，不知伊尹之事，所以史官說其不學無術。如今既聞田延年之言，便引入爲給事中。一面又與車騎將軍張安世祕密計議此事，除他三人之外別人一無所知，劉賀更是終日昏昏毫無知覺。
時當六月，正是大熱時候，偏偏連日陰沉不雨。一日劉賀正要出遊，光祿大夫夏侯勝進諫道：“上天久陰不雨，臣下必有異謀，陛下將欲何往呢？”劉賀聞言大怒，斥爲妖言惑衆，立命左右將勝縛住發交有司究辦。有司轉告霍光，霍光暗思夏侯勝語似有因，於是提勝到來親加研訊，夏侯勝從容答道：“《洪範傳》有言，人君無道上天降罰。皇極不守現象常陰，白晝常陰，下人且謀代上位。臣不便明言，但云臣下有謀。”霍光聞言大驚，也不由劉賀主意，即將夏侯勝釋放復任原官。
霍光想廢立之事不宜再延。便一面與張安世着手預備，一面遣田延年密報丞相楊敞。楊敞本霍光故吏，霍光料他必然同意。因爲他現爲丞相，位居百僚之首，所以預先告明，免得會議之時驚慌失措。田延年奉命到楊敞家中備細說知。楊敞一聽嚇得汗流滿背，不知如何答話。田延年起身出外更衣，楊敞獨自坐在室中，楊敞之妻爲司馬遷女，這時急從東廂趨出對楊敞說道：“大將軍已有成議，特使九卿來報君侯，君侯若不亟允，禍在目前了！”楊敞遲疑未決，可巧田延年更衣歸座，楊敞妻不及迴避，索性坦然相見，與田延年當面認定，願奉大將軍教令。田延年還報霍光，霍光又念起蘇武現在免官家居，遂邀其共同謀議，一則自己可以取信於國人，二則蘇武也可以藉此恢復官位。
霍光不動聲色，暗中佈置十餘日，諸事都已完備。於是遍召丞相御史將軍列侯等齊集未央宮會議。
此奏章乃霍光預先作就，羣臣署名已畢，又隨同霍光前往長樂宮入見皇太后，備述昌邑王淫亂情形，說他不可以嗣大位，請太后下詔廢之，太后准奏。霍光即請太后備齊車駕前往未央宮，預備升坐承明殿宣詔，又請太后下詔，遍飭各禁門守衛之人勿使昌邑羣臣擅入。
恰值劉賀入朝太后初回。守門宦者早已奉到太后詔書，望見劉賀入內便一擁上前將門閉上，不讓昌邑羣臣入內。此時劉賀如在夢中，外間舉動絲毫不知。見衆人無故關門閉戶，覺得詫異便問何爲？霍光在旁跪下答道：“皇太后有詔，不許昌邑羣臣入內。”劉賀道：“既是皇太后有詔，不妨從容辦理，何至如此驚人？”言罷入內。
早有車騎將軍張安世帶領羽林騎兵，將昌邑羣臣悉數拿下，共得二百餘人，連龔遂、王吉等一併在內，送交廷尉究治。一面報知霍光，霍光傳入昭帝舊日侍臣，命其守衛劉賀。並囑道：“汝等須留心守衛，萬一羞憤自盡，使我負殺主之名，何以對天下。”諸人領命入內。劉賀見左右近侍皆新來之人，又聽說昌邑羣臣被縛，但不知自己當廢，便問道：“我舊日從官因何得罪，大將軍竟將他們悉數囚繫？”左右答道：“不知。”
少頃使者持節到來，說是皇太后有詔來召。劉賀對使者說道：“我有何罪？太后卻來召我？”使者也答不知。劉賀沒法，只得乘車隨同使者前往。
當日上官太后披着珍珠綴成的短襖，穿着盛裝坐在未央宮承明殿武帳之中。侍御數百人排列兩旁，手中皆持兵器。不久使者領了劉賀到來，太后命劉賀俯伏殿前聽詔，旁有尚書令手持羣臣奏章高聲讀道：
丞相臣敞、大司馬大將軍臣光、車騎將軍臣安世等，昧死言皇太后陛下：臣等認爲高皇帝因爲創建漢朝基業，所以稱漢太祖，孝文皇帝因爲仁慈節儉被稱爲太宗，如今昌邑王行爲放縱不合法度。宗廟重於君。陛下未見高廟受命，不可以承天序，奉宗廟，子萬姓，應當廢黜。臣等昧死以聞。
尚書令讀罷奏章，皇太后宣詔曰：“可。”劉賀聽說自己被廢驚倒在地。霍光便令劉賀起拜受詔。劉賀急道：“古語有言，天子有諍臣七人，雖無道，不失天下。”霍光不待說完便接口道：“皇太后有詔廢王，怎得尚稱天子？”於是上前抓住他的手，解下他身上的璽印綬帶，捧上交給太后，扶着昌邑王下了宮殿，走出金馬門，羣臣跟着送行。昌邑王向西面拜道：“我愚昧不明事理，不堪擔當漢朝的重任。”起身坐上皇帝侍從的車輛。霍光把昌邑王送到昌邑邸後，告罪說道：“大王自絕於天下，臣下也沒有辦法。臣下寧可對不起大王，也不能對不起國家。從今天起，臣下就不能再服侍大王了，請大王多多保重!”說罷傷心涕泣而去。