朝臣们担心刘贺要危害国家，使天下不安。霍光同群臣一起谒见禀告上官太后，详细陈述昌邑王不能继承皇位的情况。皇太后于是乘车来到未央宫承明殿，诏令各个宫禁门卫不要放刘贺的群臣进宫。
刘贺进宫朝见太后返回，准备坐辇车回到温室殿，宫中的黄门宦官各自手持门扇，等昌邑王进去后，就把宫门关上，刘贺的群臣就进不来了。刘贺问道：“这是干什么？”
大将军霍光跪下说：“皇太后有诏令，不让殿下的群臣进来。”
刘贺说道：“慢点来，为什么要弄得这么吓人！”
霍光派人将昌邑王的群臣全部驱逐出宫，集中在金马门外。车骑将军张安世率领羽林骑士拘捕捆绑了二百多人，都交给廷尉关在诏狱内。并命令原昭帝的侍中、中常侍看守昌邑王。霍光告诫他们道：“尔等要小心值班守卫，昌邑王如果突然死了或自杀，就会让我对不起天下人，背上杀害君王的罪名。”
刘贺这时还不知道自己要被罢黜，对身边的人说：“朕原来的群臣随员有什么罪，而大将军全把他们关押起来了？”
不久，太后下诏召见刘贺。刘贺听到要召见自己，心中开始害怕起来，于是说道：“朕犯了什么罪要召见朕？”
太后披着珍珠缀成的短袄，穿着盛装坐在布置有兵器的帷帐中，几百名宫廷卫士都拿着武器，期门武士持戟守卫台阶，他们都排列在殿下。群臣按顺序走进殿来，叫刘贺伏在前面听诏令。霍光同各位大臣一起联名奏劾刘贺，尚书令当庭宣读了弹劾奏章，细数刘贺即位以来种种不孝违法之行。
群臣认为高皇帝因为创建汉朝基业，所以称汉太祖，孝文皇帝因为仁慈节俭被称为太宗，如今昌邑王继承孝昭皇帝之后，行为放纵不合法度。《诗》说：‘籍曰未知，亦既抱子。’五刑的条文规定，罪孽没有比不孝更大的。周襄王不能侍奉好母亲，《春秋》就说‘天王出居到郑国’，因为他不孝而被赶出京城，使他与天下人隔绝。宗庙比君王更重要，刘贺没有到高庙接受大命，就不可以继承上天的意旨而奉祀祖宗宗庙、统治天下万民，应当废黜。
群臣请求有关官员御史大夫蔡谊、宗正刘德、太常苏昌和太祝准备一副太牢供品，将此事告祭于高庙。
皇太后下诏说：“准奏。”
霍光就叫昌邑王起来跪拜接受诏令，刘贺说道：“朕听说天子只要有争臣七人，即使无道也不会失去天下。”
霍光随后冷笑着说道：“皇太后已下诏令废黜，哪里还是天子！”
于是上前抓住他的手，解下他身上的玺印绶带，捧上交给太后，扶着昌邑王下了宫殿，走出金马门，群臣跟着送行。刘贺惶恐的向西面拜道：“朕愚昧不明事理，不堪担当汉朝的重任。”