其实霍光是留有后手的，他一直没有让刘贺去拜祭高祖庙宇，就等于程序上还没有正式确定你刘贺是天子，因此要废他只需太后一到诏令便可了。
霍光正式显示出太多果断，看着赖在地下不起来的刘贺，自己亲自上前抓住刘贺的手，将他身上佩戴的玉玺绶带解下，然后献给皇太后。
而后又命左右扶刘贺出殿，直出金马门，群臣随后送出。到了宫外，刘贺自知无望，西向望宫门下拜，大声说道：“愚戆，不任国家大事。”
拜毕起立，早有侍臣指引他上马车。这时，刘贺看到所坐乃是副车，并无旌旗仪仗，只有吏卒数十人，前后随从。哎，现在休说他的御驾不知去向，此马车尚不及在昌邑为王时出门那种荣耀。
刘贺垂头丧气，坐在车中，在回昌邑邸第的路上，所过之处，但见两旁人众拥挤不开。原来废立之事，已传遍长安城中，百姓闻信，皆扶老携幼，争来观看，万头攒动，个个都摇头说道：“此是被废天子，人人心中替他难以为情。”
霍光率众人送刘贺出了宫门，看他上马车的消沉样子，心想，刘贺此去难保不羞愤自杀，或是他人要想向我讨好，将他逼死，因此放心不下，便坐车亲自送来。到了昌邑邸前，刘贺下车入内，霍光也随之入内，忙交代邸中众人要小心伺候昌邑王。
临别前，霍光向刘贺辞道：“昌邑王您所行自绝于天，臣等驽怯，不能杀身报德，臣宁负昌邑王，不敢负社稷，愿您自爱，臣从此不得再见于左右。”霍光说罢，不觉伤心，只见他也是满脸泪光。
这是唱哪出啊，真是鳄鱼也流泪。
刘贺既然被废了，那他将如何安放呢？首先当然是不能杀掉他，他虽然做了一千多件坏事，但是也不至于被处死。不过他的昌邑国旧属就没那么幸运了，那他在宫外被张安世率领羽林军所逮捕的那些旧属，个个都被处理掉了，可怜这些人，千里迢迢跟随刘贺过来长安，本想享受荣华富贵，谁知个个却变了刀下鬼。
这时有人奏请上官太后，提议将刘贺流放，说是古时对废黜的君王，都是流放到边远地区，远离政治中心的，因此建议把刘贺流放到汉中郡的房陵县。其实上官太后人还是挺好的，她念及刘贺乃刘弗陵的侄子，武帝的亲孙子，而今皇帝也做不成了，不应该让他再受苦。于是上官太后决定将刘贺废为平民，送回昌邑国，食邑二千户，而之前赏赐的东西都留给刘贺，昌邑国的财产也都通通归刘贺所有，再加上刘贺在宫里这二十七天所拿的财宝也都让他待会昌邑国，这