。而霍禹霍山也都缮治邸宅，走马驰逐于平乐馆。霍云当每日朝请，但却多次称病私出。多从宾客，在黄山苑中张围狩猎。使仓头奴上朝谒。群臣竟无人敢出言谴责。霍夫人及诸女昼夜出入长信宫殿中没有期度。
皇上在民间时，就知道霍氏尊盛日久，从心里就对其不满。如今既躬亲朝政，使御史大夫魏相给事中。霍夫人对霍禹霍云霍山说，你们不能继承大将军的余业，令大夫给事中，假如有人从中离间你们，你们还能够自救吗？
后来，后来两家家奴争道，霍氏奴入御史府，欲踏烂御史家门，御史为之叩头谢罪，才怏怏而去。有人将这事告诉霍氏，霍夫人等才知道忧惧。会魏大夫为丞相，经常面见皇上，商讨国家大事。平恩侯与侍中金安上又经常出入省中。当时霍山领尚书事，皇上令吏民得奏封事不用关白尚书。群臣觐见各独自往来。于是霍氏很是郁闷。皇上从蛛丝马迹里已经知道了霍氏毒杀许后的事。于是徙霍光女婿渡辽将军未央卫尉平陵侯范明友为光禄勋。出次婿诸吏中郎将羽林监任胜为安定太守。过了数月，又出霍光姊婿给事中光禄大夫张朔为蜀郡太守。出群孙婿中郎将王汉为武威太守。不久，复徙霍光长女婿长乐卫尉邓广汉为少府。戊戌，更以张安世为卫将军。两宫卫尉城门北军，都隶属于他。以霍禹为大司马，冠小冠，没有印绶。罢其屯兵官职，只是特意让他的官名与霍光同为大司马又收范明友渡辽将军印绶，但为光禄勋。霍光的中女婿赵平为散骑骑都尉，光禄大夫，将屯兵。至是收其骑都尉印绶，所有领胡越骑兵，御林军，及两宫卫将，统统都换上自己的亲信及许史子弟了。
起初，孝武之世，征发烦数，百姓贫耗。穷民犯法，奸宄不胜。于是使张汤赵禹之流，条定法令，作见知故纵监临部主之法，缓深故之罪，急纵出之罪。其后奸猾巧法，转相比况，禁罔浸密律令烦苛。文书堆满几案，以至于执法者不能尽睹条文。因此郡国使用法典，不知其义，或罪同而论异，奸吏因缘为市，所欲活，则引用可判轻刑的法典。将欲死之，则引用重典。必论其死。议者都为此感到冤伤。廷尉史巨鹿，路温舒上书说：“臣闻齐有无知之祸，而桓公以兴。晋有骊姬之难，而文公用伯。近世赵王不终，诸吕作乱，而孝文为太宗。由此看来，祸乱之作，是将要开圣人兴起之路。继变乱之后，必有异旧之恩。这是贤圣所以昭闻天命的必然。当初昭帝离世无嗣，昌邑王*，乃是皇天为至圣皇上您上位铺路啊。臣听说春秋正即位，大一统，而在一开始就该慎重。陛下初登至尊，与天合符，应该一改