因为霍光在世的时候,仗着自己大权在握,整日的嚣张跋扈,得罪了非常多的人,所以当他一死,那自然是墙倒众人推了。霍光执政时没有想到要培养忠于自己的政治力量,汉朝宣帝皇帝逐渐控制了朝政之后,这时,就算霍光还活着,霍氏集团也很难与皇权抗争。而霍显、霍禹虽然在霍光死后继承了爵位,在朝中也担任了重要职务,但手中却并没有实权,也没有多少军事力量,所以也就不能培养足够多的人作为自己的亲信。所以霍光死后,霍氏集团才会一并覆灭。
霍光那时没有选择建立自己的权力体系,虽然他和他的后代仍然是这个国家数一数二的官员。可是内部和外部官员的权力来源仍然在刘氏手中。当霍光这个领导者去世,那些想瓜分霍氏政权的人开始掌权时,那就意味着霍氏集团覆灭的日子到了。
再者,霍氏集团一向奢侈,平日里更是嚣张跋扈。历史上所有长期繁荣的家族都是保守和低调的,尤其是政治家庭,因为他们都知道必须得行为低调,才会不惹是非。相比之下,霍氏集团却过于奢侈浮躁,这么做不仅给自己带来了许多仇家,也激起了皇帝的极大不满。
可以说,像他们这样的大家族,要么密谋反叛和改变朝代,要么诚实地退出政治,远离权力中心,才能过上安稳日子。然而,他们既没有反叛的心,也没有放弃政治的意愿,他们却是一直渴望财富。后来,霍光的妻子为了让女儿登上皇后的宝座,甚至杀死了当时的皇后。这件事,也是导致霍氏集团最后覆灭的一个潜在的因素。