霍氏集团在霍光死后开始走向灭亡主要有以下两个原因:
第一点,霍光在执掌大权期间并没有有意识地去培植只忠于自己的政治势力,在汉宣帝逐渐掌握朝政后,即使霍光在世,霍家也很难再和皇权斗争。而霍显、霍禹他们虽然在霍光死后承袭爵位、历任要职,但是并没有实权,也没有多少军功,也就无法培植足够的武将作为党羽,所以在霍光死后,霍家的权利很轻易就被架空了。
因为他没有建立起自己的权力体系,霍光和他的后代仍然是深处汉刘氏朝廷的体系权臣,内外官员的权力来源仍在刘氏那里,等霍光这个巨头一死,那些要瓜分霍氏权力的自然一拥而上,霍氏集团就注定要灭亡。
第二点,霍家人一直很奢侈,不争气,不断作死。历史上能够长久兴盛的家族,无一不是内敛低调的,特别是政治世家,因为他们都知道树大招风的道理。反观霍氏家族,太过奢侈浮躁,不仅给自己树立了一大堆敌人,而且也惹得皇帝大为不满。
按理说向他们这样的家族,要么密谋起兵反抗,改朝换代,要么老老实实从政事中抽身,远离权力中心。但是他们既没有谋反之心也不放手政治,一直贪慕着荣华富贵,而且后来霍光的妻子为了能够让自己的女儿登上皇后之外,更是杀掉了当时的皇后,杀妻之恨,这也为后来霍氏家族的覆灭埋下了隐患。