霍光是汉武帝时期大将军霍去病的同父异母弟弟。霍去病被击匈奴大胜，归来之后，被汉武帝封为冠军侯，可谓一仗封侯。显贵之后的霍去病，回到故乡给父亲置买了土地、田产、奴婢，然后将自己的弟弟带到了长安居住。
后来，霍去病在征讨匈奴的过程中，感染瘟疫去世，让汉武帝十分悲伤。于是，汉武帝对霍去病的弟弟格外照顾，亲自将其接到宫中一同抚养。霍光从小就表现出了超乎常人的能力，让汉武帝很欣慰，不断给予重任。霍光的表现也是非常棒！于是，霍光逐渐成为了汉武帝的心腹。
武帝汉武帝临死前，将帝位传给了他最喜欢的小儿子刘弗陵。由于刘弗陵年龄很小，才8岁，不足以亲政。于是，汉武帝便指派大司马大将军霍光、车骑将军金日磾、御史大夫桑弘羊、左将军上官桀为顾命大臣。其中，掌权的是霍光。刘弗陵坐上皇帝后，霍光倾注了满心的辅政只能。但是，这个皇帝21岁便早早去世了。
因为刘弗陵没有小孩，于是霍光就选拔了刘贺做皇帝。谁知道，这个家伙荒淫无道，当了26天皇帝之后，被霍光联合朝廷大臣直接给废了。后来，霍光选择了汉武帝儿子刘据的孙子刘病己来当皇帝。这是一个贫民皇帝，但是充满了政治头脑。霍光的妻子霍显，直接将自己的女儿嫁给了皇帝。但是，为了自己的利益，居然趁着霍光不知情，偷偷买通宫人毒死了刘病己的发妻。这下犯了逆天大罪。后来，霍光去世。霍显与儿子等怕事情败露，又想造反，直接被刘病己一锅烩了。
辅佐刘弗陵，掌权的是霍光，刘弗陵21岁就死，他没有孩子，选汉武帝第五个儿子刘髆的儿子刘贺当皇帝，但刘贺太荒淫无道了，当了26天皇帝被废了，后来选了汉武帝第一个儿子刘据的孙子刘病已当皇帝。刘病已没当皇帝以前娶了贫民家的女儿许平君， 感情非常好，刘病已当皇帝后改名为刘询，当时还是霍光掌权，霍光希望的女儿当皇后，刘询不顾他的反对，还是立他的妻子许平君为皇后，霍光不甘心，霍光的妻子把正在生孩子的许平君毒死了，刘询没有办法只有立霍光的女儿为皇后，刘询开始比霍光的女儿很好，其实都是慑于霍光的威势，霍光死后， 刘询废了霍光的女儿， 灭了霍家满门。愿意有两个，为他的妻子许平君报仇，第二个愿意是要把权力收回来掌握在自己的手里。
因为霍光在世的时候，仗着自己大权在握，整日的嚣张跋扈，得罪了非常多的人，所以当他一死，那自然是墙倒众人推了。霍光执政时没有想到要培养忠于自己的政治力量，汉朝宣帝皇帝逐渐控制了朝政之后，这时，就算霍光还活着，霍氏集团也很难与皇权抗争。而霍显、霍禹虽然在霍光死后继承了爵位，在朝中也担任了重要职务，但手中却并没有实权，也没有多少军事力量，所以也就不能培养足够多的人作为自己的亲信。所以霍光死后，霍氏集团才会一并覆灭。
霍光那时没有选择建立自己的权力体系，虽然他和他的后代仍然是这个国家数一数二的官员。可是内部和外部官员的权力来源仍然在刘氏手中。当霍光这个领导者去世，那些想瓜分霍氏政权的人开始掌权时，那就意味着霍氏集团覆灭的日子到了。
再者，霍氏集团一向奢侈，平日里更是嚣张跋扈。历史上所有长期繁荣的家族都是保守和低调的，尤其是政治家庭，因为他们都知道必须得行为低调，才会不惹是非。相比之下，霍氏集团却过于奢侈浮躁，这么做不仅给自己带来了许多仇家，也激起了皇帝的极大不满。
可以说，像他们这样的大家族，要么密谋反叛和改变朝代，要么诚实地退出政治，远离权力中心，才能过上安稳日子。然而，他们既没有反叛的心，也没有放弃政治的意愿，他们却是一直渴望财富。后来，霍光的妻子为了让女儿登上皇后的宝座，甚至杀死了当时的皇后。这件事，也是导致霍氏集团最后覆灭的一个潜在的因素。
霍氏集团在霍光死后开始走向灭亡主要有以下两个原因:
第一点，霍光在执掌大权期间并没有有意识地去培植只忠于自己的政治势力，在汉宣帝逐渐掌握朝政后，即使霍光在世，霍家也很难再和皇权斗争。而霍显、霍禹他们虽然在霍光死后承袭爵位、历任要职，但是并没有实权，也没有多少军功，也就无法培植足够的武将作为党羽，所以在霍光死后，霍家的权利很轻易就被架空了。
因为他没有建立起自己的权力体系，霍光和他的后代仍然是深处汉刘氏朝廷的体系权臣，内外官员的权力来源仍在刘氏那里，等霍光这个巨头一死，那些要瓜分霍氏权力的自然一拥而上，霍氏集团就注定要灭亡。
第二点，霍家人一直很奢侈，不争气，不断作死。历史上能够长久兴盛的家族，无一不是内敛低调的，特别是政治世家，因为他们都知道树大招风的道理。反观霍氏家族，太过奢侈浮躁，不仅给自己树立了一大堆敌人，而且也惹得皇帝大为不满。
按理说向他们这样的家族，要么密谋起兵反抗，改朝换代，要么老老实实从政事中抽身，远离权力中心。但是他们既没有谋反之心也不放手政治，一直贪慕着荣华富贵，而且后来霍光的妻子为了能够让自己的女儿登上皇后之外，更是杀掉了当时的皇后，杀妻之恨，这也为后来霍氏家族的覆灭埋下了隐患。
因为当时霍光独揽大权的时候，霍家也是非常的猖狂和肆意妄为的，所以很多人对霍家也是非常记恨。所以虽然霍光独揽政权的时候是汉室最重视的时代，但是皇帝怎么可能愿意一直把权力给别人呢，所以后面，汉宣帝对于国家的掌控也越来越强，这也为霍光死后撤销霍氏家属打下了基本。
霍光因为霍去病的原因，后面官职也是越升越大的，但是他的仕途也是非常的艰难，在霍去病死以后，他基本上是没有实权，也没有得到升迁的机会，所以他就养成了小心谨慎的习惯，不管做什么事情都规规矩矩的办事，也就是因为他很规矩这一点，所以后面也赢得了武帝的信任，而且满朝文武也对于他非常的敬佩。
所以当时武帝病危，所以他就认命霍光为大司马将军了，当时新太子即位的时候才8岁，所以一直都是有霍光在执掌政权，因为他是一个很小心谨慎的人，所以也是依靠这一点逐渐在汉中央建立了自己的威信，而且有很多人拥护他。
虽然霍光是一个很有才能，而且非常谨慎的一个人，但是他看人是非常不准的，当时汉昭帝病死以后是没有留下子嗣的，所以他决定离刘贺为皇帝，但是他没有想到刘贺是一个刚愎自用的人，所以这也严重威胁到了霍光的地位与权利。所以后面霍光废了刘贺以后，刘病就登基成为了汉宣帝，所以后面权力已经差不多转移到了皇帝的手上，又因为霍家人非常的不遵循朝廷法度，所以在霍光死后，霍氏家族就废了，这也都是因为他们霍氏家族嚣张跋扈的原因。
就是因为霍光的权力很大，所以他的家族才会这么的嚣张，自古以来君臣的权力是不能高于帝王的，不然就会遭遇毁灭。