这是因为霍光去世之后曾有霍家人意图谋反，从而致使整个霍家被灭族。霍光是西汉时期非常知名的一位权臣，他与著名将领霍去病是同父异母的兄弟。他们二人的父亲名叫霍仲孺，此人曾于公元前141年进入平阳侯家中当差。在此期间，霍仲孺与府中一名叫做卫少儿的侍女发生私情，随后卫少儿产下一子，即霍去病。不过霍仲孺并未给予卫少儿名分，而是在返回家乡之后另娶了她人为妻，霍光便就是这名妻子生下的孩子。
因为分隔两地，霍去病与霍光其实并不亲近。不过霍去病在因战功而日渐显赫之后却还是将霍仲孺与霍光接到了长安，之后霍光后在霍去病的帮助之下进入官场。霍光先后担任过郎官、侍中、光禄大夫等官职，期间不曾犯过错误，为此渐得汉武帝器重。也正是因为器重，汉武帝临终之前才会将辅政幼帝的重任交予霍光，霍光也于此时被升任为大司马、大将军。
继汉武帝之后即位的汉昭帝，即位之时就只有八岁。其实汉武帝临终之前所钦点的辅佐大臣除了霍光之外另外还有三人，分别是金日磾、上官桀、桑弘羊。这其中的金日磾仅辅政一年多便因病逝世，而上官桀、桑弘羊则因联合谋反失败而被诛。而随着这三人的逝世，颇得汉昭帝信任的霍光可以说是彻底掌握朝政大权。在霍光的辅佐之下，日渐长大的汉昭帝以休养生息作为国策，大力发展农业，西汉因此呈现欣欣向荣之态。
不过汉昭帝年仅21岁便驾崩，因为他驾崩之时尚无子嗣，所以刘贺在霍光的拥立之下即位。不过此人仅在位二十多天便因行事太过放荡而被霍光废黜，之后刘询得到拥立，是为汉宣帝。汉宣帝在位期间，霍光之女霍成君被立为皇后，霍氏一族因此变得越发显贵。霍光最后于前68年逝世，死后以皇帝级别的丧葬礼仪下葬。话说，霍光去世之后汉宣帝便开始打压霍家以防止这一家族日益壮大，从而危及皇权。
汉宣帝对霍家的打压不可避免地引发了霍家人的不满，于是霍光之子霍禹等人开始暗地谋划叛乱。结果尚未正式发动叛乱，叛乱计划便先一步被汉宣帝发觉。之后，霍禹被判处腰斩，霍氏也因满门抄斩而灭族。