说汉武帝严厉打击霍去病家族势力并不准确，即便是卫氏家族的势力，汉武帝似乎也并没有刻意打击。在“巫蛊之乱”发生之前，汉武帝对卫氏家族更多的是限制而不是打击，而“巫蛊之乱”发生之后，卫氏家族势力已经到达了历史最低谷，汉武帝已经没有进一步打击的必要了……
所谓卫氏家族实际上并不是指狭义的卫氏家族一家，而是以汉武帝第二任皇后卫子夫为纽带形成的庞大血缘、姻亲、利益共同体。其中包括以卫子夫同母异父的弟弟卫青为代表的狭义卫氏家族，卫子夫的二姐夫陈掌（霍去病的继父、汉王朝开国元勋陈平的后代）及其背后的陈氏家族，卫子夫的大姐夫公孙贺及其背后的公孙氏家族，卫青的继子——平阳侯曹襄（平阳公主之子、汉武帝的外甥、汉王朝开国元勋曹参的后代）及其背后的曹氏家族以及以卫子夫的外甥霍去病为首的霍氏家族。
在“巫蛊之乱”发生之前，汉武帝对于广义卫氏家族是采取了区别对待的。对于卫青为首的狭义卫氏家族，在卫青去世之后汉武帝采取了限制的方式，通过“擅闯宫禁”“酎金成色不足”等理由削去了卫青三个儿子的列侯爵位。但是，汉武帝并没有进一步采取措施，点到为止，卫青的三个儿子凭借着卫子夫和平阳公主的关系，日子过得还算惬意，并没有那么糟心，功臣子弟该有的待遇一样也没少，只是没有了列侯爵位而已。卫青的几个兄弟本就是“裙带枕头”、翻不起什么大浪，汉武帝也没有刻意对他们进行打击。
对于公孙贺这位连襟，汉武帝在“巫蛊之乱”发生之前似乎也没有刻意进行压制或打击。“巫蛊之乱”发生前夕，公孙贺还依然坐在汉王朝丞相的位子上，并且成为了彼时广义卫氏家族中职务最高的一位。至于平阳侯曹氏家族，因为姐姐平阳公主的关系，汉武帝更加没有刻意打击。更何况，曹氏家族是汉王朝的开国元勋家族、背景深厚，汉武帝不得不考虑政治影响。
除此之外便是霍去病的霍氏家族和他继父陈掌背后的陈氏家族了。陈掌并不是陈氏家族的大宗，曲逆侯爵位并没有落到陈掌头上。因此，陈掌背后虽然有陈氏家族，但是他对于陈氏家族的影响力实际上是非常有限的。加之与霍去病的这层父子关系，汉武帝并没有刻意针对陈掌。而霍氏家族真正属于广义卫氏家族的只有霍去病这一支，在霍去病的亲儿子霍嬗早殇之后，霍氏家族与广义的卫氏家族已经没有太大关系了。
“巫蛊之乱”发生时，时任丞相的公孙贺首当其冲，公孙贺和他的儿子公孙敬声被杀。卫青的长子卫伉因为与戾太子刘据关系亲近也受到了牵连被杀，但是他的儿子和两个弟弟卫登、卫不疑并没有受到实质性的影响。至于平阳侯曹氏家族，有两种说法。一种说法是平阳公主的孙子、时任平阳侯曹宗受到“巫蛊之乱”牵连被杀。另一种说法是曹宗因为“与中人奸”被削去了爵位，以金钱抵罪后被罚为城旦，但是人并没有被杀。不管怎么说吧，总之在戾太子刘据和卫子夫自杀之后，这几支虽然没有被连根拔起，但基本上也都失势了。
但是，霍氏家族（勉强也算上霍去病继父陈掌背后的陈氏家族吧）却不在此列。因为霍去病英年早逝以及他儿子霍嬗早殇，霍氏家族与广义卫氏家族有关的人都已经不存在了。而霍去病留给汉武帝的只有美好的回忆，并没有反感。爱屋及乌，霍去病去世后汉武帝将自己对霍去病的器重与期望全部寄托在了他儿子霍嬗身上，只可惜霍嬗也早殇了。最后，汉武帝把一切寄托在了汉武帝同父异母的弟弟霍光身上，对霍光非常照顾、大加提拔重用。霍去病是他父亲与卫少儿偷情所生的私生子，换言之，霍光虽然和霍去病是兄弟，与卫少儿、卫氏家族却没有任何血缘关系。因此，霍光与卫氏家族并不亲近。“巫蛊之乱”发生时，霍光对汉武帝保持了绝对忠诚，他坚定地站在了汉武帝一边，并没有卷入这个政治漩涡。也正因为如此，事后霍光非但没有受到任何牵连，反而更加受汉武帝器重。
当然，霍光本身的谨小慎微也是一个重要方面。史籍记载，霍光随侍汉武帝多年，连一个小错都没有犯过，霍光的自制力可见一斑！这样一个人又怎么可能不受汉武帝喜欢和重用呢？换句话说，“巫蛊之乱”发生时，广义的卫氏家族势力遭到了极大的削弱，达到了历史最低谷。但是，霍氏家族却不在其列。汉武帝临终前因为继承人汉宣帝年幼、无法撑起汉王朝的大梁，不得已选择了异姓大臣辅政的权力配置，深受汉武帝器重的霍光自然是不二人选。但是，汉武帝对辅政大臣也并不完全放心，因此采取了四人分权的设置，由霍光、上官桀、桑弘羊和金日磾分掌权力。这种权力配置汉武帝还是煞费了一番苦心的，只可惜计划永远赶不上变化，金日磾去世之后不久，剩下的三位便开始了大规模内斗，最终霍光在汉昭帝的默许和支持下搞掉了上官桀和桑弘羊，形成了一家独大之势。自此，霍光也不再“谨小慎微”，正式拉开了权倾天下的大幕，后来甚至公然废立皇帝，这恐怕是汉武帝始料未及的。
