汉武帝的长子刘据，很早就被立为太子。后来在汉武帝晚年，巫蛊事件之中，刘据自杀身亡。刘据自杀后，他的两个儿子也同时遇害。当时，刘据已经有了一个孙子，名叫刘病已，也被抓到监狱里。汉武帝后来赦免了刘病已，刘病已由其祖母养大成人。
汉武帝去世后，汉武帝的小儿子刘弗陵即位，大权掌握在大将军霍光的手中。刘弗陵身体并不好，在当了十三年皇帝之后，刘弗陵去世，去世的时候并没有留下子嗣。霍光为了能够继续掌权，选择了汉武帝的孙子，昌邑哀王刘髆之子昌邑王刘贺为帝。但是，刘贺到了长安之后，却并不愿意听从汉武帝的摆布。最终，刘贺在做了二十七天皇帝之后被霍光废黜了。霍光废黜刘贺，也是事出突然。当时，他并没有找到合适的人选。当时，汉武帝的儿子还有一个在世，这就是广陵厉王刘胥。霍光不愿意一个成年君主在位与自己争权，所以没选择刘胥。汉武帝的三儿子燕剌王刘旦的儿子也还在世。但是，刘旦曾经反对霍光，霍光也不能容忍刘旦的孩子当皇帝。选来选去，霍光选中了来自民间的刘病已，还给他改名为刘询，他就是汉宣帝。
汉宣帝即位后，霍光立即表示要归政于汉宣帝。汉宣帝虽说不到二十岁，但是毕竟从民间长大，知道人情世故。他明白，霍光的归政不过是做做样子。假如自己接受了霍光的归政，刘贺就是自己的下场。于是，汉宣帝说自己还年轻，需要多学习，天下事还要由大将军做主。当时，除了祭祀等事情之外，汉宣帝几乎什么都不管。他也十分怕霍光，见到霍光“若芒刺在背”。一直等到六年后，霍光去世，汉宣帝才真正掌握了政权。
汉宣帝亲政后，汉宣帝和霍氏家族之间的矛盾也逐渐开始显现。在霍光去世后，朝廷的要害部门依然把持在霍氏家族的手中。霍光的女婿范明友担任度辽将军未央卫尉，任胜为助吏中郎将羽林监，邓广汉为长乐卫尉，赵平为散骑骑都尉光禄大夫负责屯兵事宜，霍光之子霍禹为大司马，霍光的外甥女婿担任光禄大夫给事中，霍光的孙女婿王汉为中郎将。亲政后的汉宣帝逐渐开始收回属于自己的权力，先后剥夺了霍家人的领兵之权。
霍家子孙并不甘心就此交出权力，在他们看起来汉宣帝此举完全是忘恩负义之举。地节四年（公元前66年），霍家人眼看着汉宣帝的逼迫越来越严厉，于是霍家人试图发动一场政变关键时刻，汉宣帝先下手为强，粉碎了霍家人的阴谋。霍光的全部子孙，无一幸免，都被处死。因受霍家谋反而被杀的人多达数千家，整个朝堂为之一空！汉宣帝亲政后，绝对不会允许朝廷之中还有自己不能控制的势力。霍光经营朝堂数十年，盘根错节，影响巨大。汉宣帝要想真正掌握政权，也必须清除掉霍光的势力。