霍光的权力来自于汉武帝托孤，托孤所赋予的权力是等汉武帝驾崩才能生效的。所以汉武帝不死霍光就得不到权力，没权他拿什么架空汉武帝？
霍光，属于典型的“关系户”，由异母哥哥霍去病从家乡带到长安，推荐入仕。因为霍去病是皇后卫子夫的外甥，更兼在武帝朝功勋卓著，屡破匈奴，汉武帝爱屋及乌，于是霍光从郎官先后迁任各曹官、侍中等，成为天子近臣。霍去病英年早逝，汉武帝又把对他的思念转嫁了一部分到霍光头上，二十年间，霍光得以升任奉车都尉、光禄大夫等职。
一直在汉武帝身边，属于天子近臣，虽说伴君如伴虎，但是他小心谨慎，从未出过差错，得到了武帝的信任。直到太子刘据陷入巫蛊之祸，谋反后自杀，武帝伤心，欲立少子刘弗陵，选择托孤大臣，才把目光投向霍光等人。临终前，五度武帝任命霍光为大司马大将军，与车骑将军金日磾、左将军上官桀、御史大夫桑弘羊共同辅政。次日武帝驾崩，刘弗陵即位，霍光成为首席辅政大臣，开启了他专权之路。
所以，霍光得到最高官职大司马大将军是在武帝驾崩前一天。武帝是知道自己要死了，才给他这个官。霍光后来的一切权力都是由此而起。没有武帝的驾崩就没有霍光的权力。
那如果汉武帝不死，霍光是什么官职呢？奉车都尉、光禄大夫。这两个职务级别都是比二千石。汉朝官职，最高级为万石、第二级为中二千石，第三级为真二千石，第四级二千石，第五级比二千石，之下依次为千石、比千石、六百石、四百石、比四百石、三百石、比三百石、二百石、百石、斗食、佐史。也就是说霍光属于第五级的官职。
这是一个什么概念呢？比二千石之上的那个等级二千石，就是汉代各郡太守的级别。武帝时全国有上百个郡，就有上百个太守。也就是说，霍光的官职比上百个太守还低，用今天的说法也就是个司局级干部，你听说过一个局长去架空国家最高领导人的吗？
再看这两个官到底是做什么的。奉车都尉是管理皇帝车舆的官员，也就是皇帝的小车班班长。光禄大夫，掌论议应对。没什么实权，就是皇帝有时候聊聊天，说好听点叫顾问。这两个官职都隶属于九卿之一的光禄勋。九卿在三公之下，光禄勋负责守卫宫殿，后逐渐扩展到宫内大小事务。
所以说，如果汉武帝不死，霍光那个屁大点的官职，要架空皇帝，难道要扣着皇帝的车舆让皇帝寸步难行吗？以霍光的官职，他想动这种心思，首先顶头上司光禄勋就可以带兵把他剁成肉酱。
那有人可能说，汉武帝有可能给他升官啊。升官也没用！汉武帝是个大权独揽的皇帝，他为了制衡国家最高权力的三公（丞相、太尉、御史大夫），就设了内朝，由大将军、骠骑将军等武家加大司马头衔（后来霍光的大司马大将军就由此而来），地位凌驾于三公之上。
三公权力被大大削弱。而卫青、霍去病等虽以大将军、骠骑将军加大司马地位尊崇，却也从来没有干预朝政之事。因为他们明白，自己只是用来制衡三公，而不是取代三公。在一个乾坤独断的皇帝治下，任何一个想要专权的大臣，之后一定会下场凄惨。而卫青霍去病之后，汉武帝就没有再给武将这么高的地位，同时三公权力下降了，最后都集中到武帝自己手中。所以，霍光就算做到丞相，做到大将军，还是只能唯命是从，架空汉武帝？那就等死吧。