霍光作为汉武帝的托孤重臣，自汉昭帝年间便开始大权独揽，而霍氏家族的权柄更是到汉宣帝初期达到巅峰，甚至已经严重威胁到了皇权，以致汉宣帝每次见到霍光都感到如芒刺背。然而，当霍光于地节二年（前68年）去世后，汉宣帝却仅仅用了两年时间，便彻底铲除了霍氏家族，那么毫无根基的汉宣帝，是如何做到这一切的呢？
巅峰时期垄断军政大权，霍氏甚至能够颠覆皇权
霍氏家族的崛起，与霍光密不可分，作为霍去病的异母弟，霍光正是通过霍去病的关系得以入朝为官，长期侍奉在汉武帝身边，深得汉武帝的宠信。后元二年（前87年），汉武帝临终之际，指定霍光担任大司马、大将军，让其与金日磾、上官桀、桑弘羊一起辅佐时年仅八岁的昭帝刘弗陵，而霍氏家族的崛起正是自此而起。
元凤元年（前80年），桑弘羊、上官桀因与盖长公主、燕王刘旦意图发动政变，诛除霍光，废黜昭帝，事泄被诛。由于金日磾早在六年前便已经去世，结果导致四大辅臣就剩下了霍光一人，再加上汉昭帝的全面信任，以致霍光独领军政大权。
此后，自汉昭帝驾崩之前开始，霍光便大肆提拔霍氏子弟和亲信，使得自己的势力遍布朝野。到元平元年（前74年）汉宣帝即位以后，霍氏家族的权力达到巅峰，他们不仅牢牢掌握了朝政大权，甚至全面控制了军队系统。
我们来简单梳理一下，汉宣帝即位之初，霍氏家族的权力有多可怕：
作为核心人物的霍光，担任着大司马、大将军、领尚书事，牢牢把持着军政大权；
霍光之子霍禹，霍光侄孙霍云，皆任中郎将，统领皇帝侍卫；
霍光侄孙霍山，任奉车都尉、侍中，统率禁卫部队胡越骑兵；
霍光女婿范明友，任未央宫卫尉、度辽将军，统领未央宫禁卫军；
霍光女婿邓广汉，任长乐宫卫尉，统领长乐宫禁卫军；
霍光女婿任胜，任中郎将羽林监，统领皇宫宿卫；
霍光女婿赵平，任骑都尉，统领羽林骑（即卫守建章宫的军队）；
霍光孙女婿王汉，任中郎将，统领皇帝侍卫；
霍光外甥女婿张朔，任光禄大夫、给事中，侍从皇帝、参议朝政。
以上还不算霍光的亲信党羽，仅是霍氏子弟便已经实现了对汉宣帝的全方位包围，这就是汉宣帝每次见到霍光，“内严惮之，若有芒刺在背”的原因。试想，作为皇帝的汉宣帝，在身边都是霍氏子弟的情况下，别说亲政掌权了，恐怕连睡个安稳觉都不太可能。
面对权势滔天的霍氏家族，汉宣帝只能选择隐忍
汉宣帝即位之初，霍光曾表示愿意归政于皇帝，汉宣帝非但不敢接受，还得装出一副自己无法理政的样子，让霍光继续秉持朝政。于是，霍光便继续把持着朝政，群臣凡是有事，都要先请示过霍光以后，然后再向汉宣帝禀报，而汉宣帝对此根本无可奈何，甚至面对霍光还要作出虚己敛容，礼下之已甚的姿态。
汉宣帝的态度，显然助长了霍氏家族的嚣张气焰，霍光的妻子霍显为了进一步控制皇帝，便想着将自己的女儿立为皇后，群臣阿附霍光，纷纷上书附和。汉宣帝可不想将自己的枕边人都换成霍家人，更何况许平君乃是在其流落民间是嫁给的自己，汉宣帝不愿辜负于她，坚持立许平君为后。
结果，汉宣帝此举激怒了霍显，她竟然趁着许平君临产之机，指使女医官淳于衍将其毒死。许平君死后，霍光幼女霍成君于本始三年（前71年）入宫，先封婕妤，后于次年三月被正式册封为皇后。
汉宣帝虽然也怀疑许平君并非正常死亡，但迫于当时的形势，非但没有办法追究，反而还要装出宠爱霍皇后的样子，而霍成君则凭借着娘家的威势，专宠于后宫，由此可见汉宣帝当年的窘境。
即便是在霍光去世以后，霍显和霍成君甚至还曾想毒死已被立为太子的许平君之子，由此可见霍氏的嚣张气焰。
霍光死后霍氏权柄被剥离，汉宣帝仅用两年便铲除霍家
霍光作为霍氏家族的核心人物，霍氏家族的覆灭便是从霍光去世开始的，可即便霍光于地节二年（前68年）去世，但当时的霍氏家族毕竟权势滔天，而汉宣帝又长期不曾亲政，想要短时间内将其铲除并不容易。
然而事实上，汉宣帝在霍光去世之后，仅用两年便完成了绝地反击，彻底铲除了霍氏家族。那么，汉宣帝又是怎么做到的呢？
第一步：剥离霍氏权力，收回朝政大权。霍光去世后，汉宣帝不仅将其厚葬，葬礼规格甚至直逼皇帝。之后，汉宣帝又封霍禹、霍云、霍山为侯，虽然罢去了霍禹右将军的屯兵，但却提升其为霍禹为大司马，领尚书事，完全摆出了一副依旧将大权交给霍氏家族的态度，其实这仅仅是汉宣帝用来迷惑霍氏的烟雾弹。
不久，汉宣帝便宣布亲自处理朝政，五日五日一听事，并下令凡吏民奏事不通过尚书，直接向皇帝报告。此举乃是皇帝亲政的必然，在霍光已经去世的情况下，自然没有人敢于对此予以反对，然而汉宣帝此举却等于直接废除了霍禹审阅奏章的权力，领尚书事完全成了一个空头衔。
在收回朝政决策权后，汉宣帝开始着手安插亲信势力，一是大肆提拔许氏、史氏、王氏外戚，许氏外戚便是汉宣帝原配许平君的亲族，如许平君的父亲许广汉，叔父许舜和许延寿等；史氏外戚则是汉宣帝祖母史良娣的亲族（汉宣帝是史良娣的母亲养大的），如史良娣的侄子史高、史曾、史玄等；王氏外戚则是汉宣帝生母的亲族，如王无故、王武等。由于这些外戚多为内朝官，且官职不高，因此并没有受到什么阻力。
另一方面，汉宣帝则是通过掺沙子分化外朝势力，例如提拔与霍光有旧怨的魏相出任御史大夫、给事中；提拔金日磾的侄子金安上为侍中，掌管宫门警卫；提拔车骑将军张安世为大司马，兼领尚书事。这三人之中，虽然魏相和金安上都是汉宣帝心腹，但张安世却是霍光一党，如此一来阻力便小了很多。汉宣帝提拔魏相和金安上是为了和霍氏打擂台，而天张安世无疑是为了分化霍氏的权力。
第二步：大肆调整职位，解除霍氏军权。汉宣帝的初次人事调整，虽然也触动了军权，但只是提拔了几个郎官，并任命张安世之子张延寿为光禄勋，用来确保皇宫安全。因此，霍氏虽然被搞的人心惶惶，但也没有感到太大的威胁，然而就在不久后，汉宣帝突然对霍氏的军权动手了，而且极为雷厉风行。
解除霍光女婿范明友未央宫卫尉、度辽将军之职，调任光禄勋；
解除霍光女婿邓广汉长乐宫卫尉之职，调任少府；
解除霍光女婿任胜中郎将羽林监之职，调任安定太守（今宁夏固原）；
解除霍光女婿赵平骑都尉之职，调任散骑都尉、光禄大夫，赴外地屯兵；
解除霍光孙女婿王汉中郎将之职，调任武威太守（今甘肃武威）；
解除霍光外甥女婿光禄大夫给事中之职，调任蜀郡太守（今四川成都）；
如此一来，除了霍山、霍云之外，霍家的军权几乎丧失殆尽，而且霍氏众人力量被严重分散，一部分留在了朝廷，另一部分则被发配到了边穷地区。原来统领胡越骑、羽林及两宫禁卫的职位，全部改由许、史两家外戚统领，直到此时，汉宣帝才算真正解除了霍氏对皇权的威胁。
第三步：迫使霍氏谋反，一举铲除霍家。汉宣帝接连两次调整，无疑极大震动了霍氏族人，而就在他们不知道是该接受现实，还是激烈反抗的时候，又得知了当年霍显毒杀许平君的真相，这更加深了他们的恐惧。他们知道，如果汉宣帝得知许平君被杀真相，肯定不会放过霍家，因此开始积极谋求反抗。
不久，赵平的门客石夏和霍云的门客张赦，建议霍氏联合上官太后（霍光的外孙女）发动政变，废掉汉宣帝。然而，事情泄露之后，汉宣帝却并未将两人抓捕，而是下了一道旨意，以霍家子弟怠慢太后，官家冯子都屡屡犯法为由，将霍云、霍山全部罢职回家，并对霍氏严加训斥。紧接着，霍云的舅舅李竟又因交通诸侯王被捕，这更加深了霍家的恐慌。
情形的急速恶化，终于促使霍氏族人下定决心谋反，他们制定的方案是：由上官太后出面宴请博平君（汉宣帝外祖母），并请许广汉和魏相作陪。然后由邓广汉和范友明带人以上官太后的名义将许广汉、魏相杀死，再由上官太后颁布懿旨，废掉汉宣帝。
然而还不等计划实施，霍云便被调任玄菟郡太守，紧接着霍山又因泄密被捕，霍显上书希望能够出钱赎罪，汉宣帝对此置之不理。
直到此时，汉宣帝才公开了霍氏阴谋造反的事情，得知事情泄露，霍云、霍山、范友明先后自杀，霍显、霍禹、邓广汉则被抓，霍禹被腰斩，霍显及她的几个女儿兄弟也都被处死，皇后霍成君则被幽禁昭台宣。
至此，从霍光于地节二年（前68年）三月去世，到霍氏家族于地节四年（前66年）七月被铲除，汉宣帝仅仅用了两年多时间，便完成了绝地反击。此后，汉宣帝又大肆清除朝中霍氏一党，遭到霍氏牵连而被定罪诛杀灭族的便达到了数千家。