汉宣帝十九岁即位，聪明刚毅，又深知民间疾苦，早该亲政，霍光却一直把持着大权。其间虽然有过上表要求还政，但汉宣帝知道这只是试探，没有同意，霍光果然也没有坚持，继续辅政。霍光其实也觉察到了自己家族声势显赫，却发岌可危，他曾问自己的儿子、侄孙们在自己死后，有无安身之策。可惜权力总是让人迷惑，他不仅没能及时退却，反而极力培养自家的势力，他的儿子、侄孙、女婿、孙女婿个个身居要职，朋#-666bb;一气。

公元前68年三月，霍光病死，谥封为“宣成候”。霍氏家族不仅权力大、声势大，而其极其器张，行为不法，使“君主蓄积愤怒于上，吏民蓄积怨气于下”。一次霍家的奴仆和御史府的奴仆争斗，霍家的仆人们冲击御史府，要拆掉大门，御史叩头谢罪他们才离去。就连民间诗歌中都有这种记载，如《酒家胡》中就有:“昔有霍家奴，姓冯名子都。依倚将#-666kk;势，调笑酒家胡....可见人们对霍家的不满。

汉宣帝掌握权力后不久，就开始了人事调整，封霍光女婿范明友为平陵侯，令其交出未央官卫尉印绶;女婿任胜离开羽林监，转任安定太守;女婿邓广汉交出长乐宫卫尉印绶，转为少府;女婿张朔调任蜀郡太守;孙女婿王汉调任武威太守;收缴其女婿赵平骑都尉印绶.....

同时很多霍家曾经的过错被翻了出来，上奏其不法的事越来越多，甚至当初许皇后的死因也被重新提出来。霍家集团人人惶恐不安。霍山认为:“事已至此，坐以待毙，不如殊死一搏。”于是霍家密谋发动政变。但汉宣帝早有准备，他们刚刚计划好，就有人向皇帝告了密。汉宣帝立刻下令抓捕霍氏家族相关人物。霍山、霍云、范明友自知无力反抗自杀身亡。霍显、霍禹及霍家诸女婿，尽数被抓捕斩首，弃尸于市。因此案牵连被诛灭者数千家。霍皇后也被废，关押于昭台宫，不久自杀。

《尚书。大禹谟》中言:“满招损，谦受益，时乃天道。”霍光一生谦谨端正，能在汉武帝面前做到毫无差池，可见其心思之缜密。然而，他却不能治齐其家，使家人不知收敛、谨慎，反而骄奢不法，气势逼人。结果，他身死不久，家族便遭受屠戮，徒令后人叹息。其兴在于不满，其败在于过盈，老子端谨、不满之道，真可谓安身避祸良言。