公元前68年春，霍光患病卧床不起。宣帝亲自到霍光床前问候。

君臣相互寒暄几句后，霍光向宣帝提出一个请求，愿意把自己的食邑3户，分给兄长霍去病的孙子霍山。

奉车都尉霍山，其实是霍光的儿子，因为霍去病唯一的儿子霍嬗早年夭折，没有留下后代，霍光把自己儿子霍山，过继给霍嬗做儿子，希望霍去病日后有人祭拜。

宣帝当即应允！

一个月后，在汉朝政治中心主政二十年的四朝元老霍光去世。

宣帝亲自祭奠，赐霍光金缕玉衣，以帝王礼仪，把霍光葬于皇家陵园～茂陵。赐谥号为宣成侯。墓前设园邑三百户，派兵看守陵墓。

霍光死后，国家大权彻底回到宣帝手中。宣帝便开始为铲除霍氏集团做准备。

宣帝为什么非得铲除霍族？一是霍光执政六年，宣帝忍辱负重如履薄冰，这种恐惧和屈辱必须报复！二是霍氏家族人员权高位重，宣帝怕尾大不掉成为祸患。

宣帝采纳了丞相魏相的建议，对霍家人员明升暗降，全部调出军队、宫廷护卫等重要位置。

提升霍禹为大司马，但不给予印绶，等于没有兵权。把霍云、霍山调离长安，到外阜任职。霍光的几个女婿也提升官职，但都不能掌管军队和御林军。

宣帝还积极拉拢霍光心腹，顶替霍族人员的职位。封张安世为大司马大将军，由副职升正职，又是霍氏亲信，霍家也无话可说。

在宣帝积极准备扫除霍氏集团的时候，霍家却仍不觉醒，仗着霍成君是皇后，霍禹是大司马，整个家族有恃无恐日益狂傲。