征和二年(前91年)，卫太子被江充以巫蛊之祸逼死后，汉武帝决定立钩弋夫人之子刘弗陵为储君，并计划令霍光辅佐。武帝令宫中画师画《周公辅成王朝诸侯图》赐给霍光，暗示他准备辅政。

后元二年(前87年)，汉武帝临终之时明确指定霍光为大司马大将军，和金日磾、上官桀、桑弘羊一同辅佐时年八岁的汉昭帝。

此前的后元元年(前88年)霍光曾经同上官桀、金日磾共同挫败侍中仆射莽何罗与弟重合侯的叛乱阴谋。汉武帝遗诏中以此理由封他们三人为列侯。但当时也有人提出异议，认为武帝根本没有留下分封三人的遗诏。

昭帝时期

汉昭帝刘弗陵霍光与同为辅政大臣的金日磾和上官安都有联姻关系。金日磾次子金赏的妻子是他女儿。另外一位辅政大臣上官桀的儿子上官安所娶则是霍光长女，有一女上官氏。上官安打算让时年仅仅六岁的上官氏做皇后，遭到霍光反对，于是转而走盖长公主的门路，成功实现目的。上官家族为了回报盖长公主，想将其情夫丁外人封列侯和光禄大夫，也被霍光驳回。霍光此前又曾多次阻止上官家族其他亲戚封官。双方因而结怨，成为政敌。

上官桀父子联合盖长公主、燕王刘旦以及辅政大臣桑弘羊等共同结成反对霍光的同盟，假托燕王名义趁霍光休假的时候向汉昭帝上书诬陷霍光有不臣之心，并内外接应，做好准备打算一举擒杀霍光。

时年仅十四岁的昭帝识破了他们的阴谋，不予理睬，并安抚霍光，且下令追查上书人的来历。后来汉昭帝还下令如有人上书毁谤霍光者必追究到底。