上官桀等人见无法从昭帝处下手，便决定发动政变杀霍光，废黜昭帝，立燕王为帝。但计划泄漏，霍光族灭上官桀父子和桑弘羊，盖长公主和燕王旦自杀。此后霍光成为朝政实际上的决策者。

在昭帝时期，霍光得到汉昭帝的全面信任，因而得以独揽大权，他采取休养生息的措施，多次大赦天下，鼓励农业，使得汉朝国力得到一定的恢复。对外也缓和了同匈奴的关系，恢复和亲政策。

这段时期和后来的宣帝朝被合称昭宣中兴，史家认为西汉自文景之治后被武帝穷兵黩武政策所耗空的国力在这段时间得到了恢复。

废除昌邑

霍光等废昌邑王事上太后疏元平元年(前74年)夏四月癸未日，汉昭帝驾崩，他没有儿子。霍光迎立汉武帝孙昌邑王刘贺即位，但二十七日之后就以淫乱无道的理由报请上官太后废除了他。

霍光同群臣商议后决定从民间迎接武帝曾孙刘病已(后改名刘询)继承帝位。这就是汉宣帝。霍光效法殷商伊尹，行废立天子之事，从此后人合称为“伊霍“。

宣帝时期

汉宣帝即位初，霍光表示要归政于帝，但宣帝没有接受，朝廷事务的决策仍先经过霍光过问再禀报皇帝。宣帝对霍光表面上很信任，但内心十分忌惮，与之同车时“若有芒刺在背“。霍光本人功高震主，为后来的全家族灭埋下了祸根。