霍光一生行事谨慎，但她的妻子霍显却非省油灯。汉宣帝即位之初，霍光将女儿霍成君嫁给汉宣帝。当时册立皇后，霍显便想依靠霍家权势立霍成君为皇后，但在汉宣帝即位之前已有结发妻子许平君。汉宣帝与结发之妻感情深厚，想立许平君为皇后。霍光也同意了，可是他的老婆霍显却怀恨在心。后来，霍显买通御医毒杀了许平君，她的女儿霍成君终究做了皇后。霍光得知此事后十分震怒，但碍于夫妻颜面，最终还是帮她隐瞒了下来，这无疑助长了霍显的嚣张气焰。霍光死后，汉宣帝亲自到现场为其治丧。在下葬时，霍显嫌霍光的墓地不够气派，下令扩建了墓地。足以见得当时霍光在汉宣帝心里还是很重要的。霍显的张扬跋扈与霍光的小心谨慎完全是两种风格。霍氏走上谋反之路与霍显的这种性格是分不开的，而霍显的为人则远不及霍光，她桀骜的性格在霍光死后也必定会使霍家失去一部分支持者，变得孤立。公元前68年，霍光的去世为霍氏灭亡敲响了丧钟，公元前66年，霍氏谋反被告发，霍光儿子霍禹被腰斩，霍云、霍山自杀，霍家一族遭到满门抄斩。京城遭到株连的有数千家之多，皇后霍成君被废。至此，霍氏集团彻底覆灭。