汉武帝以内朝代替外朝，有掌握军权的大司马、大将军领尚书事辅政，从而有掌握了政治的决策权，权利集中于一人，基本上取代了皇权。霍光可以废立皇帝，这表明他才是汉朝真正的最高统治者，他本人完全有可能取而代之自立为帝。汉武帝起初的安排是由四人联合执政，相互牵制，可不久这个格局就被打破，由霍光一人单独执政，此时汉朝的存亡就完全取决于霍光个人的忠诚。汉宣帝即位时参拜高庙，霍光当时与他共乘一辆车，汉宣帝内心对霍光很是敬畏，霍光的权威让他如芒在背，后来众人都说霍氏被诛的祸根就在于此，此即“祸起骖乘”的由来。这个事只是一个象征，几作为大臣的霍光让皇帝感受到了威胁，形成了二元权力中心，这种结构是极不稳定的，迟早会失去平衡。霍光自己也贪恋权力，汉昭帝成年时不归政；汉宣帝即位时已经成年，仍不归政，而且亲属子弟掌握了产提供的关键权利，直接威胁到了皇权，这才是霍氏被族诛的根本原因，任何皇帝都不会长久容忍这样一位权臣的存在。霍光去世后，本来是霍氏软着陆，逐步淡出权利核心的一个良机，但由于霍氏与汉宣帝之间缺乏基本的互信和好感，再加上许皇后被谋害，双方的矛盾已经不可调和，必然会鱼死网破。可悲的是，此时的霍显等人还在做着永保富贵的美梦，丝毫没有意识到危机即将来临！霍氏的不幸在于遇上了多谋善断、英敏果敢的汉宣帝，霍氏的遭遇会给后来者一个深刻的教训实际上掌握了皇权的权臣很难实现软着陆，平安淡出，与其如此当然不如篡位。
对汉宣帝的评价：无愧于天，何憾于地，此生足矣！