后,自张居正归乡后，他在朝中的权势一日不如一日。失去天子宠幸的太监是何般模样？刘瑾、汪直两个例子在前，冯保必然也是清楚的。

怪只怪他没有认清形势,行事仍如天子未亲政时——就连李太后也逐步退让至后宫,冯保却丝毫不肯收敛,天子便是再大度，也很难再容忍他。

何况他连天子家事都敢插手,简直胆大包天。

太监与文官不同，所仰赖的唯有天子的宠幸,冯保在永宁公主一事上深为天子记恨,他任司礼监掌印太监已有数年,手底下的太监个个都想着将他掀倒，此次他彻底得罪了天子,自然是墙倒众人推。

和历史上一般，冯保被发配至南京，据说他离京之时怨愤难止,当着众人面斥责张四维：“张蒲州，你当年是靠谁才能入阁？”

“先是高新郑，再是我冯双林，后一个恐怕就是张太岳了！”冯保厉声道,“你这无忠无信的奸邪之徒，竟也能居首辅之位！”

张四维这首辅坐得本就不如张居正稳,被冯保这一骂，他整张脸都丢尽了。