严嵩晚年，思维迟滞，再不像初时那样对一直在西苑“玄修”的皇帝所发诏旨做出敏捷反应。
嘉靖帝大道家，大文学家，手敕往往辞旨玄奥。这时候，只有严世蕃能刻意揣摩，并达无不中。一方面是由于严世蕃智商高，二方面因为他“情商”也高，总拿大把银子贿赂皇帝左右宦官侍女。所以，嘉靖皇帝喜怒哀乐，宫内的耳目们纤悉驰报，他们每次均能从小严处得到大笔“情报费”，故而严世蕃成竹在胸，想皇帝所想，急皇帝所急。
严嵩最后当政时期，诸司上报事情要他裁决，他均说“与东楼议之”。“东楼”，严世蕃别号也。早年，由于有妻子欧阳氏规劝，严嵩对儿子管教甚严。欧阳氏病死后，小严再也无人管束。而且，由于缺儿子不行，严嵩上表皇帝，请皇上允许儿子留京伏侍自己，让孙子代之扶老妻之丧归老家。
严世蕃服丧期间，大行yín乐之余，在家中代老父处理诸司事务。由于他身有丧服，不能入值朝房，这让老严嵩就作了难。
有时嘉靖皇帝派宦官急扯白咧，狂催老严拟旨草文什么的。可怜严嵩老眼昏花，老脑袋已经转不动，奏对多不中旨，使得嘉靖帝大为恼火。
此外，道士蓝道行以扶乩为名，用沙盘代替“神”言，极陈严氏父子弄权跋扈之状。嘉靖帝问：“如果此事为实，上天何不殛杀二人？”蓝道行答：“留待皇帝正法！”嘉靖帝默然心动。
老严还有另外得罪嘉靖帝的地方。嘉靖帝自居的西苑万寿宫因火灾不能住，暂居狭窄的玉熙宫，因此郁郁不乐。他召问严嵩，老严劝皇上还大内居住。这可触动了嘉靖帝的忌讳。正是由于嘉靖二十一年皇帝本人在大内宫中差点被宫女们勒死，这位一向信邪迷信的皇帝再未回去居住。严嵩此议，正触霉头。不久，严嵩又请皇帝还居南内，那地方又是从前明英宗被软禁的地方，此议让嘉靖帝更怒。
这时候，关键的时候，好好先生徐阶出场了。
徐阶，江苏华亭人，嘉靖初年进士出身，乃当科探花郎。史书上称他“短小白皙，善容止。性明敏，有权略，而yīn重不泄。”入翰林后，他本来远大前程一片光明，却得罪了当时的皇上大红人张璁，徐阶被贬出京外。过了好几年，昔日chūn风得意又秋风失意的小徐才得以重返翰林，并受夏言授引，一步一个坑，最终当上了礼部尚书。
从“站队”方面看官场，严嵩整掉夏言，肯定要“惦记”徐阶。可这徐尚书经过从前的蹉跎，深知当朝一把手惹不得。他从不当面顶撞严嵩，把老严奉承伺候好得不行，所以严嵩除掉他的意思就不那么迫切。更庆幸的是，夏言虽倒，徐阶因一手漂亮“青词”，哄得嘉靖帝对他大加青睐，须臾不可或离。如此，严氏父子想搬除他，倒是非常非常之难。
当然，此前有一事，差点老严要了小徐的性命：一日，嘉靖单独召严嵩问话，征询他对徐阶的看法。严嵩想了想，说：“徐阶缺的，不是才能，只是心眼太多些！”这句话要命，老严是讲先前徐阶力争嘉靖帝早立太子之事。嘉靖脸色yīn沉，幸亏后来未对此事深究。正是由那时起，徐阶对严嵩益加恭敬，并惮jīng竭虑撰写青词给嘉靖帝，以图保身。
嘉靖帝想造新宫，问严嵩，没结果。他就召时为次辅的徐阶。徐阶一口应承，表示先前建殿，余留建筑材料很多，如果下令营建，几个月即可造成新的宫殿。嘉靖帝大悦，立即下诏任除阶儿子尚宝丞徐墦兼工部主事一职，主持建新宫。结果，仅仅三个月多一点，宏伟雄壮的新宫建成，嘉靖帝当天就迫不及待搬入“新家”，名之曰：“万寿宫”。
经过此事，皇帝对徐阶另眼看待，深以为忠，进其为太子少保，兼支尚书俸禄，并超擢其子徐墦为“太常少卿”。
严嵩知悉帝宠已移，又开始装孙子，率儿子严世蕃一群子孙家人到徐阶家中，表示说：“老夫活得也差不多了，我死后，徐大人善待这些人！”
徐阶装得更像，立即还拜，表示自己受严相爷提拔，对他绝无二心。
严嵩一行人刚走，徐阶儿子徐墦进屋，对父亲说：“大人您这些年一直受严氏父子欺压，该出手时候一定要出手！”岂料，徐阶拍案大骂：“没有严相爷，我们徐氏父子哪里有今天，你这个忘恩负义的东西，死了狗都不吃你！”原来，严氏父子耳目众多，徐阶家人中就有几个严世蕃重金豢养的“间谍”。
徐阶的“表现”，立刻传到严氏父子耳中，从此老严对徐阶完全放松了应有的“警惕”。
嘉靖四十一年（1562年），身为御史的邹应龙忽上奏章，弹劾严世蕃贪污受贿等不法之事。但奏章当时未敢牵连严嵩，只讲他“植党蔽贤，溺爱恶子”。
历史上有些事，发端有时离奇近乎荒诞，邹御史之所以敢于忽然间挺身而出，并非直接受徐阶指使，而是缘于他所做的一梦：他梦见自己骑马出猎，看见东边有一高楼，土基宏壮，顶覆秸杆。邹应龙拉弓而she，大楼轰然坍倒。醒后，邹御史鼓励自己，这是我搬倒“东楼”（严世蕃）的吉兆啊，于是他奋笔疾书，立写弹文。
嘉靖帝对严嵩父子日久生厌，又有道士们一旁撺掇，便下诏逮严世蕃入大理狱，命严嵩致仕，但岁禄照发，留有情面。
发现皇帝对老父严嵩没有一棒子打死，严世蕃深知事情不像想象中那样不可挽救。他通过早先jiāo结的内保太监，奏称道士蓝道行与邹应龙里外勾结，陷害大臣。嘉靖帝各打五十大板，命人逮捕蓝道士送入牢房审讯。严嵩嘱托刑部的心腹，严刑拷打蓝道行，最终目的让他诬攀徐阶为幕后指使。谁料，蓝道士挺“英勇”，坚决不承认受徐阶嘱指。由于严氏父子势力根深固结，最终蓝道行获罪被处死。
朝中独相十余年，严嵩党羽力量确实大。但是，如果不处理严世蕃，又无法向皇帝jiāo待，法司最后就“裁定”严世蕃受贿八百两白银，上案于御前。
廷议后，判决流放严世蕃于雷州，其两个儿子及心腹罗龙文等人分戍边地。
嘉靖帝念严嵩旧情，特宥严世蕃一个儿子为民，回老家伺候严嵩起居。
严嵩离朝后，没人再与自己谈玄论道，加之蓝道行又被处决，年已半花的嘉靖帝追念老严过去二十多年的赞襄之功，悒悒不乐。于是，他把已经升任首辅的徐阶叫来，表示自己要退居二线，当太上皇，准备在西内一心拜道。徐阶极陈不可，谏劝皇帝不要搁挑子。
“好，既然如此，你们一定要与朕同辅玄修，努力崇道，日后再有谁敢上疏劾奏追论严嵩、严世蕃父子，朕一定下令把他们与邹应龙一同送斩！”嘉靖帝声色俱厉。
远在江西南昌的严嵩闻此，知道帝意仍有念旧之情，就趁嘉靖帝生日，在铁柱宫使道士建醮为皇帝祈祷，亲自撰写《祈鹤文》献上。皇帝优诏答之。见有回信，严嵩登老二上肚脐，上疏乞求皇帝准许自己被流放的子孙回南昌能给自己养老。对此，嘉靖帝没有答应。