而李揆，当然后来也下台了，原因是与吕諲不和，两人谁也看不起谁。由于吕諲在荆州时，颇gān出了一些政绩，李揆害怕他会再次入朝当宰相，就上奏说于湖南设置军镇很不便利，暗中又派人到荆南、湖南去收集吕諲的过失。吕諲上书控告李揆，于是上元二年（公元761年）二月，肃宗将李揆贬为袁州长史，任命河中节度使萧华为中书侍郎、同平章事。
就这样，肃宗的内阁成员又一次大换血——但人们也习惯了，因为这是经常性的，见怪不怪。然而李辅国把持朝政的大局却是无法改变的事情。
上元二年（公元761年）八月初一，李辅国又被肃宗加封为兵部尚书。于是李辅国大摇大摆的赴尚书省上任，宰相和大臣们都去送他，御厨摆上食品，太常卿也设乐队奏乐。如此上任，又是大排筵宴，又是乐队奏乐，真是无限风光。李辅国更加得意，所以前面的收敛一扫而光，越发的骄横放纵起来，直接向肃宗请求要当宰相。肃宗对他说：“以你的功劳，有什么官不可以当的呢？只是朝廷中有声望的大臣会不同意，怎么办呢？”李辅国倒是很厚道，一听这话就满处找人帮自己说好话，他暗示仆she裴冕等人，由他们来推荐自己。肃宗很是苦恼，一旦这些老大人们真的和他这么说，他也不好拒绝。肃宗私下里忧心忡忡的和萧华说：“李辅国请求担任宰相，如果公卿大臣们上表推荐，那就不得不让他当了。”于是萧华出宫后就去问裴冕。裴冕说：“哪有这回事，我臂可断，但宰相的职位决不让他得到。”萧华便将裴冕的话入宫告知肃宗，肃宗一听十分高兴：哈哈，这个办法好，你可以暗中打通关节，我就不可以暗中关闭关节么？自然而然，李辅国对裴冕、萧华两人怀恨在心。这件事的后果，就是萧华被罢免，由李辅国引进了一名后来代宗时期的比较有名的宰相，即曾帮助代宗铲除鱼朝恩而最后自己也被代宗铲除的元载。这位是唐代的一名大贪官，可惜后人多知道和珅，却少有人听说元载。要知道，元载不仅贪的是多、大，贪的却也很奇，抄家的时候，居然被人抄出来钟rǔ五百两和胡椒八百石。钟rǔ是名贵药材，贪这么多也不奇怪，可是要这么多的胡椒，怎么个消受法？大约是元载自己也想不出来，所以直到最后也没用完，被皇帝全都收进了府库。
李辅国把持朝政，使肃宗大为头疼，却又真的无可奈何——早知如此，当初又何必给他这么大的权力呢？送肃宗一句话：自作自受。
二、长生殿上的孤影
已经许久没有提到一个人了，唐玄宗，这位早已退位的太上皇。
自从蜀中回到长安后，玄宗一直居住在兴庆宫中。由于他早先说过，收复两京后，他就再也不gān预朝政，当时还是广平王、还叫李俶的现任太子，和郭子仪的那一次出征，一气把两京都收复了，因此玄宗当真不再参与政事，却也逍遥自在。
在咸阳的时候是肃宗亲自去迎接的，当时肃宗那一番表现堪称大孝子，而回来后，肃宗也经常从去兴庆宫问候自己七十多岁的父亲，而身子骨尚且硬朗的玄宗有时也会来大明宫看望自己的儿子。一直陪伴玄宗左右的，当然还是高力士，还有那位在马嵬坡前与哗变大大相gān的陈玄礼。肃宗又命玉真公主、如仙媛（玄宗的妃子）、内侍王承恩、魏悦以及以前的梨园弟子这些人经伴玄宗左右，哄老人家开心。玄宗经常登临长庆楼，楼下路过的百姓看到后，那毕竟是当了近五十年皇帝的人，无论如何威望还是在的，于是百姓们总是下拜，高呼万岁，玄宗也很高兴，就在楼下设宴赏赐他们。曾有一次，从剑南道来京师奏事的官吏也经过这里，在楼下向玄宗拜舞，玄宗命令玉真公主与如仙媛设宴招待他们。虽则这样的生活看上去很无聊，但如果和后面相比，就好太多了，至少玄宗有很大的自由，至少他可以保持他太上皇的尊严。
但平衡被打破了，制造混乱的人又是李辅国。原因是，玄宗身边的人，不懂得要巴结新皇帝身边的宦官，只看到李辅国当初出身贫贱，虽然也知道他现在飞huáng腾达，但是仍然瞧不起他。所谓要“敬小人”，不求添福，但求平安。高力士当年作为皇帝最宠信的宦官，大家都至少不得罪他，高力士还算不错，也没怎么害过人，但他自身应该明白这个道理。不错，李辅国当初是在你高力士的手下，而今已经不同了，不能再以人家上司的身份说话了。但明显玄宗身边的人都没有注意到这一点，所以李辅国怀恨在心，而且他又想在肃宗面前立功——想他一个宦官，还是个不能带兵打仗的宦官，所以立功就只能从稳定肃宗地位上下手了。玄宗虽说已然不gān涉朝政，但是只要他的影响还在，对肃宗多少都有点不利——皇帝的威望是不容许别人瓜分的。何况玄宗又经常接受路过的人的叩拜，多少让新皇帝及其身边的人有些异样感觉吧。于是李辅国对肃宗说：“太上皇居住在兴庆宫中，每天都和外面的人jiāo结，特别是陈玄礼与高力士两个人，谋划着不利于陛下的事情。现在禁军的将士都是在灵武拥立陛下的元勋，他们议论纷纷，心中不安，我虽然给他们解释，但他们不听，所以我不敢不向陛下报告这些事啊。”肃宗听后，痛哭流涕的说：“父皇仁慈，怎么会有那种事呢！”李辅国又说：“太上皇固然不会做那种事，但在他周围的小人就难说了。陛下是天子，应该为国家的前途着想，把祸乱消灭在摇篮里，又怎能够徇匹夫之孝而耽误了国家的大事呢！再说兴庆宫与坊市居民相混杂，宫墙低矮，不是太上皇所应该居住的地方。皇宫则戒备森严，如果把太上皇迎进来居住，与兴庆宫没有什么不同，而且还能够杜绝那些小人去蛊惑太上皇。这样，对于太上皇来说，可享太平晚年，对于陛下来说则更方便去请安问好，何乐而不为呢。”然而肃宗此时没有答应。其实李辅国的话蛊惑性已经很qiáng了，肃宗固然能一时不听，但相信这些话在他心里已经扎根了。
之后，虽然肃宗没有口头上的同意，但李辅国依然按照自己的安排行事——不免让人怀疑，肃宗真的没同意吗？他没同意李辅国怎么有这么大胆子？也许肃宗的确没同意，但是对于李辅国这种说法则是默许的，而李辅国当时已经权倾朝野了，如果自作主张办一些事情，也不是不可能，太上皇的事情，可以说他事先和肃宗打了个招呼，再加上肃宗反对的态度又不是特别qiáng烈，所以一些简单的事情，李辅国还是可以下手的。兴庆宫原先有三百匹马，李辅国假称圣旨把这些马都带走了，仅留下十来匹。这就是一个信号，玄宗多聪明的一个人，当然清楚这件事背后的意思了，所以他对高力士说：“我儿子听信李辅国的谗言，不会对我始终尽孝了。”
这件事肃宗后来应该听说了，但是他在此事后也并没有表示反对，所以这个态度就是默许了。见肃宗没有太大异议，李辅国得寸进尺，又让禁军的六军将士在肃宗面前号哭叩头，请求将玄宗迁居到太极宫内。这个举动就大了点，上一次不过是牵走了马，这一次把人迁走，非同小可。肃宗也很明白利害得失，如果真按李辅国的话做，虽然可以一步到位，但难免遗人话柄，但又确实是个问题，怎么办呢？最好的办法就是哭泣不应——哭泣表示我不同意，你们不能说是我让人这么做的，而且这表示我不忍这样对待老父；不应表示我同意，你们照办就是了，只是不要拉上我就行。可这么一哭，把李辅国哭糊涂了，不知道肃宗是什么意思，怕自己摸错了皇帝的心路，反倒有些害怕。