岳飞的功劳越来越大，所受的封赐越来越多，手中的兵权越来越大，这对秦桧无疑是一个巨大的威胁，引起了秦桧极度的不满和嫉恨，同时又怕岳飞攻打金兵，引来金朝贵族对他的不满，所以就千方百计地阻挠岳飞收复中原的行动。
张俊对此也大加反对。他一向自视过高，认为自己的功劳比岳飞大，官职比岳飞高，统制全国兵马的 权力应该由自己拥有，因此就出头反对岳飞的用兵计划，不断在高宗面前提出反对意见。而秦桧则乐于在一旁煽风点火，这两个人一明一暗地将宋高宗搞得有点动摇。原本高宗只是在一时的感情冲动下，才将兵权授予岳飞，但是他降金的念头从来也没有断过，只是因为种种缘故，他才在表面上装出一副抗金的模样。如今在张俊和秦桧的鼓动之下，他才如梦初醒，想当年，宋朝的开国皇帝就是以武将的身份，发动了政变，当上了皇帝，而为了解除后患，又采用“杯酒释兵权”的办法削了一部分武将的兵权，才安安稳稳地做起了皇帝 。因此对武将的防范和猜忌 ，就成了赵宋代代相传的家规。高宗自然也不会例外。狡猾的张俊和秦桧就是利用高宗这个心理，以历史来提醒高宗，不要忘记列祖列宗的教训，免得犯错。他们的目的就是让高宗明白，如果给岳飞太多的兵权，那么有朝一日岳飞权力达到了顶峰，功盖天下，而一旦起了谋反之心，那么想后悔也来不及了。
高宗领悟了他们话里的意思，毫不迟疑地给岳飞下了一道诏书，收回曾经授予岳飞的统率淮西军的命令。这一切都是岳飞所无法预料的，高宗授予兵权时的情景还清晰地印在脑海，高宗当时殷殷叮咛的话语还回响在耳边，可是事情竟然已发生了这样的变化，怎不令人气愤?
捧着高宗的诏书，岳飞双手抖得很厉害。高宗在这件事上心里有鬼，所以不好直接面对岳飞，就派了张俊将岳飞召至都督行府。在岳飞义正词严的质问之下，张俊也说不出什么冠冕堂皇的理由，他只是通知岳飞，说淮西军的指挥已有了新的安排，装作从没有发生过授权岳飞统率淮西军的事情。
几天之后，朝廷又下了一道命令，通知岳飞先回鄂州等候命令，而将各路军并入岳家军的计划也成泡影，北伐金军之事又要作罢，所有的一切努力都化为乌有。而这一切，都只是在短短的瞬间发生了，令人不禁心生疑惑。
岳飞开始了思索，一串串的疑问涌上心头，搅得岳飞心里乱糟糟的。他想起当年，收复襄阳六郡时朝廷不许越出界线一步，攻打伊、洛时不许渡河深入，而此时正当收复国土的大好时机，却又毫无理由地要收回兵权，分散兵力，这一切都不是偶然或无意的，而是别有用心。
岳飞对高宗的出尔反尔，异常愤慨，于是上奏请求解除军务。理由是与宰相张俊意见不和，无法共事，当然实际理由并不是这一点，岳飞此举是为了表示对高宗君主的qiáng烈不满。按当时的封建礼法制度，臣僚提出辞呈，必须要先经过皇帝的首肯，才能够离职，但是岳飞在极度愤怒下，不经皇帝许可，只对随从军 huáng机密作了一番jiāo代后，就满怀悲愤地离开了建康，奔向庐山东林寺，给亡母姚氏守孝，尽一番孝心。岳飞这一近乎惊世骇俗的“抗上”行为，反映了他性格倔qiáng的一面。
岳飞擅自离职，大大激怒了宰相张俊。他多次上奏高宗，说什么获取制兵权，是岳飞早已预谋的事，而如今岳飞未经允许就擅自离职，是用以要挟皇上，并且想办法剥夺岳飞的兵权。像狐狸般狡诈的秦桧，竖起两只耳朵，一边倾听高宗的动静和意向，一边也极度热情地支持张俊，一心想整垮岳飞。
岳飞的举动，也令高宗大为震怒。他对岳飞的疑忌也更加重了，但是在众大臣婉转的劝说下，加上和谈还没有获得成功，在军事上还要依靠岳飞，所以权衡利害得失，他按下了心头怒火，一面派都督府参议军事张宗亢代领岳家军，稳住岳家军，一方面派岳飞的部将李若虚、王贵等上庐山乞求岳飞下山。为了怕岳飞不愿出山，高宗还特别吩咐，说如果不能将岳飞请回来，就将他们和岳飞一同按军法处斩。
张宗亢是宰相张俊的心腹，原来他曾对岳飞怀有很深的敌意。他接旨到达鄂州后，着手统领岳家军。岳家军对此感到非常担忧 ，人心慌乱 ，都说 ：“如今我们已经换了一个统帅，岳相公恐怕是再也回不来了 。”后来由因病告假的张宪出来主持军务，详详细 细地向军中各大小将领解释派张宗亢来岳家军的原因，费了好大一番口舌才将全军将士的军心稳定下来。
张宗亢看到岳家军严明的军纪，雄威的军容，昂扬的士气，不禁消解了对岳飞的敌意，从心底对岳飞产生了深深的敬意，禁不住长叹一声 ：“岳帅果真治军有方啊 !”从此尽心尽力地操持着军务。
王贵和李若虚带着皇上的命令来到了庐山东林寺。他们费尽了口舌 ，动用了多种理由 ，始终无法把岳飞说动。接连劝了几天 ，到了第六天 ，李若虚不得不将最后一张牌拿出，他对岳飞说：“相公想造反吗?你从前只是河北的一个小农夫，后来皇上将重任托付给你，让你掌握兵权，这都是朝廷赋予你的恩典，难道你现在要与朝廷对抗吗 ? 相公如果执意不肯下山，那么我们就会因此而遭斩，我们难道有什么对不起相公的吗?”
为了不使自己的下属因此而受到牵连，也为了抗金大业，岳飞只好受诏下山，尽管心里千百个不愿意，但是却不能违抗皇上的命令。依照当时朝廷的制度，在恢复官职之前，岳飞必须先去建康，虽然他正气凛然，谈不上什么过失，却还得向理亏的高宗请“罪”。
回到建康后，岳飞接连三次上奏章向高宗道歉，请求宽恕，而高宗回答的话亦寓含深意，表面上看来平平和和，像在宽慰着岳飞的心，实际上却含有责备、 惩罚之意，话语之中还透着杀机。善于见风使舵的秦桧揣摸出了高宗心里的想法，就一个劲地在高宗身边chuī风，说岳飞这不是那不是，对岳飞的举动表现出了极大的愤慨，证明自己与皇上的意愿相通，以博取皇上的欢心。前一段时间，岳飞还是高宗最信任、最赏识的大将，并享有国家重大兵权，而现在却成了皇帝最猜忌、最不放心的武将，君臣之间虽然表面上已经和好如初，可是暗地里却彼此怀疑，他们之间的裂痕正在一步步地扩大。岳飞收复国土的大志难酬，高宗对此却毫无诚意，一心只想求和，且担心君位不保，所以就注定了岳飞后来的悲剧。
岳飞统率各军大举北伐的幻想破灭了，但是挥军北伐，抗击金军的愿望却始终没有遗忘过。岳飞重新振作jīng神，整顿原有的军队，打算再次出击。返回鄂州后，岳飞再次向高宗上奏章，坦率地指出朝廷消极防御，不敢出兵主动进攻的错误，并且主动提出愿意带兵进驻淮河的建议。岳飞确实是一位德才兼备的大将，他没有将个人的委曲痛苦放在心上，只是一心一意牵挂着抗金大业。高宗对岳飞的忠心进行了一番夸奖，并对岳飞所提的建议认真地进行了考虑，最后决定由岳飞带领部队进驻江州，这样可同时照顾到其他一些地区，是一个比较稳妥的计划。