高宗对战争前途始终存着两种心理，既怕宋军大获全胜，又怕宋军大败。尽管岳飞一再真心诚意地表示，北伐成功要解甲退隐，高宗总是放心不下，绍兴七年岳飞自动解职和奏请高宗建储两件事，高宗一直心怀不满，生怕岳飞等掌握重大兵权的将领会起来谋反。而如果战争失败了，高宗就有可能会沦为金军的阶下囚，连个金国“臣子”的地位都保不住。绍兴元年以来宋军的屡次获胜，并没有消除高宗对女真贵族的恐惧心理，他始终没有信心，总是对敌人的力量估计过高，对自己的力量估计过低。岳飞节节推进，按道理高宗应该高兴才是，但实际上高宗的心七上八下的，如揣了一只活蹦乱跳的兔子。因此他在诏书中一再地叮咛岳飞，要尽量避免与兀术大军决战，借口就 是要保卫全军的安全，保住原有的地盘。
秦桧自从被金军派回宋朝，他的jian细的身份决定了他和抗金事业势不两立，而且还要千方百计地破坏抗金大业。但由于前方各战场捷报频传。秦桧害怕他的金军“上司”要怪罪他，因此一直想着怎样停战言和。但是，凭着他三省和枢密院的省札发号施令，岳飞、韩世忠等功高权重的统帅，不见得会理睬和听从。按照朝廷惯例，只有皇帝的亲笔手诏，才对大帅们具有约束力，而皇帝的手诏一般是在和宰执大臣商议后，由宰执大臣来起草的。
七月上旬，宋、金双方在东线和西线战场处于胶着状态，彼此都没有太大的进展。这时，在中线作战的张俊已经率兵撤退，只有岳家军仍坚持作战，长驱猛进，攻势非常猛烈。秦桧感到这是一个非常好的时机可以bī迫岳飞退兵，于是便急忙向高宗提出让岳飞班师的建议，理由是岳飞孤军作战，再作抗击就会招致全军覆灭。除此以外，秦桧还唆使殿中侍御史罗汝楫上奏，围绕着班师回朝劝说高宗，说 ：“岳家军兵员少，将士也不多，打了这么长时间的战，人民疲惫，国家也贫乏了，供给跟不上，如果岳飞再接着挥军北上，那就极其危险了，愿皇上下一道诏书，令岳飞及时班师回朝 。”此时班师，一来不会大败，二来也不会大胜，正合高宗长久以来的想法。于是，毫无主见 的高宗在郾城大战期间，发出了第一道班师诏。秦桧等人心里乐开了花，只等着向金军邀功。
岳飞在郾城大战前夕，曾将兵力匮乏的实际情况上报朝廷，希望朝廷下命令，让各路军马汇聚到郾城，共同打击敌人。但是，奏章一去十几天，朝廷并没有支援一兵一马，岳家军盼啊盼，拼着命全力抵抗，好不容易熬过了郾城和颍昌两场苦战，谁知盼来的却是一道班师诏。
岳飞大为诧异，他感到这道“措置班师”的诏命份量非常重，它意味着朝廷不可能派其他各路军北进协同作战，并有切断供养、重演长驱洛伊时因粮草不到而导致士兵饿死的悲剧。战争形势的变化，已不再像北伐初期那时各路军互相配合那样声势浩大，令敌人难以抵挡了。孤军深入，势单力簿。而如果一旦班师，那么这十几年来的浴血奋战的成果，将会完全失去，而一旦失去这样一个一统中原的大好时机，再谈什么中兴大计，就将永远难以成功了。
极端愤慨的岳飞，不愿就这样轻易舍弃即将到手的胜利果实，他没有下令终止向开封的进军，而是写了一封言词非常激烈的奏章，反对“措置班师”。
岳飞抗旨不行，令高宗又惊又惧。这使他想起在北伐刚开始时，他派李若虚去向岳飞传达“班师”的口诏时，岳飞依然像这次一样拒旨不受。这令他又心 生怕意。历代武将夺皇权的历史一齐涌到高宗的脑海里，他担心手握重权的岳飞也会这样做。于是，他决计不再顾及北伐之事，一定要叫岳飞班师回朝，以除后患。
不久，宋军九军前锋已经到达朱仙镇，而岳飞却在一天之内，接连收到十二道金牌。这十二道诏旨全是措辞严峻、不容改变的急令：大军班师，岳飞本人去临安朝见皇帝。
这时，在客观上已不允许孤军久留，主观上力争朝廷珍惜北伐也是绝对不可能的了。岳飞是南宋统治集团中的一员，要他选择造反的道路是不可能的。只能按朝廷命令，班师回朝。
悲愤到了极点的岳飞，泪流满面，只能朝着东方，朝着故国的方向，揖手释道：
“十年之功，毁于一旦 !”
岳飞对部下说，我们苦苦战斗获取的地盘，顷刻间又将全部丧失，中兴大业，恐怕是再难以实现了。
在撤军途中，岳飞住在一座荒村野寺。夜里，岳飞和部将们相对而坐，突然 ，岳飞张口发问 ，说 ：“天下大事，如今是怎样的一种情形?”他的部下张宪回答说 ：“一切都由相公决定 。”但是，无奈的岳飞只能按旨班师，张宪的劝勉并没能使岳飞改变主意。
河南、京师的老百姓，听说岳飞要退兵，都大失 所望。他们紧紧地拦住岳家军的马头，拉住岳家军将士的衣袖，苦苦挽留。许多百姓失声痛哭说 ：“岳元帅啊，有你们在这，我们就像有了坚实的依靠，可是你们一走 ，我们又要遭受残忍的金兵的凌rǔ了 。”“你们不要走吧 。”老百姓们哭声震天，岳飞心如刀绞，岳家军和老百姓相对挥泪。岳飞没办法，只好拿出高宗颁布的诏书，给老百姓看，说 ：“并不是我岳飞要走，实在是形势不允许啊 。”
军队撤到蔡州时，有成百上千的人拥到衙门前，其中有百姓，有僧道，也有学生，他们问岳飞为何要撤退，岳飞只能再次拿出班诏出示给众人看，大家都嚎啕大哭起来。百姓看挽留不住，只有跟岳家军走!倍受金军以往杀掠之苦的蔡州人民，和岳家军一道南下了。岳飞把他们安置在辖区内的襄汉六郡。与此同时，岳飞派部将李山、安贵，接回河北的梁兴、陈州守将赵策渊。善后工作料理完毕，岳飞遣王贵、张宪留守襄、鄂，自领二千亲兵，默默地上杭州赴阙去了。
兀术本以为这场战争彻底地失败了。他只好放弃开封，渡河北去，一天，有一个大书生拦住了他的去路，诡秘地对他说 ：“从古至今，如果朝中有掌握大权的臣子，就不会有将领在外面能够立功的事情。以我看来，岳飞的性命已经危在旦夕，又怎么谈得上北伐成功呢?”
书生的话提醒了兀术，他想起了派到宋国去的jian细秦桧，决定找秦桧商谋大事。
忠诚向金的秦桧果然没有辜负金兀术的期望，在他的插手之下，岳飞无奈，只能按旨撤兵。岳飞撤退的消息传来后，兀术喜出望外，立刻整顿军队，率军过河，卷土重来。他的军队，很快又占领了开封。
虽然岳飞在前线还留有少量部队，主要是为了掩护河南百姓南迁的。但他们兵力单簿，因撤军而士气低落，因此，当兀术率大兵冲来时，根本无力抵抗，有的将领被俘牺牲，有的只好带兵撤退了。
岳家军的班师，使整个战局逆转了。韩世忠率兵攻打淮阳军，久攻不下，也只好在宋廷的命令下撤军了。
高宗得到郾城的捷报后，派杨沂中的殿前司军开往淮西，明为配合，暗则牵制。后来杨沂中到达宿州，带着五千骑兵乘夜袭击柳子镇，结果扑了个空。因为金兵在路上伏下了重兵，杨沂中吓得赶紧逃跑。全军占领宿州后，因为当地老百姓曾经欢迎过张俊的军队，所以便在城中大肆屠杀，施行报复。