再说兀术在朱仙镇，被岳云率五百“背嵬军”撵回开封，闻报岳家军陆续向汴京开拔，就有渡过黄河离开东京的想法，有位北宋时的太学生却要求进见兀术，他对兀术道：“太子莫走！京城可守！岳少保就要退兵了！”这位所谓的太学生可能受了很多窝囊气，才会如此数典忘祖。
兀术忙问道：“岳少保以五百骑破我精兵十万，京师中外日夜望他回来，如何可守？”
太学生回答道：“并非如此，自古以来，从未有过权臣在朝内，而大将能在外立奇功！以我分析，岳少保自己尚且不能免祸，怎么能成功？”兀术经此人提醒后，决定暂不过河。
七月二十一日，岳飞打算从郾城出发，将大本营北移，不料，却在这一天内接到朝廷十二道“金字牌”（类似如今的特快专递，宋朝时邮递员骑马悬挂木牌，木牌按速度等级分三种：金字牌、青字牌、红字牌。金字牌，日行四百里，邮递速度最快），命岳飞班师。
赵构还担心岳飞不执行命令，采取釜底抽薪的办法，将杀到河南太康的刘錡、攻占了安徽宿州的杨沂中召回，杨沂中撤回到长江南面的镇江，刘錡撤回到长江南面的太平州（安徽当涂）。友军奉命撤退，岳飞东面出现防御真空，不得已也回撤。
撤军前，岳飞愤惋泣下，东向再拜道：“十年之力，废于一旦！非臣不称职，实权臣秦桧误陛下也！”其实岳飞心如明镜，没有皇帝老子赵构点头，秦桧焉能命他班师？但他只能把这顶帽子戴在秦桧头上。
议和是赵构的基本国策，打胜仗只是赵构议和的资本。在赵构看来，灭亡金国，那是痴心妄想，维持现状是最佳选项，赵构是这样想的，也是一以贯之这样做的。所以，但凡前方战场取得了胜利，赵构都是见好就收。前文叙述过，赵构认为，金国的威胁，远不如手握重兵又不听诏令的将帅。赵构的这种想法对不对，我们以后详谈。
岳飞留赵秉渊守淮宁府，下令班师。百姓闻讯拦阻在岳飞的马前，哭诉说担心受金兵报复：“我等戴香盆、运粮草以迎官军，金人都知晓。相公（岳飞被授'开府仪同三司'，乃'使相'，故称为'相公'）离去，我们死无葬身之地。”
岳飞无奈，含泪取诏书出示众人，道：“我不得擅自留驻。”百姓哭声震野。
大军班师鄂州，岳飞率二千骑兵往临安朝见赵构。
岳家军南撤后，北方忠义军孤掌难鸣，兀术在开封，见岳家军果然南撤，重振旗鼓，派军南下，颍昌、蔡州、郑州等河南收复之地，很快又落入金军之手。
岳飞得知后，不由仰天悲叹：“所得诸郡，一旦都休！社稷江山，难以中兴！乾坤世界，无由再复！”岳飞受此打击，回到朝廷后，已不再像以往那样慷慨陈词了，只是再三恳请朝廷解除其军职，归田而居。赵构以“还未到收兵之时”为由不允许，岳飞只得回鄂州。
公元1141年正月，兀术再度领军南下攻淮西。兀术、韩常、龙虎大王合兵先攻占寿春府（安徽寿县），再攻陷合肥，赵构一边命在临安的淮西宣抚使张俊回建康率军抵御，一边调太平州刘錡、镇江杨沂中、淮东韩世忠、鄂州岳飞援救淮西。
刘錡、杨沂中很快抵达淮西，一来因为距离较近，二来执行诏令彻底。但是我们的岳元帅，想到每次揍了金军一顿后，都被召回，不能尽兴，就和赵构赌气，先说军中缺粮，不能出兵。赵构手诏道：“社稷存亡，在此一举！”
岳飞又说金国倾巢而来，巢穴空虚，他应该长驱直入汴京、洛阳，围魏救赵；接着说自己身体犯苦寒病；后来又说将亲率大军，到蕲州、黄州汇合，赵构气得七窍生烟，连续下了十七道御札，最后还装出高兴的样子赞誉岳飞道：“爱卿犯病，还为朕出征，为国忘身，谁比得上爱卿啊！”赵构反话正说，我们得睁眼看清楚《宋史.岳飞传》。
正月底，岳飞磨磨蹭蹭先进兵江州（江西九江），二月中，岳飞大军才从大本营鄂州出发，二月底，杨沂中、刘錡在柘皋（合肥南、巢湖北）大败兀术，三月初三日，淮东韩世忠引兵到了寿春，初四日岳飞军才到达舒州（安徽安庆），初五日，张俊、杨沂中、刘錡因“柘皋之战”大胜，已经商议着班师了。
兀术在“柘皋之战”失利后，北上围濠洲，张俊、杨沂中、刘錡增援，此时濠洲被金军攻陷，并在路上设伏，张俊命王德、杨沂中进军，遇伏兵败。
韩世忠从寿春赶来濠洲增援，岳飞也到了定远县（滁州北），兀术见宋军大军汇集，只得撤兵，岳飞见金军撤走，又也回撤到舒州。因此，岳飞最后一次出兵，没有和金军实际交战。反而引起了赵构的极度不快。
金国在无力攻灭南宋的情况下，准备重新与宋议和。赵构乘机开始打压手握重兵的将领，秦桧向赵构出馊主意，召张俊、韩世忠、岳飞三大将到临安论功行赏，实际就是将他们调离自己的军队大本营。
四月，调令下达后，韩世忠、张俊先到很快赶到临安，而岳飞让赵构、秦桧等了六七天之后，才姗姗来迟，朝廷授韩世忠、张俊为枢密使；岳飞为枢密副使。
岳飞因为迟迟不到，又让赵构的警惕心高高提起。岳飞对这个枢密副使很看不起，几次上奏要回大本营领军，再次引起了赵构的猜疑。
佐料：岳飞从郾城班师《三朝北盟会编》和《建炎以来系年要录》记载的是另外的版本，我们来对照一下。
《三朝北盟会编》卷二百四：岳飞在郾城，众人请求撤军，岳飞也认为不能久留，传令回军。军士一听，立即南向回走，旗帜军队混乱不堪，岳飞望见，惊讶得张口不能合拢，良久才叹息道：“这难道天意吗？”
《建炎以来系年要录》卷一百三十七：是日（二十一日），湖北京西宣抚使岳飞自郾城回师。岳飞占领京西各州后，朝廷下诏不许深入，部将请求回军，岳飞也认为不能久留。但是害怕退军时，金军尾随追击，于是宣称要进兵，等金军走远，突然传令撤军。
军士听到撤军命令后，立即反身南向，以致旗靡辙乱，岳飞望见，口张不能合，良久道：“莫非是天意吗？”
两书都说得很明白，孤军深入，岳飞是认为不能久留的！
《三朝北盟会编》引用的《岳侯传》（卷二百七）里，则记载了“忽一日，诏书十三道，令班师”。
由此可见，岳飞班师，并非只因为赵构的十二道金牌，实际原因是因为友军都撤走了，造成了岳飞的孤军深入，岳飞不得已而南撤。按岳飞性格，如果真有十足把握攻下开封，岳飞断不会撤回，因为南宋初期大将违抗赵构的诏令是家常便饭，我们后面会细讲。再者说，如果岳飞真攻下了开封，赵构岂能处罚岳飞？