再说刘光世不守合肥，差点酿成大祸，张浚回朝，弹劾刘光世“骄惰不战，不可为大将，沉湎酒色，不恤国事”，三月二十二日，赵构拜刘光世为少师，充万寿观使。刘光世犯错，为什么升爵位，我们在此节“佐料”里再介绍。刘光世由此离开了自己一手创建的刘家军—淮西军，正式被剥夺了军权。
张浚将淮西军隶属都督府（张浚以宰相兼枢密使身份都督全国各路军马，设都督府），分为六军，想重新为淮西军谋一位统帅，特意将岳飞召至都督府，征求淮西军统帅人选。
张浚对岳飞道：“王德是淮西军的元老，我打算让他做淮西军都统制，再让兵部尚书、'；都督府参谋军事'；吕祉来统帅淮西军，你认为如何？”
岳飞分析道：“王德和郦琼不相上下，互不买账，一旦让王德居郦琼之上，郦琼必然不服。吕尚书不熟悉军旅，恐怕压制不住他们。”
张浚又问道：“那么张宣抚（指张俊）如何？”
岳飞毫不客气地道：“张俊脾气暴躁，缺少谋略，郦琼对他尤其不服！”
张浚再问：“杨沂中怎样？”
岳飞回道：“杨沂中和王德本事差不多，怎么能够驾驭淮西军？”
张浚处处碰壁，不由得沉下脸道：“这也不行，那也不行，我张浚知道，就你岳太尉行！”
岳飞愕然道：“都督以正事询问我岳飞，我不敢不诚实地回答，怎么有得兵的想法？”
从这段对话，我们可以看出，岳飞的性格太过于耿直，当然，他可能正气恼朝廷出尔反尔，不将淮西军隶属他节制。但他的回答，几乎冒犯了朝中所有大将！这大概也是他被秦桧陷害时，除韩世忠外，几乎无人出言挽救的原因吧。
岳飞不仅得罪了其他重要将帅，也得罪了朝中大佬张浚，而且，岳飞的倔脾气一上头，便失去了理智，竟然和张浚谈完后，上疏说要辞职为母亲守丧三年，更为严重的是，岳飞没有等朝廷答复，直接将部队交张宪代管，自己回庐山守丧去了。这个举动，多少折射出岳飞自傲、冲动的缺点！前期在王彦手下，岳飞其实暴露出了这个缺点的。但人无完人，金无赤金，这是人之常情。
张浚闻讯大怒，立即上奏赵构，说岳飞处心积虑，意在并吞淮西军，阴谋失败，便向朝廷辞职相要挟。好在赵构此时十分看好岳飞，仅任命张宗元暂时为岳家军的“宣抚判官”，负责监察全军。
另一方面，赵构下诏，督促岳飞回军营。岳飞却不肯听从。赵构又诏令鄂州军营将佐立刻敦请岳飞还军，岳飞还是不肯出山。最后，赵构下诏，命宣抚司参议官李若虚、统制王贵一同去庐山敦请岳飞还军，如果岳飞违诏，李若虚、王贵等军法从事！
李若虚和王贵上庐山后，在庐山东林寺见岳飞，说了朝廷的意思，请岳飞回军“掌舵”，岳飞还是不肯。
李若虚道：“宣抚（岳飞职务为宣抚使）是想反叛吗？”
岳飞道：“岂有此事？”
李若虚道：“这就有点不妙了！宣抚如坚持不从，朝廷难道不会怀疑宣抚吗？况且宣抚原本是河北一农夫罢了，受天子委任，付以兵权！宣抚想一想，你能和朝廷抗衡吗？宣抚如坚持不出山，我李若虚等不过受刑而死，我们辜负了宣抚吗？宣抚内心不愧疚吗？”
李若虚如此掏心置腹、情真意切、恐吓威逼，反反复复劝了六天，总算不辱使命，也保住了自己性命。六月，岳飞这头“倔虎”回军视事。
岳飞到建康见赵构后，张浚还不解气，责备岳飞道：“陛下不处罚你，对你太宽厚了！”
岳飞低头不语，张浚又责备岳飞负气擅自离军，岳飞无言以对，只是茫然问道：“现在该怎么办？”
张浚道：“唯有上疏待罪！”
岳飞依言上表待罪，赵构宽言抚慰，而枢密使秦桧还愤愤不平，说为处罚岳飞。
佐料：刘光世在合肥的表现十分窝囊，为什么几乎没有受处罚，反而爵位升为“少师”？《宋史.刘光世传》记载很详细。
针对刘光世的表现，作为总揽全国军事的张浚很恼火，回朝后立即请求处罚刘光世。赵构命张浚和另一位宰相赵鼎商议，赵鼎道：“刘光世世代为将，将卒多出自他家门下，罢除他恐怕引起人心不安！”
刘光世因此由宁武、宁国、保静军节度使改为护国、镇安、保静军节度使，换汤不换药。
张浚不服，上疏严厉弹劾刘光世，右司谏陈公辅也上疏劾奏刘光世不守合肥。
这时候，刘光世的情商就充分发挥出来了。他立即上疏，说自己有病，请求罢军政，又向朝廷捐献了一大笔金银。赵构拜他为少师，充万寿宫使，封荣国公，在建康赏赐宅邸。
陈公辅见刘光世虽然削了军权，可是爵位升了，又上言说朝廷赏罚不明，拟旨的中书舍人勾龙如渊封还赏赐宅邸的诏命，以示赵构处置不公。
赵构解释道：“刘光世罢兵权，朝廷对他施加厚礼，其他各将知有后福，都会效死力！”赵构其实还有另外一层意思没有明说：自动向朝廷交兵权的将领，我喜欢！所以我赏赐丰厚，希望其他各位实权将军有样学样，我都会照此办理。