由此北方义军纷纷响应，捷报频传，岳飞也准备召谕诸将，整装出发乘胜追击，豪言道：“直抵黄龙府，与诸君痛饮。”

但赵构与秦桧意在议和，连下了十二道金牌令岳飞班师。此前秦桧已先致书张俊、杨沂中、韩世忠、刘锜等人，命其回撤。岳飞见诸将已奉命后撤，自己坚持下去不免陷入孤军深入之境地，亦只好领命班师，然心中悲愤，班师前向东再拜，泣道：“十载功劳，一旦废弃，奈何奈何！”

“唉，他日后真要留神了……”听了赵瑗的话，柔福亦不禁感叹：“恃才而不自晦，于你父皇是大忌。”

赵瑗凝神看柔福，忽然脱口说：“其实姑姑也经常说父皇不爱听的话，做使他不快的事，但他总能容忍……像姑姑与岳少保这样敢逆父皇意的人，世间真无几个。”

“那不一样。我是女子，手中又无兵权，跟他耍点性子，他只当是猫儿狗儿闹，”柔福呵呵一笑，然转瞬间神情又变得凝重，“若换作手握重兵的将领跟他耍性子，他只怕会立即想起苗刘之变。”

她移步举目，望一碧如洗的净空，道：“我倒不怕逆他的意，于国于家无用，亦无所牵挂，惹恼了他，大不了一死而已。但岳飞……似他这般能人不多，若因意气枉送性命，是真可惜。”

这年四月，赵构采纳给事中范同建议，下诏命韩世忠、张俊、岳飞相继入觐，任韩世忠、张俊为枢密使，岳飞为枢密副使，将他们原先主持的淮东、淮西与京湖三宣抚司统制以下的官兵划归三省、枢密院统一指挥，改称统制御前诸军，再加杨沂中开府仪同三司，赐名存中。此举明升官爵、隐夺兵柄，为防私交甚好的韩、岳二人联手与朝廷抗衡，赵构刻意将二人分开，让韩世忠留御前任用，而命张俊、岳飞前往楚州措置战守事宜。

秦桧既得宗弼之信，便极力营谋，必欲置岳飞于死地。先提拔其党羽万俟禼为右谏议大夫，再授意其于七月上疏，先指岳飞“爵高禄厚，志满意得，平昔功名之念，日以颓坠”；再提增援淮西之事“稽违诏旨，不以时发”；又称其淮东视师，“沮丧士气，动摇民心”；另不忘隐约暗示之前岳飞撂担子上庐山一事，“日谋引去，以就安闲”。

赵构倒未立即就此表态，但岳飞遭此弹劾，既难忍受亦意识到处境堪忧，次月便累表请罢枢柄，赵构很快准奏，罢去他枢密副使之职，改任他为武胜、定国军节度使，充万寿观使。

岳飞改任宫观闲职后，秦桧再无顾忌，与张俊密谋，欲重金悬赏，诱岳飞部将告发岳飞过失，却无人应命。后张俊又听说岳飞曾因故欲斩部将统制王贵，且屡加刑杖，便劝王贵对岳飞加以攻讦。王贵一听连连摆首，道：“大将手握兵权，总不免以赏罚使人，若以此为怨，将怨不胜怨了。”但张俊并不就此作罢，改以私事要挟，终令王贵胆怯，勉强就范。

随后张俊又买通屡受张宪抑制的副统制王俊，命王俊向王贵告发岳飞副都统制张宪，诬陷其在岳飞交出兵权后欲裹挟岳家军离去，以此威逼朝廷还兵于岳飞。王贵将王俊状词呈交镇江枢府，张俊接了，即遣王贵将张宪捕来，亲自审讯。

张宪自不肯认罪，连声喊冤，虽经张俊严刑逼供，仍不屈招，始终坚持：“宪宁受死，不敢虚供。”张俊遂自造一纸口供，送交秦桧上报朝廷，诬指张宪与岳飞勾结谋反。

十月，赵构下旨，将少保岳飞及其子岳云投入大理寺狱，并设用以查办谋反大案的“诏狱”审理此案，命御史中丞何铸、大理卿周三畏讯问。

岳飞受审并不多言，只说：“皇天后土，可表此心。”随即解衣露背，请何周二人审视。两人一看，但见他背上刺着深入肤理的四个大字——尽忠报国。

何铸与周三畏不禁亦对岳飞心生敬意，向秦桧力辩其无罪。秦桧不悦，道：“此乃圣上之意，尔等岂敢不从！”

何铸叹道：“我等何敢左袒岳飞，实乃强敌未灭，无故杀一大将，失士卒之心，非社稷之长计！”

言罢，何周二人请辞离去。秦桧便改命谏议大夫万俟卨办理此案。万俟卨是秦桧心腹，又素与飞有隙，自然竭力逼供，对岳飞几番酷刑拷打，但始终不能迫其认罪，到最后，岳飞只在狱案上愤然写下八个字：天日昭昭，天日昭昭！

这年岁末，赵瑗忽夜驰快马至柔福府，下马后急奔入内找到柔福，喘着气说：“姑姑，你救救岳少保罢，他要被赐死了！”

柔福站起身，睁目道：“他，决定了？”

“是秦桧。”赵瑗忿然，“经他授意，岳少保被处以谋反罪。许多朝臣都上书营救，连太傅韩世忠也挺身而出，质问秦桧有何谋反罪证。秦桧亦只能支吾道：‘其事体莫须有。’韩世忠怒道：‘莫须有’三字，何以服天下！’再据理力争，但秦桧置之不理，一心要治死岳少保。”