對皇帝誠摯的邀請，高岳當然是——婉言拒絕。
他回覆說，臣絕非有沽名賣直的念頭，只不過統萬城尚未滅，臣還是得留守在撫寧。
很快皇帝的第三次要高岳入京為相的詔書抵達。
高岳繼續拒絕。
第四次，皇帝說，你、韋皋的畫像已經上了凌煙閣了，和李晟、馬燧、段秀實靠著，都在朕的旁側（德宗年輕時當過天下兵馬元帥，畫像上了凌煙閣）。
可高岳還是表示，陛下另請高明，不，是另請賢能吧！臣岳如在中樞，未必能盡展所長，平定党項後我便歸隱第二故鄉興元府鹿角莊精舍里，以詩書射獵自娛，死後碑文上但寫「唐故御營都統長史高岳」即可。
第五次第六次第七次，皇帝的口風越來越焦灼。
最後還是翰林學士衛次公，給皇帝起了個點子，他對李适說：「陛下在位以來，宰相楊炎、竇參、喬琳被處死，常袞、盧杞、蕭復、姜公輔、張延賞等左遷廢黜，淇侯不想來中書門下平章事，似乎也情有可原。」
「從周你這話什麼意思？」皇帝大為不滿。
不過衛次公接下來倒說，七次明詔淇侯不來，怕只有密詔才能來。
皇帝一聽有理，明詔的話你來我往，打嘴皮官司，遷延很久，可密詔代表的是朕真實不容置疑的想法，不由得高三他不來！
這時翰林院也遭到了大清洗。
吳通玄娶虢王李則之侄女為妾的事情敗露，皇帝發怒說，吳這樣的翰林學士，居然敢「沾污宗族之女」，還降其為妾，當即遠貶，後來怒猶未平，派中官跟進，在驛站里將吳通玄杖殺。
而吳通玄的弟弟吳通微，嚇得整日跪在光順門前待罪，都不敢為死去的親兄長披麻戴孝。最後還是司馬承禎前來求情說項，皇帝便剝奪吳通微的所有官職，罰入道觀中為奴。
現在翰林院以韋執誼為承旨，李吉甫、衛次公其後，皇帝暫時還沒召其他人進來。
於是皇帝就讓衛次公草擬了密詔，急速往撫寧寨送去。
得到了密詔後，高岳反覆思索了會兒，就把幾位心腹給喚來，坦誠說：「這趟京師，我是不得不去了。」
明懷義急不可耐，「淇侯你必定要當宰相了」
話還沒說完，高岳就舉起手來，示意他不要再繼續，「我唐的宰相難為啊，聖主連續七次下詔，我實在是難以推阻，不然便有輕君的嫌疑。」
說完後，高岳就開始委託，將羌屯託付給誰，將三衙事務託付給誰，將軍伍和營壘託付給誰，如此搞得他好像不是準備入京白麻宣下似的，倒像是在託付後事，弄得大家面面相覷，不明所以。
不過高岳心中是有數的，這麼多年，他已經深諳應付皇帝的一套了。
所以他有自信，這次依舊能全身而退。
在高岳和班宏起行時，撫寧當地的驛館來了封信件，高岳拆閱後，就知道妻子云韶又給自己生了個男孩，正要他給娃取個名字。
雲韶好像是專門生男的，這已是第三個了！
「名字？而今朝中奸屏斥一空，乾坤清朗，光芒萬丈，就起名叫炅好了，字克明。」高岳如此回信道。
他想到，三個兒子一個女兒，怎麼也算是家族豐茂了。
前往長安的路途當中，班宏忽然感了風寒，雖然病日漸沉重，可這位蕭國公的興致依舊高漲：他迫不及待地要重新主掌三司國計，並準備營救徐粲，並對張滂實施報復。
然而到了中渭橋時，班宏躺在車中，已口不能言，高岳握住他的手，他臉頰深凹，臉色發赤，歪歪斜斜地用筆，艱難地於一方紙上寫了行字，交給高岳手中。
「復按徐粲案，廢裴延齡、張滂。」這便是班宏所寫的內容。
看來班宏是想要借著平反此案，徹底回復自己的政治信譽，哪怕他的生命已如風前殘燭。
班宏註定看不到這一天，返京後第三天，他就在宅第當中病故，皇帝立即下令停朝追封，贈尚書右僕射，諡號為「敬」。
三日後，皇帝於紫宸便殿裡單獨和高岳問對。
四面沒有任何一人在場，連陸贄都不在。
可以說這是皇帝和高岳兩人，是在竇參死後，對國家未來政策走向的一場極其重要的交談。
可交談雖重要，但並不推心置腹，而是處處充滿著你來我往的過招。
原本皇帝是要當面「強迫」高岳接受門下侍郎平章事的任命的，可高岳卻率先將班宏遺留下來的紙箋交給皇帝。
「高三，只要卿答應下來，朕即刻誅裴延齡，長流張滂，為徐粲平反。」
誰想高岳半晌後，明確對皇帝說：「竇參已死，如再追索裴、張的罪過，牽涉太廣，竊認為全無必要，可讓裴繼掌度支司，張滂掌鹽鐵司，蘇弁掌戶部司，三司分立，方便陛下了解國庫虛實。」
皇帝輕咳數聲，不讓臉上露出表情來，可實際他對高岳的回答很滿意。
只要有宰相掌國庫，不管是楊炎、李泌還是竇參，都對朕的內庫是指手畫腳，國庫和內庫之爭不曾停歇，現在裴延齡在出首竇參後，已完全阿附於朕，真是方便使用的時候，朕其實完全不希望再找個處處和朕作對的來替代。
反正現在班宏也去世，皇帝也不怕因此得罪個死人。
「竇參雖罪有應得，可接下來的局面卻很棘手，卿試為朕謀之——關東方鎮最近明顯互相密切接觸，似乎是準備為竇參討說法，卿雖為晁錯，可朕絕不為漢景帝。」皇帝的意思是，竇參畢竟是劉玄佐、李納、吳少誠、田緒這幫人的代理，如這群方鎮借著竇參「冤死」的藉口，蜂起要來「清君側」，那麼國家危難時，朕也不會出賣高三你的。
可高岳曉得，這不過是皇帝對自己的試探。
「竇參身死，可罪狀尚未公布天下，如罪狀頒布得好，關東方鎮便缺乏起兵的藉口了。」
「哦，那朕定竇參謀逆罪，可否？」
「不可。」
「竇參在家宅里供奉蒲草邪神，號曰五兄，日夜祈禱，以此定死罪，可否？」
「也不可。」
「竇參指使二位族子大肆收取賄賂，並交接重鎮節帥，如此可否？」
「也不可。」
「那依卿所見？」
「竇參的罪名，就是私通西蕃。」
「可，可竇參實無通藩的罪過，如何叫天下信服呢？」皇帝很是吃驚。