虽然皇帝定了“竟宁”之称，但杜延年却隐隐觉得，有任弘在朝，傅介子等用事，绝不会就此作罢，皇帝也态度暧昧，这项任命就透着不寻常。

但杜延年也无所谓了，他仕途之心已冷，最好的年华和才干，都献给了将军，曾登上二府御史大夫之位，如今再来做郡守，只感觉索然无味。

抵达西河后，杜延年既没有杀鸡儆猴立下马威，也没有勤勉劳碌希望做出政绩升迁入朝，只言：“孝武之世，征发烦数，今圣天子在位，当无为而治。”

然而就学起当年的曹参，自己整天痛饮美酒，跟他来的儿子和慕名来投的故吏见杜延年不理政事，想有言相劝，却被杜延年邀约一起痛饮。

西河郡的这般光景，自然被并州刺史报了回去，刘询不太高兴，觉得杜延年这是在蔑视天子，治郡不进，遂以玺书斥责。

不过在玺书抵达前，杜延年就迎来了一位访客，却是以右将军身份，带着西园八校中四校以及四万戍卒，前往朔方郡戍守练兵的赵充国。

“幼公莫非是以二府之职复徙为郡守，而对天子不满？”赵充国有些担心杜延年。

杜延年道：“仆只想在家著书立说，清净了事，就算陛下请我去代替丙吉做丞相都不愿，又岂会在乎此事？”

共事多年，赵充国太了解他了：“幼公看似最为淡薄，实则最重故情。”

“我知道幼公是忘不了大将军，只是，难道你还要一臣不侍二主么？”

杜延年缄默不言，良久道：“只是觉得对不住大将军，无颜面再出仕……”

“大将军临终前分明已安排好了一切，我是未能好好引导霍禹、山、云三人，而终究导致大祸，延年分明知晓后果，却弃之而退，心中愧然。”

赵充国笑道：“三人危害社稷，公然谋逆，罪有余辜，幼公已经尽力，你都如此，那老夫与丙吉、傅介子等皆是大将军提携，出事时站在天子一边，岂不是更加羞愧？”

他严肃了下来：“吾等忠的是大汉社稷，忠的是为大汉尽职的霍大将军，而非霍氏！”

“大将军已去，难道霍禹等人还能继承其业，让霍家世代为大将军，继续专权不成？时移世易了，大将军之时不复返，但大将军临终前念念不忘者的两事，吾等却能够助他完成。”

“一是希望能有朝一日击灭匈奴，二是不愿孝武晚年之事重蹈。”