外面却不露声色，元狩五年，霍去病与李敢随从武帝前往雍县甘泉宫射猎，一班将士正在纵放鹰犬驰逐鸟兽。霍去病向人丛中觑定李敢放了一箭。李敢不知霍去病恨他，未曾防备，明枪易躲暗箭难防，竟被射中要害立时身死。左右见了大惊，急来报知武帝。武帝明知是霍去病射死，无奈心爱战神，不欲使之坐罪，遂命左右拔出箭镞，将李敢尸首交其家族收葬，只说是射猎时被鹿触死，霍去病竟然无事。
却说匈奴伊稚斜单于率领数百骑向西北逃走，及汉兵既去，匈奴大众寻觅单于十余日，竟不知其踪迹所在。于是右谷蠡王乃自立为单于，代领其众。过了一时，伊稚斜单于又回故处，右谷蠡王乃除去单于之号，仍就故职。统计匈奴兵马不过数十万，自经卫青、霍去病等人累次征讨，死亡过半，其势大衰。加以人民一闻汉兵到来，仓皇奔走，怀孕妇女往往堕胎损命，大众甚以为苦，只得住居漠北以避兵锋。赵信劝单于休战言和，遣使至汉重议和亲。武帝令群臣集议，或可或否，聚讼不休。丞相长史任敞道：“匈奴为我军破败，怎得与我朝和亲？”武帝称善，便令任敞偕同胡使北往匈奴，数月不闻复命，想是不肯和亲被拘留，武帝未免怀忧，临朝时又提及和亲利弊。旁有博士狄山上前说道：“和亲最好。”武帝问道：“何以见得？”狄山道：“兵乃凶器，不可屡动。昔高帝受困平城，始议和亲，所以孝惠高后之时天下安乐。及文帝欲伐匈奴，北方又苦兵事。景帝自七国乱平，口不言兵，人民富实。今陛下兴兵击胡，中国因之空虚，边人多致贫困，由此观之，不如和亲。”武帝听后便问张汤道：“此言如何？”张汤知武帝不欲议和，遂对道：“此乃愚儒无知妄说。”狄山见张汤当着众人之面骂他愚儒，心中愤怒，也顾不得势力不敌，应声说道：“臣固是愚忠，若御史大夫张汤乃是诈忠。张汤前治淮南衡山之狱，用苛刻之法，痛诋诸侯，离间骨肉，使藩臣不能自安，臣所以说张汤乃是诈忠。”武帝见狄山指斥张汤，心中大怒，也不与辩论是非，便向狄山作色道：“我让你出守一郡，你能不使胡虏入寇么？”狄山说不能。武帝又问他能任一县否？狄山又说不能。武帝又问他能居一亭障否？狄山不好再辞，只得说能。武帝便遣他居守一障。才阅一月，狄山竟暴毙，头颅都不知去向。时人说是为匈奴所杀，其实无从证明。朝臣见狄山枉送性命，以后再也不敢多嘴说和亲。但汉兵疮痍未复，马亦缺乏，亦不能再击匈奴。惟将近边一带之地占领，移民耕种。又分置吏卒守之，边境稍得无事。
过了年余霍去病病死，武帝
…。。