霍光辅政这些年来，务在安静，轻徭薄赋，与民休息，又令郡国各举贤良文学之士，问以民间疾苦。一班贤良文学，皆请罢盐铁榷酤均输官，勿与天下争利，虽御史大夫桑弘羊极力反对，但最终还是罢榷酤官，国家日趋安宁。
霍光见国内安宁，便议与匈奴和亲，乃遣使前往匈奴，探其意思。早在始元二年，匈奴狐鹿姑单于身死，当狐鹿姑将死之际，曾嘱诸位身边的群臣道：“我子年少，不能治国，当立弟右谷蠡王为单于。”但是狐鹿姑死后，卫律却与阏氏颛渠密谋，秘不发丧，假传单于命令，召诸贵人宴饮结盟，共立狐鹿姑子左谷蠡王号为壶衍鞮单于。壶衍鞮单于既立，右谷蠡与单于子左贤王，皆以不得嗣立，心怀怨望。
一直以来，匈奴每年五月，都会在龙城大会诸王，祭享天地鬼神，但这几年的龙城大会，左贤王、右谷蠡王都不肯来会，于是匈奴之势始衰。始元六年的龙城大会，我朝派使者前来，壶衍鞮单于使人示意，欲求和亲。我朝使者之前已得到上官桀的意思，知道怎样跟壶衍鞮单于要回苏武，便说道：“单于既有意和亲，须先放苏武等回国。”
“苏武？”
壶衍鞮单于假装不知道，于是问左右，左右都说苏武已死，但是使者依然不折不扣，大声说道：“我此次来特奉我朝皇上之命索回苏武苏大人，只因皇上有一日在上林苑中射猎，忽见天边一雁飞过，皇上亲自拈弓搭箭，向雁射去，那雁中箭坠地，拾取一看，忽见雁足上系有一物，解开一看，却是一块帛书；帛书中写道：‘臣苏武现在荒泽之中’，细看书词，确是苏武笔迹，苏武现在北海牧羊，单于如何说他已死，欺骗我朝呢？如今连天都怜苏武孤忠，使他帛书得达，又是皇上亲手射得，单于更有何说？”
壶衍鞮单于闻言，与左右面面相觑，心中大惊，怎么连苏武在北海牧羊他们都知道呢。匈奴人本来生性率直，加以迷信甚深，如今闻使者之言，以为真的射雁得书，果有其事，又因自己说谎被人揭破，一时不知说什么好，便向使者谢过道：“苏武实是尚在。”
就这样，在北海牧羊十九年之久的苏武终于被放回来，与使者一起回长安。当然匈奴这次肯放苏武回来，只因现时的匈奴势力已大不如以前，开始分裂削弱，因此他们也不敢得罪我朝，于是也做个顺水人情，放苏武回来，已修好两边之关系。
当初苏武出使匈奴时，已经四十岁，留在匈奴一十九年，现在已变成须发尽白的老头，进长安城时，他仍然手持汉节，路人见者无不感叹。皇上以苏