张安世听大哥这样表态，心里立马有一股不吐不快的感觉，觉得有什么都不能瞒着大哥，于是说道：“大将军您是知道的，我大哥张贺，年轻时曾是卫太子的门客，他也因为卫太子之事而受牵连啊，后来才去了掖庭，做掖庭令时也是他从民间将皇上接到掖庭的，但是您也是知道，当年孝武皇帝临走之前，是下过诏让皇上收养于掖庭的，因此大哥才敢接皇上去掖庭。”
霍光听后，点点头笑道：“兄弟啊，这事我知道，你大哥他做得对，他的为人我是清楚的，正直忠厚，我年轻时还得到他很多教诲呢。”
张安世见霍光气色很缓和，没有一丝怨恨的味道，继续说道：“大将军，我大哥本有一儿子，可惜英年早逝，只遗留一女儿，我当时就想，大哥一生充满坎坷，到老了又没有人给他送终，于是便将小儿彭祖过继给大哥，也好给他送终啊；大哥见彭祖与皇上年纪相仿，便让彭祖也去掖庭陪皇上，他还自己出钱请澓老先生给他们讲课。”