却说弘治八年以后，孝宗求治渐怠，视朝日晏，太监杨鹏、李广，朋比为奸，蔽塞主聪，广且以修炼斋醮等术，怂恿左右，害得聪明仁恕的孝宗，也居然迷信仙佛，召用番僧方士，研究符箓祷祀诸事。大学士徐溥，及阁臣刘健、谢迁、李东阳等，俱上书切谏，引唐宪宗、宋徽宗故事为戒，孝宗虽无不嘉许，心中总宠任李广，始终勿衰。广越加纵恣，权倾中外，徐溥忧愤得很，致成目疾。不能拔去眼中钉，安得不成目疾?三疏乞休，乃许令致仕。适鞑靼部小王子等，复来寇边，故兵部尚书王越，贬谪有年，复遣人贿托李广，暗中保荐，乃复特旨起用，令仍总制三边军务。越年已七十，奉诏即行，七十老翁，何尚看不破耶?驰至贺兰山，袭破小王子营，获驼马牛羊器仗，各以千计，论功晋少保衔。李广所举得人，亦邀重赏。广每日献议，无不见从。会劝建毓秀亭于万岁山，亭工甫成，幼公主忽然夭逝，接连是清宁宫被火。清宁宫为太皇太后所居，被灾后，由司天监奏称，谓建毓秀亭，犯了岁忌，所以有此祸变。太皇太后大恚道：“今日李广，明日李广，日日闹李广，果然闹出祸事来了。李广不死，后患恐尚未了呢。”这句话传到李广耳中，广不觉战栗异常，暗语道：“这遭坏了，得罪太皇太后，还有何幸?不如早死了罢！”也有此日。遂悄悄还家，置鸩酒中，一吸而尽，睡在床上死了。
孝宗闻李广暴卒，颇为惋惜，继思李广颇有道术，此次或尸解仙去，也未可知，他家中总有异书，何勿着人搜求。孝宗也有此呆想，可知李广盅惑之深。当下命内监等，至广家搜索秘籍，去不多时，即见内监挟着书簿，前来复命。孝宗大喜，立刻披览，并没有服食炼气的方法，只有那出入往来的帐目，内列某日某文官馈黄米若干石，某日某武官馈白米若干石，约略核算，黄米白米，何啻千万，不禁诧异起来。黄米白米，便是服食炼气的方法，何用诧异?便诘问左右道：“李广一家，有几多食口?能吃许多黄白米?且闻广家亦甚狭隘，许多黄白米，何处窖积?”真是笨伯。左右道：“万岁有所未知，此乃李广的隐语，黄米就是黄金，白米就是白银。”孝宗听到此语，不觉大怒道：“原来如此！李广欺朕纳贿，罪既难容，文武百官，无耻若此，更属可恶！”至此方悟，可惜已晚。即手谕刑部，并将簿据颁发，令法司按籍逮问。看官听说，李广当日，声势烜赫，大臣不与往还的，真是绝无仅有，一闻此信，自然一个个寒心，彼此想了一法，只好乞救寿宁侯张鹤龄，昏夜驰往，黑压压的跪在一地，求他至帝前缓颊。寿宁侯初不肯允，奈