英国公徐世绩乃是大唐开国名将，百姓口中传说的徐茂公其实就是徐世绩。此人在隋朝末年投奔瓦岗寨，是李密手下大将之一。后来李密败于王世充之手，瓦岗寨众将四散，有些人降了王世充，有些人则投奔了占据长安的李渊。徐世绩独领一军，既不投降王世充，亦不投奔李渊，仍然遥奉李密为主。李密投唐之后，李渊派人带着李密所写的书信去招降徐世绩，徐世绩将占据的州县名称、数目和军民户口抄录成册，全部交给李密，再由李密献给李渊。如此一来，投唐的大功便为李密所有。世人知道此事之后，都感叹徐世绩是一个重情重义的英雄好汉。唐高祖李渊称赞徐世绩的为人，不只赏赐给他金银珠宝和屋宅良田，还赐姓李氏，徐世绩因此改名为李世绩。
徐世绩投奔大唐之后，跟随秦王李世民东征西讨，屡立战功，成了大唐威名赫赫的名将之一。后来李世民做了皇帝，为避皇帝名讳，徐世绩将名字改为李绩。终太宗一朝，徐世绩先后参与了攻灭突厥、薛延佗等大战，多立战功，与名将李靖一时瑜亮，威震天下，最后受封英国公，在凌烟阁功臣图中排名第二十三位。
李世民驾崩之前，对太子李治说道，李绩善能用兵，是大唐柱石之臣，只是你对李绩没有什么恩惠，只怕他不会对你心服口服。朕打算贬他为外官，若是他奉命离开京城，待到朕驾崩之后，你做了皇帝，即授给他仆射之职。他受了你的恩惠，必定为你尽死力。若是朕将他贬为外官，他托辞不肯离开京城，或是离开京城之后心怀不满，朕立时便会将他诛杀，免得朕驾崩之后，李绩起兵反叛，只怕无人能够制得住他。
后来李世民下诏，贬徐世绩为叠州都督，即日离开京城赴任。徐世绩受命之后，连家都没有回，立时离开京城，星夜赶往叠州。李治即位当月，便即下诏将徐世绩召回京城，先拜他为洛州刺史，又加封他开府仪同三司，出任同中书门下，参与朝政大事。同年册拜徐世绩为尚书左仆射，权柄仅在皇亲国戚长孙无忌之下。
李治欲册封武氏为皇后，担心朝中大臣反对，先召见长孙无忌、于志宁、诸遂良等顾命大臣商议此事。徐世绩此前已经听到风声，是以称病未去。李治将打算册封武氏为皇后之事说出来之后，长孙无忌、于志宁出言相劝，褚遂良更是言辞激烈，阻止李治废掉王皇后，甚至摘下官帽，将官笏放在地上，一边痛哭一边磕头苦劝。
其时武氏躲在内室偷听，见诸遂良如此行事，心中大怒，竟然在内室怒吼出一句‘何不诛杀此獠’。长孙无忌等人闻言大惊，以为