话虽是这样说，但是
“在陛下面前私言上官，似乎，并不是一个臣子所该做的事情，有些事情，陛下应该自己去询问侯总长才是，若是让臣来说，始终是有些不好。”李世绩思来想去，还是决定不说这些话，若是一个不好自己说的话被传了出去，侯君集心胸狭窄，肯定不会给自己好日子过，毕竟侯君集才是如今军方的第一人，自己和他斗，讨不到好。
李二陛下却不这么想，在听到了一些风言风语之后，他已经对侯君集有了一些疑虑，而如今李世绩的态度却正好印证了那些风言风语不是空穴来风，而是有事实有根据，设立参谋总部的初衷是要防止文人掌军的荒唐事情再一次出现，但是现在文人的力量被大大削弱了，反而是军方那股力量占了上风。
作为最高军事统帅，李二陛下不担心自己会失去对军队的控制权，唯一担心的，就是刚刚确立出来的军政分开的原则被某些不懂事的臣子给毁掉，有些事情不能开先例，一旦开了先例，就会有追随者模仿，文人不可掌军，军人也不可干政，军政分开，各司其职，这才是设立军事大学和参谋总部的原因。
但是侯君集作为军方第一人，二等公爵位中的第一人，本来应该是这一制度的保护者，而不是破坏者，可是李二陛下渐渐发现，文人力量太弱而军人力量太强也不是好事，尝到了军政分开的甜头。李二陛下不会再一次允许军方大将担任政治职位，比如宰相，那必须是文人担任的职位，军方不应该参与到政治斗争当中。
可是文人力量的极大衰落却让一些军人产生了不好的想法，李二陛下觉得这些人不会只有侯君集一人有这样的想法，应该不止，可也没有成为军中主流意见，所以才会有侯君集说的慷慨激昂，而其余大将都面色尴尬，欲言又止。显然是侯君集的威势比较重。而自己又对侯君集比较宠幸，所以他们想说又不敢说。
侯君集的毛病李二陛下也知道不少，心胸不太宽广，有些瑕疵必报。而且有些粗鄙。年轻的时候不学无术。却是一个天生的战将，很能打，打起仗来不要命。屡立战功，玄武门之变中立场坚定，这才成为李二陛下的心腹，但是这个时候，不是心腹不心腹的问题，而是侯君集有那个想要突破规矩，打破禁忌的苗头。
好不容易把这个规矩给树立起来，可不能被毁掉，现在看来，有一些把侯君集从那个位置上拿下来，换上一个更为合适的人选的必要了，这个人不必比侯君集更能打，比侯君集更擅长作战，事实上大唐这样的人也不少，唯一需要的就是这个