年礼乐归东鲁，万古衣冠拜素王。自独尊儒术以来=书人几乎都是孔家的门生，孔圣人的名声甚至超过了秦皇汉武，因此，所谓衍圣便是“大衍神圣”之意。正因为孔子、孔圣“大衍”的“大道、神圣、真一、传统”，孔圣人的存在足以让整个华夏君王在其面前暗淡无光、黯然失色。
因此，孔家子孙世代接受历朝君王的厚遇，往往在军阀割据时期，孔家甚至代表了失传玉玺的作用，一旦他们站到了哪一边，那么不管这个军阀如何不堪，都被披上了神圣、王道的光环。
衍圣公这个天下仅有的敕封又分为南宗北宗，当年宋高宗赵构因受金兵进犯所迫，举朝南迁。此时在山东已被御封“衍圣公”的孔子第四十八代嫡孙孔端友及其部分孔氏族人，也一起携带了那对“孔家传世珍宝”———孔子夫妇楷木像及画像，随后南渡至浙江衢州落脚。次年，高宗又御准孔端友等在衢州兴建孔府孔庙，在此生息。而未随驾南迁的，则仍留在山东曲阜。至此孔氏后裔，便形成了南北二宗。
绍兴二年，孔袭封为衍圣公。暂时留居在州的孔子世家决定定居在衢州。他们多次请求在州建立家庙，到了绍兴六年宋高宗赵构“诏权衢州州学为家庙”。从此时起，孔氏宗子一脉就在州生息。起初，家庙“时尚草创，即为家庙，酌田供礼，未有定数”。
这年，宋高宗颁赐铜印，赐田五顷，以供族人祀祭。孔氏南迁者才逐渐安定下来。从宋高宗到以后的四代皇帝，都遵从了宋高宗地这一旨意，直到宋理宗宝元年才准许州知州孙子秀之请，拨款三十六万，兴建了第一座孔氏衢州家庙，以州州学权代孔氏衢州家庙的局面，才告结束。州官孙子秀也因建孔氏州家庙，而升为太常丞。
到了南宋王朝末期，形势发生了根本变化，宋理宗端平元年，蒙古灭了金王朝。按照蒙古与南宋订立的协议，灭了金之后，南宋王朝即可收复失地、回汴京。然而，蒙古却违了约。南宋不光没有收复中原，反而失去更多的疆土。在州定居的孔子世家，再也不可能回到山东去了。宋理宗于宝元年，以现实的态度，准州知州孙子秀之请，在衢州为孔子世家，兴建家庙。
元朝建立后，至孔氏五十三代孙时，元世祖欲统一孔氏二宗，让南宗仍回归山东。而南宗五十三代孙却申奏朝廷，意谓已有五代祖先在衢，舍之不忍，并愿将世袭之“衍圣公”封号让于北宗孔氏族弟承袭。自此，南宗失其爵位，社会地位日衰，后曾一度沦为平民。直至五十九代孙时，才又被朝廷册封为“五经博士”爵号，子孙世