三僚村的廖家和曾家是当初杨公的廖、曾两位徒弟传下的后人，而两位徒弟将杨公当做父亲一样侍奉，所以后人也就将杨公祠当做自己的族祠。
但是，最先杨公祠是有两个，廖家和曾家各建了一个，只是后人廖家的杨公祠被破坏严重并且还没有大规模修葺好，加上又地处偏僻道路难行，所以便是慢慢被人给遗忘了，现在提到的杨公祠大部分是指的曾家的杨公祠。
曾家的杨公祠因为历史原因也早就破败不堪了，只是后来又再次修建的，耗资接近百万，用花岗岩石雕刻了整个杨公祠的门面，祠门前相对是是一对石鼓，而在门前左右则是立着两座石狮子。
整个门面都刻满了图案，在门庭顶处是花卉和祥云图案，而最大的图案便是在大门上方，那里有着一副巨大的雕刻图，用的是镂空雕刻方法。
大石刻图的左端，九天玄女站在祥云之上，汉装、高发髻，衣裙飘飘，仙子气息展露无遗，手持一卷经书，身后还站着两位侍女。
在石刻图的右端下方则是站着一位老者，神情肃穆，举手做接书状，老人就是杨筠松杨公。
九天玄女是公认的风水祖师，这一幅图便是寓意着杨公传承九天玄女的风水真谛，而在杨公的身后还站着两人，这是他的两位弟子也就是廖家和曾家的先祖。
在这图案下面还有四副小图案，分别是杨公进政、杨公看风水、杨公出游、杨公出游和杨公著书的画面。
大门两侧则是有着两幅对联，一副内联一副外联。
外联的上联是：学究天人泽被士庶；下联是：功参造化名倾万国
至于内联上联则是：自古天下重名此仙有几；下联是：能使山川生色惟公独尊。
从这对联中就可以看出，杨公在风水界的地位，对于这两幅对联，整个风水界没有人有任何的异议。
而在廖家的杨公祠也有对联，不过却是与这两幅对联不一样，廖家杨公祠的对联是：
竹杖青奇。万里河山归杖下；
青囊元妙，一天星斗隐郎中。
廖家杨公祠的这一对联涉及到杨公和廖家祖先之间的一个典故。廖家先祖廖金精在拜杨公为师之前便是堪舆世家出身，一身堪舆本领并不差，后来与杨公相遇，要与杨公分个高下。
一次受福主嘱托挑选一个门楼位置，廖金精特意用八卦推算用罗盘定位，接着在定位之处埋下一枚铜钱标记。等到杨公到来之后，杨公不用八卦、不用罗盘，就将手里的竹竿直接往