黄天辉说，他们黄家祖上原先是河北保定人，专职替皇亲国戚种花，养花，整修园林的。
最远的历史能够追述到明朝万历年间，族谱上有一个叫黄远山的知名花匠，专门给万历皇帝朱翊钧看护御园的。曾经给万历皇帝的母后李太后主持过怡园的建设，并给内阁大学士，首辅大臣张居正雍园的规划出过点子。也算是家族中最光辉的人物了。
那几代人就靠着园艺这门手艺，非常风光地生活在宫中，每天与花草为伴，与蜂蝶同舞，过着悠闲自然的生活。
后来在天启年间，出了一个叫黄明光的人。他将皇室各种花艺的造型，技术规范，花木特征，及培植技术全部汇编成册，并收录了近万种花木培植中的疑难杂症和治疗方式等等，形成一套非常全面和专业的《大明万艺园》。
该书得到了大明朝廷的认可，官方印刷了很多版本，而黄明光的手本就被收藏在了明皇宫的翰林院内。
黄明光本人也被天启皇帝朱由校封为五品御园花匠的官职，并赐予黄家族人可以世世代代地住在皇宫之内，一心一意地为皇家修整园林。而黄家人在宫廷里面也被那些宫女和太监形象的称为“护花使者”。
一直到明末农民战争开始，准确的讲，是李自成攻陷京都之前，其黄家人都还生活在宫中。
后来，李自成攻陷了京都，族中出现了分裂。有一部分人觉得应该留下来，继续为下一个朝廷服务。他们的理由很简单，是皇帝都需要大园子，有大园子，那就需要他们这帮人维护。
而另外一部分人认为崇祯皇帝上吊煤山已经说明大明已死，他们效忠的明皇室已经不存在了。虽然他们曾经仅仅是微不足道的花匠，但作为大明的遗民，且毕竟在宫廷内生活过，不能去给皇帝殉葬，但该尽守的忠和义还是要有的。他们不愿意为“暴民”服务，宁愿离开他们曾经生活和奋斗过的地方，举家外迁。
而这时，族内有个叫黄桥山的人站了出来，带领着一大家族的人，从京都顺着京杭大运河一路往南走。当走到了江南市，发现了这个被群山包围的小村庄。不光环境幽静，而且风光也异常的秀美，一大家族人决定不走了，从此定居下来，取名为黄家庄。也就是那个时候，黄家庄有了名字。
后来，原先决定留下来服务“大顺王朝”，给李自成看护家园的那帮人，翘首以盼中等来了王师归来，可还没有高兴几天（实际上，大顺王朝前后总共只有42天的时间，可以称得上是中国农民运动而建立的最短命的王朝），结果