黄兄”的人私下见面，自此之后，朱安世就经常性的突然消失个两三天，然后又从莫名其妙的地方钻出来，只是他每回回来，脸上都会有失望的神色，渐渐的，方家祖上发现朱安世没有以前那样意气风发了。
有一次，方家祖上陪同朱安世再次与“黄兄”密会，却发现现场有第三人在，这人一身锦衣蟒袍，头顶官帽，腰间陪着一柄细细长长的弯刀，从这人的装备上，方家祖上就看出来此人便是当下长安城里人人避之不及的“绣衣御史”。
朱安世给了方家祖上一些好吃的，让他在旁边稍候，而他则与其余两人走入林子中。
方家祖上知道，他们肯定是谈什么事，而这事肯定跟朱安世老是莫名其妙的失踪有关，就留了个心眼，悄悄尾随上去。
由于不敢太过靠近，方家祖上只是断断续续听到“起事”“谨慎”“不可暴露”等几个词，后来，他还听见三人提到了自己，朱安世说“我的话他会听”“我会亲自送上”，而那位“黄兄”则极力反对，说“可以鼎力相助”“勿须牺牲他人”。
听了几句，方家祖上就退了回来，虽然他当时还不明白是什么事，可是后面提到的关于他自己的话让他起了警惕心。
可是朱安世是他的救命恩人，而且在他身边，方家祖上衣食无忧，所以即便是有所警惕，方家祖上也没想过离开朱安世。
直到有一天，朱安世已经连续消失五天还没回来，而且长安街上纷纷扰扰，尽是一些绣衣御史走来过往，长安城内人人自危、不可终日，方家祖上大概联想到这些御史可能与失踪的朱安世有关，可是即便猜到，他也无能为力，他只好躲在自己后院里，期盼着朱安世早日回来。
可是没过多久，他家的门就被踹开了，进来了好些人，大叫大骂的，眼看这些人快要走入后院，方家祖上突然被一个不知从何处冒出来的蒙面人给抱起，随后这人带着他翻墙离去。
蒙面人带着方家祖上多番躲避，终于乘坐一艘早已停在护城河上的小舟出了城，出城之后，那蒙面人掀开面罩，方家祖上一看，这不正是经常与朱安世私下密会的那位“黄兄”吗！
“黄兄”面对着方家祖上笑了笑，说了句带他离开这里就没话了，然后，方家祖上跟着“黄兄”下了小船又骑上马，下马之后又坐牛车，奔波了十多日方才停下，这个时候，方家祖上早已不知东南西北，是后来才知道，他跟随“黄兄”来到了太康县。
“黄兄”安顿下方家祖上，告诉他以后就跟着他过日子，方家祖上隐