姚兴专心于佛法，供养着三千余名僧众，这些人往来宫中，参与各种事务。
只有觉贤自守清静，与众不同。然而他并未因此免掉麻烦。
他的麻烦出在两件事上。
某天，觉贤对弟子说：“我昨天看见有五艘船从家乡向这里驶来。”
弟子将话传给外人，于是关中僧人当即认为觉贤妖言惑众：“谁不知他家在天竺？中国与那里远隔万里，他又不是神佛，如何能看得见呢？”
另一件是，觉贤弘扬禅法，远近僧俗闻风而至。但学习所得有深浅，证得的境地有高低，难免有矫伪之徒用奸耍滑。
有个弟子，很少用心参证，却自称得了不还果，觉贤又没有立即察问。于是流言四起，诽谤横生，随时都可能发生不测之灾。
徒众中很一部分是投机取巧之流，见势不好，有的匿名遛掉，有的半夜跳墙而走，半天工夫，便散得差不多了。
只是觉贤平淡自处，不以为意。但有人找上门来了。
长安僧人道恒、僧契前来，表情庄重地说：“你先前宣称有五只船要来，结果了无踪影，虚而不实，你的门徒也诳言惑众，爱起纷争，这于戒律已有违背。你最好快走，不要停留！”
觉贤平静地说道：“我如漂于水上的浮萍，去留都极容易。只是遗憾在此地有志未伸。”说完便收拾行装。
觉贤与弟子慧观等四十多人开始动身，当时太阳很好，照得一切明晃晃的。
师徒一个个神志从容，面无异色，轻松得如同出游一般。
许多人见他们都如同遇到妖人，避到远处，也有眼力超凡者为他们惋惜，相送的僧俗聚集了一千多。
姚兴听说后怅恨不已，将道恒召去，责备道：“觉贤和尚，不远万里来游化传道，本欲宣扬大法。真知卓见尚未吐露，但用意之良苦，也足以让人感慨，怎么能因一句话有错，就让万众失去导师呢？”
道恒心内不服，但不得不做出忏悔状，姚兴便派使者骑快马追赶。
使者说明来意，觉贤平淡地说：“陛下皇恩浩荡，值得感念，然而既已启程，就恕不能从命了。”
觉贤知道凡事皆有缘分，不必勉为其难，日后终有被承认的一天。
觉贤率众人连夜赶路，向南直奔庐山，那便是宋的境地了。
隐居庐山的高僧慧远，早就听说过觉贤的大名，知道觉贤来，欣喜非常，如遇故旧。
慧远认为，觉贤的被排斥，过在门