寇谦之受道不久，成公兴对寇谦之说：“先生如有意学道，当随公兴隐遁深山。”寇谦之欣然同意。
于是，斋戒三天，寇谦之便随成公兴离家修道去了。寇谦之先随成公兴来到华山，采得仙药，服后不饥，不久，师徒俩即前往嵩山，潜心修道。
嵩山，居五岳之中，故称中岳，属古都洛阳京畿之地，在登封县北，为道教三十六小洞天之第六洞天。
中岳后被封神为中天王。中岳有二山七十二峰，以太室山峻极、少室山峰为最有名。自汉武帝封禅中岳之后，中岳成为仙人道士的修炼之地。
西晋著名道士鲍靓曾登嵩山，入石室，得古《三皇文》，修炼成仙。所以，成公兴、寇谦之也来到了嵩山。他们选定在太室山石室修炼。成公兴将全部修炼秘诀传授给了寇谦之，寇谦之聪明好学，日益长进。
成公兴在嵩山传授道法，不觉己到七个年头，该是自己回归仙宫的时候了。临别时，成公兴再三嘱咐寇谦之道：“你潜心道教，志向可嘉，但尘缘未了，七情六欲未断，难赴仙路。不过，如果勤奋努力，将来可做帝王之师，亦为大器。”
寇谦之聆听师教，不敢有丝毫怠慢。成公兴去世后，寇谦之守志嵩岳，精专不懈，并开始招收弟子，讲经施术，弘扬道教。
寇谦之在嵩山修炼达三十年之久，一副仙风道骨的神韵，他自知外形可以为国师，但内质上却空泛无几，要想更上一层，需在这方面下工夫。
于是，寇谦之决定要从道教本身动真格了。寇谦之经成公兴点化，悟出了上述道理，为此，他就自编自导了一场自己托天神降授的仪式。
北魏神瑞二年，寇谦之在嵩山少室石室托言太上老君在仙人玉女拥护、百灵导从之下，降临嵩山，告诉谦之道：“往岁，嵩山山神上奏天曹，称自从天师张道陵去后，地上修道的人无所师授。今有嵩山道士寇谦之立身直理，行合自然，堪处师位。吾故来授汝天师之位，赐《云中音诵新科之诫》，汝宣吾新科，清整道教，除去三张伪法、租未钱税及男女合气之术，专以礼度为首，而加服食闭炼。”
自此，寇谦之以天师身份，宣扬道教，并对天师道进行三整顿，使天师道以新的面貌在世间传播。
北魏明帝泰常八年，正当秋高气爽、晴空万里的金秋季节，寇谦之端坐石室，正诵《老君音诵诫经》，忽然少室山颠，云蒸霞蔚，灵光普照，在五彩缤纷的云上端坐着一位神仙，这是老君玄孙，上师李谱文降临。
寇谦之立