灵裕推辞说：“都统所需的德行，并不是我灵裕这种德行，都统所需的才能，也不是我的才能。既然我的德才都不是都统所需的，这事我确实难以从命。”
灵裕又请求到燕赵弘法。
灵裕在燕赵五年间，弘法遍及各地。
开皇十一年，文帝敬仰佛教，要请高僧到京城弘法。
文帝听说灵裕名满天下，于是下诏说：“尊敬的相州大慈寺灵裕法师，我尊崇三宝，归依佛法之心真切。愿意弘扬佛法，保护佛教。法师德行精深，理义渊博，通晓佛典，能够引导众生，道俗尊敬。我想把京师做弘扬佛法的福地，让天下人归慕，让四方人都以它为中心。因此，想请法师与我共建弘法大业，法师应了解我的意思，早日入京。”
开皇十年，灵裕曾在洛州灵通寺的院子里得一封信，上面预示着灵裕未来的命运，说他要在咸阳遭厄运。
现在灵裕得到文帝的诏书，他想厄运可能要来了，因为京城毕竟距咸阳不远。
灵裕当时可以借口患病不去，可他又想这是弘扬佛法的好机会，就不顾信中所示，步行向长安进发。
灵裕到长安后，皇帝派人前去慰问，让他住在兴善寺。
文帝又下诏让有司召集全国有声望的僧人，商议统一佛教的事。
众人商议时都表示赞同。灵裕却说：“佛家各派本来是相通的，只不过是各奉佛典不同罢了？哪里用得着这样呢？”
灵裕又觉得在长安弘法有所不利，就上表文帝，请求回去。
文帝看过表奏，答应他的请求。
此时，仆射高频等仍想建立佛教的大一统，又上表文帝让灵裕留下。
灵裕得知此事，非常气愤：“一国之主，本不应有二言。现在又让我留下，这于情理不通。”
灵裕又对门人说：“帝王大臣，我不想离他们太近，那样只能使他们侮辱你，而且轻视佛法。离他们远一点，却可以让他们对你尊敬一些。我考虑再三，才做出这样的决定。”
接着文帝又三次传旨，请灵裕商讨一统之事，灵裕借故推辞。
不得以，文帝对大臣功威说：“我知道灵裕法师刚正梗直，是一个想得到自在的人，我们不应该强迫他。”
于是文帝又传旨，让左仆射高频、右仆射苏威、纳言虞庆则、总管贺若弼等人，前去拜访灵裕，宣读了文帝的圣旨，代文帝改忏罪。
同时，赐给灵裕绫锦三百匹，而且为他在山中建寺，文帝亲自题