智顗當天夜里，住到城外的禪眾寺，楊廣又讓諮議參軍柳顧言“致書請留，待來年二月，約至棲霞送別”。棲霞寺是南京的一個大寺，至今仍在。于是智顗只好在城外住了幾個月。

據(jù)說和楊廣不合作的，并非智顗一人，蘇州虎丘的智顗琰進了慧日道場，不久也回山了。

雙方在較量中，都表現(xiàn)出足夠的耐心。數(shù)月中，楊廣遣人送書，要師父不要走，還要柳顧言送禮物。請智顗在攝山度夏。僧人們夏天有三個月不出門，在廟里度過?？赡軓挠《葌鱽?，印度酷熱，因此有這習慣。但智顗還是不愿意留，又要回廬山東林寺，并請楊廣為“東林峰頂兩寺檀越（施主）”。

楊廣答應(yīng)下來，智顗又回到廬山。

智顗回到廬山，看到山下驛站，人員來往很雜，鬧得山下寺廟很不清靜。就致書楊廣，楊廣即付有司，“勒彼州令去公私使命，不得停止”。有楊廣的命令，不管公私都不能在那里停留，寺廟安靜了。

七月，楊廣派人送去鹽米，但智顗卻上衡山，拜謁師父的墓去了。楊廣知道后，又致書請智顗到江都做住持。智顗不做理會，十二月回到了家鄉(xiāng)。家鄉(xiāng)人扶老攜幼到戒場去看望，智顗講經(jīng)，聽眾有四五千人，是荊湘之地從來沒有過的。

智顗還在當陽縣玉泉山建立精舍，重修十住寺，打算住在這里不走了。

據(jù)說這里本來十分荒涼偏僻，野獸蛇暴經(jīng)常出沒，創(chuàng)寺之后，決無憂患。是年春夏大旱，老百姓都說是神發(fā)怒，智顗親自跑到泉源呼風喚雨，使謠言自滅。

他的動靜很大，引起了荊州總管達奚儒的注意。再聚法會時，遭到荊州的干涉，勒令解散。

智顗只好又給楊廣寫信，請楊廣做玉泉的大檀越，楊廣再次同意。后楊廣又寫信給達奚儒，請他對智者及所修玉泉寺多加關(guān)照。楊廣說了話，達奚儒也不好再橫加干涉，情形才轉(zhuǎn)好。