相传十六罗汉之第五尊者诺矩罗为雁荡山开山之祖。诺矩罗原是一名勇猛的战士，后来出家，佛祖让他静坐修行，以摒弃当兵时的粗野性格，后修成罗汉。

据佛典《法住记》记载，早在晋永和年间，阿罗汉诺矩罗率三百弟子居雁荡山。 唐朝名僧贯休作《诺矩罗赞》，有“雁荡经行云漠漠，龙湫宴坐雨蒙蒙”之句，从一个侧面印证了诺矩罗在雁荡山修行之说。