宋代泉州太守叶廷珏在《海录碎事》中写道：“(紫帽山)泉之案山也，与清源南北对峙。
清源之奇以石，紫阳之秀以峰。紫帽山十二峰，主峰左峰之南有金粟洞，唐德宗时道士郑文叔(道号元德真人)在此修炼。紫帽山留有丹炉、试剑、仙迹、仙拳诸山名，又有古元室、小丹邱、金地院等古迹。
郑文叔在金粟洞修炼，曾有个神奇的传说：有个泉州人到河南洛阳旅行，碰到一个道士托他带一封信给郑文叔。此人回泉州后把信递交了，郑文叔送他半升粟表示酬劳。他回家后一看，这半升粟都化成金粟了。这一神奇的故事传遍了远近，金粟洞也因此而得名。
唐代以后，金粟洞一直是道士修真练性的地方。宋代有名的道号去华的道士续居于此。隐居于武夷山被封为紫清真人的白玉清蟾(闽清县人)，十分仰慕元德真人，特云游来泉，登临金粟洞并赋诗凭吊，末句写道：“忆着仙人郑文叔，泪随夕照落平林”。宋宁宗皇帝曾御书“金粟之洞”刻于石以存世，清人诸葛璐诗中还有“御书金粟字仍存”之句;可惜如今这石刻已不见了。此外，关于郑文叔“金粟”传奇之事，在历代文人登紫帽山的纪游诗中多有提及。
金粟洞原是道家修炼处所，但到了清代已成为佛家寺院，从清人咏紫帽山诗中对此已有所反映。如陈庆镛诗中写道：“俯瞰指金粟，僧来最上迎”，黄元骥写道：“金粟仙迹何处觅?空余古洞草萎萎”，黄朝阳也写道：“仙人不可见,犹有古诗迹”。
现存的金粟洞寺院，是清宣统二年(一九一○年)由和尚重建的。寺门横额“金粟洞”三字是举人曾遒所书。石垛屏上刻着清人诸葛璐诗的，是进士黄搏扶所书。寺内有数对由举人龚显鹤撰句的对联，分别由曾遒、黄搏扶或蔡谷仁(贡生)所书。