瑞云寺依山而建，背负山崖，面临深谷，寺周围群山环抱。据《江南通志》记载，寺院始建于晋；重建于唐；原名黄桑寺、“后随山改名为皇藏寺。传说当年刘邦藏身此山，吕后寻夫，远望山中一洞口白云缭绕，前往很快找到了刘邦。
《史记·高祖中纪》载：“吕后曰‘季所居上常有气云，故从往常得季”。”根据这一传说，宋端拱年间改寺名为瑞云寺。有碑记曰：“众山环合，卫基如城，间有古寺，名日瑞云。”现高悬寺门之上的“瑞云寺”匾额，字迹苍劲古朴，为清代安徽大书法家邓石如所题。
寺宇三层三院，共有房间九十余间。前院是藏经楼，雕梁画栋，图案精巧逼真，二门内为正殿，中庭宽广，佛像高大，厅堂宽敞堂皇，飞檐拱壁，气势雄伟；后院为僧房，清雅别致。整个寺院石级层迭，回廊交错，门楣多变。前院一颗参天银杏）历时一千三百多个春秋）依然绿荫如盖；一颗苍劲古桧，盘根虬于，枝叶扶疏。后院古柏挺立，一对父子银杏相偎成趣，厢房前金桂、银桂清香袭人。清人蒋佩曾宿此赋诗：“青鞋且趁夕阳晴，流水孤村画里行,远蟑钟鸣香阁迎，深林犬吠老僧迎。灯摇佛座三更梦，风卷松涛一院声。”