传说五台最早是道家的地盘，《道经》里称五台山为紫府山曾建有紫府庙。《清凉山志》称佛教的文殊菩萨初来震旦（古代印度人称中国为震旦）时，居于石盆洞中，而石盆在道家的玄真观内，这说明当时五台山为道家所踞。
佛教最初传入我国时，只有少数人奉行。公元前二年，大月支国（原居我国新疆西部伊犁河流域的少数民族，西迁中亚后建立的国家）国王的使者伊存来到当时中国的首都长安（即今西安），他口授佛经给一个名叫景卢的博士弟子，这是中国史书上关于佛教传入中国的最早的记录。
佛教传入五台山，普遍的说法是始于东汉。史籍记载，永平十年（公元67年）十二月，汉明帝派往去西域求法的使者同两位印度高僧迦叶摩腾和竺法兰来到洛阳。
永平十一年在洛阳城西雍门外御道之南，建造一座僧院以供主两位印度高僧居住为纪念白马负经（《四十二章经》）输像（佛像）之功，因名白马寺。
永平十一年，迦叶摩腾、竺法兰从洛慢来到了五台山（当时叫清凉山）。由于山里很早就有阿育王的舍利塔，再加上五台山又是文殊菩萨演教和居住的地方（相传峨嵋山是普贤菩萨、普陀山是观世音菩萨、九华山是地藏王菩萨演教和居住的地方），他二人想建寺，但由于当时五台山是道教根据地，他二人颇受排挤奏知汉明帝。据《国史旧闻》第一册五0二页载：“永平十四年正月十五日，明帝集诸道士于白马寺，使与摩腾、竺法兰二人塞法”。双方达成协议－－约期焚经，以别真伪（相传，焚经地点在今西安焚经台）。焚经的结果，道教经文全部焚毁，佛教经文却尚未完全烧尽，他二人获得建寺的权利。台内山多地广，河流纵横，何处建寺适宜？《清凉山志》载：“在大塔左侧，有释迦佛所遗足迹，其长一尺六寸，广六寸，千幅轮相，十指皆现”。相传他二人不仅发现此足迹，而且还发现有“舍利”，再加上营坊村这座山的山势奇伟，气象不凡，和印度的灵鹫山（释迦佛修行处）相似。由于这三种原因，故决定在此建寺。寺院落成后，寺以山名－－灵鹫寺。汉明帝刘庄为了表示信佛，乃加“大孚”（即弘信的意思）两字，因而寺院落成后的全名，叫做大孚灵鹫寺。大孚灵鹫寺是现今显通寺的前身。从那时起，五台山开始成为中国佛教中心，五台山的大孚灵鹫寺与洛阳白马寺同为中国最早的寺院。
南北朝时期，五台山佛教的发展出现第一个高潮。北魏孝文帝对灵鹫寺进行规模较大的扩建，并在周围兴建了善经院、真容院等十二个寺院。北齐时，五台山寺庙猛增到二百余座。到了隋朝，隋文帝又下诏在五个台顶各建一座寺庙。即东台望海寺、南台普济寺、西台法雷寺、北台灵应寺、中台演教寺。也因为五台山是文殊菩萨演教的地方，所以这五个台顶上的寺庙均供奉文殊菩萨，但五个文殊的法号完全不同：东台望海寺供聪明文殊、南台普济寺供智慧文殊、西台法雷寺供狮子文殊、北台灵应寺供无垢文殊、中台演教寺供孺童文殊。从此以后，凡到五台山朝拜的人，都要到五个台顶寺庙里礼拜，叫做朝台。此时五台山之名已经大量出现在北齐史籍之中了。
盛唐时期，五台山佛教的发展出现了第二个高潮。《华严钞》载：“自太宗至德宗凡九帝（公元627－805年）莫不倾仰灵山，留神圣境，御札天衣，每光五顶……不可悉记。”这个期间据《古清凉传》全山寺院多达三百所，有僧侣三千多人。此时的五台山，不仅是我国著名的佛教名山之一，而且是名副其实的佛教圣地了，被誉为我国四大佛教名山之首。
五台山佛教的发展，并非一帆风顺，北魏太武帝太平真君七年（公元446年）、北周武帝建德三年(公元574年）、唐武宗会冒五年（公元845年）、后周世宗显德二年（公元955年），所谓“三武一宗”，由于他们不信佛，曾经四次大灭佛法，全国不少佛教寺庙遭到了毁坏，五台山也不例外，所有的寺院几乎被焚毁殆尽，仅留下一座边远小庙南禅寺。后来，唐宣宗虽大兴佛法，五台山因元气大伤，难以复原。到了北宋，台内、台外寺庙仅存七十二所。北宋的太宗、真宗和仁宗信奉佛教。这三个皇帝留在五台山上的“天书玉札”就达三百八十多轴。元至明初，五台山的寺庙建筑又有所恢复。
明清时期，五台山佛教再度振兴，出现了第三个高潮。清代各帝，均信佛法。康熙时，还在台怀、射虎川和南台等地营建行宫，每隔两三年必朝山一次。乾隆时也是如此，直到嘉庆中年以后，才不复继续下去。民国年间，仍有善男信女布施钱财，修建寺庙。据一九五三年成立的“五台山古迹保护所”调查，台内、台外、台顶、台下青庙有九十九座，黄庙有二十五座，共计一百二十四座（《五台山导游》一书，有124座寺院的名称表）。在抗日战争前，通常冬季五台山有僧尼一千余人，夏季的二千余人。日寇侵占五台山以后，许多僧尼逃走，五台山佛教骤衰。一九四六年五台山解放后，这座举世闻名的佛教名山才真正回到了人民手里。一九五二年，政府拔款对五台山的古迹进行整修。一九五三年，又正式成立了五台山古迹保护所，对寺庙建筑和名胜古迹有重点在进行保养和修缮。在这方面，五台山民族事务委员会和宗教事务委员会，作出了很大努力。使得五台山这位历经沧桑的历史“老人”，如今能以新的姿态，新的面貌迎接慕名而来的中外游客。