在广州，提起西关小姐和东山少爷，无人不知。这里放下西关小姐不提，单说东山。东山所在地最开始只是一片荒草地，叫东山岗，传说是因明成化年间一个很有权势的太监韦眷建了一座寺才得名的。这寺最初叫永泰寺，后来改叫东山寺。
韦眷进宫后就巴结皇上的宠妃万贵妃，最终如愿当上了广州的市舶使，专门管理进出国门的船只。这个职位是个肥差，为了留个好声名，富得流油的韦眷信起佛来，他在荒坡地东山岗起了一座寺庙，说要拜佛行善，普济众生。
到了弘治年间，韦眷想把东山寺扩大，孝宗皇帝恩准了，派新科状元伦文叙监寺，管理修建事宜。伦文叙不待见韦眷，听他说要将龟岗、烟墩岗、竹丝岗、马棚岗一带方圆三四里地都划归到东山寺，他说什么也不肯答应。
韦眷拿出了一块价值不菲的青玉石去贿赂伦文叙。不出所料，伦文叙不吃他这一套，甚至说：“你以为我是当年的万贵妃？”韦眷谄媚地说：“伦大人，且听我讲一个故事，你就会对这块玉石感兴趣了！”伦文叙同意了。
韦眷的口才好，三言两语就让伦文叙入迷了。原来，此石来历非凡。广州一向有“未有羊城，先有光孝”的说法，因为光孝寺是“岭南第一古刹”。这个古刹后园里有空房，租给一位书生住，书童去水池洗一方端砚时，砚台滑落，下水捞砚时，捞到一方青绿石板。由于石板晶莹可爱，书生把它放到博古架上，不料一外国客商无意中看见，执意要买。书生不舍，就只卖了中间的部分给他。客商付款后，请来玉工切开验看，发现是一幅天然的《山河浴日图》。外商喜不自禁，带着这幅石画回国，还没出广州的珠江，就遇上了巨浪，船翻了，全船人无一生还。
伦文叙听愣了，问道：“你手上拿的是《山河浴日图》？”韦眷神秘地说：“如果我没看走眼，比那幅图还要稀罕！”伦文叙的好奇心被勾上来了，当即招来广州最有名的玉石工洪夫子现场切开看下究竟。
洪夫子围着青玉石转了几圈，说：“伦大人，这玉石切开以后，恐怕祸福难料啊！”伦文叙说：“你只管切开，此石系天然形成，祸福自有天定。”
洪夫子凝神瞄了一会儿玉石，郑重其事地燃了香拜了三拜，说如果没看错，这幅图当是天下第一图！他一边说，一边把玉石表面掀掉了一个角，竟是几缕霞光。本来三人是关在一间小客厅里切割的，光线不是特别亮，但现在石中的霞光照射出来，屋里笼罩在一层柔和的红光里。等到整个面画露出来，只见主景龙飞凤舞，一把龙椅精雕细刻，富丽堂皇。画面远处的霞光下面，隐隐是金碧辉煌的宫殿。说也奇怪，看了这幅图，叫人心中涌上来的全是青云直上、坐享天下的念头。
伦文叙努力克制住心头涌动的强烈欲念，顺手扯过一块红布将画面盖住，说：“确是奇图，不要外传！”韦眷知道，这表示伦文叙收下他的大礼了，也就放了心。
第二天，寺庙里重塑菩萨，韦眷异想天开，授意工匠把自己的形象也雕进去。伦文叙一门心思放在寺外的扩建上，没有发现韦眷歹毒的心思，等他发现时已晚了，想把韦眷的塑像拆下来吧，但牵一发而动全身，太费工时和材料，只好算了。韦眷看他好说话，又跟他重提扩建的事。
伦文叙只答应扩建到寺外二十丈，韦眷很不高兴，拿出圣旨，尖着嗓子说：“状元爷！皇上说要建一座大寺给我养老，如果方圆没有三四里路，怎么说得上大呢？”伦文叙说：“最多给你方圆三十丈！”两人不欢而散。
韦眷心想，真是敬酒不吃吃罚酒，于是派了快马，去找他在宫内的师傅梁芳，直接告御状，想置伦文叙于死地。添油加醋说伦文叙偷了建寺用的玉石，私下刻制龙椅图，大有犯上谋反之心。
孝宗皇帝派了钦差大臣来办龙椅图一案。见了钦差，伦文叙辩解道：“大人，这《龙椅图》是韦眷送给我的！”韦眷冷笑道：“谁能证明是我送给你的？我有这个好宝贝，为什么不直接献给皇上呢？”伦文叙说洪夫子可以证明。
洪夫子早已被韦眷派人干掉了！他正在得意，不料伦文叙一击掌，进来一个玉石工人打扮的人，说：“我就是洪夫子，我可以给伦大人作证，那幅《龙椅图》确实是韦大人亲手送给伦大人，叫小的上门来切开的。”
“这人并不是洪夫子！”想到这儿韦眷冷笑道：“假的，你哪是什么洪夫子？”伦文叙说：“那你是认识真正的洪夫子了？钦差大人，韦大人既然认识真的洪夫子，那这个切开《龙椅图》的事，他就从头到尾都知道，就可以证明不是我私下刻制的。”那个玉石匠悲愤地说：“韦大人说得对，我不是洪夫子，我是洪夫子的女婿，我丈人被人不明不白地绑上石头沉到珠江里去了，石头滑落人漂起来才发现被害了！”
钦差大人看不惯一个太监作威作福修寺养老，就顺便审起韦眷来，把他审了个无法自圆其说。到了晚上，韦眷选个没人的时机，溜出去给钦差大人送了厚礼，诬告状元郎的事才算不了了之。
钦差大人想得到那幅《龙椅图》，好带回去献给皇上，这样皇上就会认为他办事得力。于是他问起《龙椅图》的事，伦文叙说：“那玉石画非凡间所有，是天地间的造化，我不敢独享，之所以收下玉石画，是担心韦眷拿去送人害了别人。我将它放在寺内水池假山下面了，月圆之时，假山下会有五彩光呈现，十分神奇。这玉石原是光孝寺池下之物，说不定是受了很多佛经超度的，所以才有这么神奇。凡人带在身边，怕是会惹祸上身，您也看到了，我不就为它惹来祸事了？”
他说这些话，是指望钦差大人打消拿走《龙椅图》的意图，不料他越说，钦差大人越好奇。
这天上午，钦差大人趁伦文叙出门办事，和韦眷一起指挥工匠把假山拆了。工匠拿玉石时手一滑，玉石掉在地上摔成了几片，毁了！没办法，钦差大人不想起争端，赶紧叫工匠把假山恢复原状，暂时瞒过了伦文叙。当晚是月圆之夜，假山不再有五彩毫光呈现，伦文叙仔细查看，发现假山已被动过，心知《龙椅图》毁了，心痛莫名，又无法找钦差大人发火，只是自己摔了几个杯子出气。
经过这一闹，伦文叙心力交瘁，不想再跟一个太监纠缠下去，就按韦眷的要求，将寺大面积地扩建了。
回京交差时，伦文叙都快走到清远了，发现后面烟尘滚滚，只见韦眷打着快马追了上来，说：“状元爷，东山寺的牌坊还没建呢？”伦文叙没好气地说：“你咋那么多事啊？你想建在哪儿啊？”韦眷说离寺越远越好！
伦文叙用马鞭在地上一划：“越远越好是吧？好！牌坊就在此！”结果，东山寺就成了这样一个奇特的地方，寺庙在广州市区，牌坊却在清远，两者横跨了几个县。
韦眷的坟墓就在东山寺的旁边，里面的珍宝陪葬品早已被盗窃一空，就连韦眷本人尸身也被盗墓者抛在光天化日之下，灰飞烟灭，魂飞魄散了。