唐代人王榭，为金陵人氏，家业巨富，祖辈以航海为业。一天，王榭准备好了一艘大船，准备航海到大食国。航行了一个多月，忽然间海风大作，惊涛齐天，阴云如泼墨，巨浪像奔山，鲸龟出没不定，鱼龙时隐时现，吹动波涛，鼓起海浪，不知道到底有多少。风势越来越大，巨浪推来，船上人就像飞上九天之高，大浪退回，船只犹如堕于海底。全船的人被抛起而又落下，落下而又跌倒。不久，船被毁坏了，独独王榭附在一块木板上，随着风涛飘荡。睁开眼，只见鱼怪在他左边出没，海兽在他右边浮动，它们瞠目张口，像要把他一口吞吃下去。王榭只有闭目等死而已。
三天之后，王榭漂流到一块陆地边。他舍板登岸，才走一百多步，便看见一对老公公和老婆婆，他们都穿着黑色的衣服，年龄有七十多岁。看见王榭，他们高兴地说：“这是我们的小主人呀，为什么会来到这里？”王榭以实相告，两位老人便引他到他们家。坐下没有多久，说：“主人远道而来，必定饿坏了。”便给王榭进上食物，菜肴全都是海鲜。
一个多月过去了，王榭体力方才恢复，饮食如同往常一样。老公公说：“凡是来到我们国家的人，一定要先去拜见我们的国君。前些日子因你身体疲困，不可能前往，现在可以了。”王榭答应了。老公公在前带着他，走了三里多路，经过的市区百姓居处，也非常热闹。又走过一座长桥，才看见了宫室、亭台连续相接，就像是王公贵族的居处。来到大殿门口，守门人进去通报。不一会儿，一位妇人出来，服饰很漂亮，传话说：“国王召君入见。”国王坐在大殿上，左右站立的都是女人。国王穿着黑色的袍子，头戴一顶鸟形的王冠。王榭来到殿阶前，国王说：“你是从北边海上来的人，不受我的统制，不用叩拜了。”王榭说：“既然来到您的国家，岂有不拜之理？”国王也弯腰答谢。国王很高兴，召王榭上殿，赐坐，说：“这里是僻远的小国，您因为什么到的这里？”王榭便将风大涛怒，船只毁坏，无意中到了这里的事说了一遍，恳求国王怜惜。国王说：“您住在何处？”王榭说：“现在居住在一位老公公家。”国王命令赶快把这老公公召来。老公公到了后，对国王说：“他是我家乡的主人，凡事我都不会不让他如意的。”国王说：“有所需要的，尽管奏来。”于是老公公将王榭带走，还是居住在这老公公家。
老公公有一女儿，非常美丽。有时进茶进饭，常在帘帷窗户间偷看顾视，没有什么避忌之意。老公公一天请王榭饮酒，喝到一半时，王榭对老公公说：“我现身居异乡，赖你二老存活下来，使我虽在旅次中而又不失有家庭的温暖，你老的德行确是非常的深厚。但我离乡万里，孤独一身，自怜孤苦，寝不成寐，食不成甘，让人觉得郁闷不乐。只怕染成疾病，卧床不起，给你老招来负累。”老公公说：“我正想给你说一件事，又怕轻率而冒犯了你。我有一小女，年方十七，是在主人家时出生的。我想把她许配于你，以结秦晋之好，多少能宽解你羁旅异乡的愁怀，不知你认为怎么样？”王榭回答说：“这好极了。”老公公便选择了吉日，备办好婚礼之物，国王也送了酒肴彩礼祝贺他们结成百年之好。成亲之日，王榭仔细地打量这女子，只见她有双美丽的眼睛，细细的腰，杏脸青发，体态轻盈，飘然欲飞，姿色艳妖，情态万种。王榭询问她们的国名，女子回答说：“这是乌衣国。”王榭道：“老公公常把我看作是他的小主人，我却不认得他，也不曾差遣他办事，为何称呼为主人呢？”女子说：“时间久了，你自然知道。”之后，他们常在一起宴饮欢乐，但在枕席间，这女子却常常眼含泪水，依偎着王榭，愁眉紧锁。王榭问道：“你这是为什么？”女子说：“恐怕不久我们就要分别了。”王榭说：“我虽飘泊寄居此地，但得到你后，也已忘了归去。你为何说我们将要离别？”女子说：“凡事总有由命数所定，半点由不得人埃”一天，国王在宝墨殿宴请王榭，各种器皿、摆设都是黑色的，安置在亭下的乐工也是如此。酒过数巡，音乐声起，乐音非常清丽委婉，只是不知是何曲子。国王命取来玄玉杯劝酒，说：“到过我们国家的，古今只有两人，一是汉代的梅成，再就是现今的足下。希望能得到你的一篇诗，成为以后的一段佳话。”国王令人拿出诗笺，王榭作诗道：
兴建船泊是祖辈基业，
万里航行已惯常为客。
今年不知时运见衰微，
途中偶然遭遇此险厄。
巨大风浪急急如追兵，
千重乌云沉沉像墨色。
鱼龙吹浪洒来满面腥，
全舟之人尽葬鱼龙宅。
地狱阴火连天紫焰飞，
让人疑是浪天相打拍。
长鲸目光连映半海红，
大龟巨头抛浪同天白。
桅樯倒折迅刻沉海底，
声音如雷霆把天地别。
我随神力相助不沉沦，
一块木板漂来此岸侧。
虽是君王恩重频赐宴，
无奈漂泊之人自凄恻。
抬头望乡原涕泪如雨，
恨不得此身长出羽翼。
国王看完诗，心中很是欣喜，说：“您的诗写得很好，只是不要苦苦怀念家乡，不久，当让你归去。虽然我不能让你身上长出羽翼，但我可以让你乘着烟雾回去。”宴罢回来，各人都作了诗歌相和。这女子说：“你在诗歌中的末句为什么要讥嘲我呢？”王榭也不明白其中道理。
不久，海上风和日暖。女子哭着说：“你归去的日子快到了。”此时国王派人对王榭说：“您某日就可以回去，现在可以同家人道道别情了。”女子安排下酒宴，但却只是悲泣，说不出话来，那神态就像雨水冲洗后的娇花，露水沾湿的弱柳，真个是绿惨红愁，香消体瘦。王榭也觉得非常地悲伤。女子作了首告别诗，说：从来欢乐聚会只怕少，自古男女恩爱最终希今夜孤帐留下千年恨，梦魂牵绕应逐北风飞。
女子又说：“我从此不再渡海到北边去了。如果使你看见我不再是今天的样子，你将会憎恶我，哪有时间来怜爱我。我见你也会生出嫉妒之情。现今我不再北渡，愿老死在我的故乡。这里所有的东西，你都不能拿走，这不是我舍不得。”女子令侍女取来一丸灵丹，说：“这灵丹可以召还人的神魂，死去还未超过一个月的人，都可以使他复活。
方法是用一块明镜放在死者胸上，把灵丹安放在颈项上，再用东南方的艾枝作柱来灸烧，死者立刻活过来。这灵丹是海神秘藏而珍惜之物，若是不用昆仑玉盒装上，就不能渡越大海。”刚好女子有玉盒，女子交给王榭并把它拴在王榭的左臂上。然后两人大哭而别。国王说：“我国没有什么东西可赠送你的。”便取来纸笺，作诗道：
当初乘大船向南海航来，
漂流至此偶然作我乡客。
从此你我相见不再有期，
万里风烟迷漫云水相隔。
王榭告辞拜谢。国王命人取来飞云轩。飞云轩送到，原来是一鸟形的毡兜子。让王榭进入毡兜后，国王又命取来化羽池中的水，洒在王榭乘坐的毡兜上。又召来老公公、老婆婆两人，让他们扶助王榭归去。国王告诫王榭说：“你应当紧闭双目，很快就到了你家。不这样，即会堕入大海。”王榭闭上了眼睛，只听得风声、怒涛声在耳边掠过。
过了一段时间，王榭睁开眼睛，已然回到了自己的家，坐在家中堂上，王榭向四周看去，不见一人，只见屋梁上有双燕子在呢喃私语。王榭向上看去，才知自己曾经居住过的国家是那燕子国。不一会儿，家人出来慰问，都说：“听说你的船被大风狂涛毁坏，已经死了。为什么又突然归来了呢？”王榭说：“只有我一人抓住一块木板而活下来。”王榭也不告诉他们自己曾居住过的那一国家。
王榭只有一个儿子，他离家时才三岁。此时不见儿子，问家人，家人说：“死去已经半个月了。”王榭伤感哭泣不已，忽然想到女子所说的有关灵丹的话，命人打开棺材，取出尸体，按照女子所授的方法烧灸，儿子果然又活了过来。
到了秋天，二只燕子即将离去，它们悲鸣在庭户之间。王榭用手一招，它们飞来停站在王榭的手臂上。王榭取来纸笔，用小字写了一首绝句，系在燕子尾巴上，诗中说：
误到华胥神奇国里来，
娇美的人终日特怜才。
飞毡飘去从此无消息，
临风洒泪不知几百回。
来春燕子归来，直接落在王榭的手臂上，燕子尾巴上有一小纸柬。
取来一看，上面写有一首诗，是一首绝句。诗说：
从前的相逢真是命数相合，
而今的两地隔绝却是生离。
来年春天你纵寄来相思字，
阳春三月天南已无燕子飞。
王榭深自感到怨恨不已。第二年，燕子果真不再飞来，这件事也便流传在众人的口中，因之把王榭居住的地方称为乌衣巷。刘禹锡《金陵五咏》中有一首《乌衣巷》诗说：
朱雀桥边野草花，
乌衣巷口夕阳斜。
旧时王榭堂前燕，飞入寻常百姓家。
从此便可知道王榭的故事确实不是虚假的。