崂山下清宫，美丽幽静。院内有耐冬树木高达两丈，大数十围；一株牡丹高达丈余，花开时节璀璨似锦。
胶州黄生在崂山下清宫读书。一天，黄生正在窗下读书，读得久了，有些疲惫，于是向窗外观看。忽然发现有一穿着素衣的年轻女郎，掩映在百花丛中。他心中疑惑：这深山古寺怎么会有这少女出现呢？于是开门出去，想看个究竟，又哪有女郎的影子？从此，黄生经常看见这素衣女郎，但每次都找不到她。于是黄生决定偷偷的隐身树丛之中等候着女郎的到来。不大一会，果然见那素衣女郎和一位红衣女郎来了，远远地望，具可谓艳丽双绝。她们二人慢慢地越走越近，忽然，那红衣女郎向后退了两步，说：“不好，这里有生人！”说着，就要离开。黄生怕错过这次见面良机，急忙从树丛中钻出来。两位女郎大惊，急忙往回奔跑，袖裙飘拂，香气洋溢，沁人肺腑。黄生追过一堵短墙，发现她们已踪影皆无。黄生对女郎的爱慕之情更加强烈，于是取来笔硕，在树下题短诗一首：
无限相思苦，含情对短窗。
恐归沙吒利，何处觅无双。
黄行回到房间，苦思冥想，心中久久不能平静。忽然，那素衣女郎推门进来，黄生又惊又喜，急忙站起身来迎接。她微微一笑，说道：“看你刚才简直象个气势汹汹的强盗；看了你的诗，才知你乃骚雅之士，不妨相见。”黄生受宠苦惊，急忙问女郎的生平。她说：“我名叫香玉，原是洛阳人氏。只中被宫中道士强迫来这里，其实并不是我的愿望。”黄生问：“那道士叫什么名字？我一定为你排忧解难。”女郎说：“不必了，其实道士也不敢强逼我什么。在这里若能够长期和你幽会，也好啊！”黄生又问那红衣女郎，她说：“她是我的干姐姐，名叫绛雪。”
二人越谈亲密，情意缠绵，不觉曙色已红。香玉急忙起身，临走说道：“我作了一诗，以酬君作，你不要笑我啊。”于是念道：
良夜更易尽，朝暾已上窗。
愿如梁上燕，栖处自成双。
黄生听说，情不自禁地握住香玉的手腕，说：“你真是秀外惠中，令人爱而忘死啊。想到你匆匆离去，真如千里之别。你有时间一定要来，与我相会。”香玉答应了他，从此，每天夜里必来与黄生相会。黄生多次请香玉邀绛雪同来，但绛雪总不来，黄生颇有怨恨。香玉说：“我姐姐性殊落落，不象我那么情痴。让我慢慢地劝她，你不要着急。”
一天晚上，黄生见香玉含泪而来，哭泣着说：“大祸临头了。今天我就要和你永别了。”说着，以袖试泪。黄生急忙追问究竟，香玉说：“此乃天间，难以给你说明白。”黄生再问，香玉只是呜咽，什么也不说。直到天明，香玉才恋恋不舍地走了。黄生感到非常奇怪。
第二天，即墨县一位姓蓝的人带人来下清宫游玩，见到院中有一株白牡丹，非常喜欢，就向寺里的人索求，于是说把棵白牡丹掘出来移走了。黄生这才悟到，香玉是牡丹仙子，于是非常惆怅惋惜。过了几天，他听说蓝氏把白牡丹移到家中，枯萎了。他伤心至极，作了《哭花》诗五十首，每天都要到牡丹穴处凭吊。
有一天，黄生凭吊方回，回头看见红衣女郎绛雪挥泪穴侧。黄生慢慢地走近她，她也不回避。黄生于是请她到屋里去坐，绛雪答应了。她叹息说：“可怜我们姐妹，一朝断绝！听说你悲不欲性，更增加了我的悲恸。假如亲人的眼泪能堕入九泉之下，也许可使香玉再生的吧。可她已死多日，神气已散，怎么能马上与我们两人共谈话呢？”黄生说：“都怪我命薄，妨害了情人，维道就没有办法了吗？”绛雪说：“我总认为年少书生，十之有九都是爱不专一的；没想到你是这样痴情地爱着香玉。我来此，也是敬慕你这种美德，而不能代替香玉与你共寝眠啊。”说完就要告别而去。黄生说：“香玉长离，使人寝食俱废。如果你能陪伴我一会，也可使我稍微感到宽慰，你怎么如此决绝无情呢？”绛雪只得陪伴他消愁解闷，天明才离开。
从此，好几天，绛雪没有再来。黄生苦怀香玉，辗转床头，泪湿枕席。这一天，冷雨幽窗，黄生更难入眠。他披衣而起，在灯下吟诵：
山院黄昏雨，垂帘坐小窗。
相思人不见，中夜泪双双。
写毕，他忽听窗外有人道：“作诗不能无有唱和。”听话音知道是绛雪来了。开开门让她进来，绛雪看了诗即刻续吟道：
连袂人何处？孤灯照晚窗。
空山人一个，对影自成双。