赵象系好香囊放入怀中，仔细地读完这封信，又担心佳人因幽思满怀而加重病情，于是他剪下一缕头发，写下一封短信：“春日迟迟，人心悄悄。自从看到你后，芳容便长萦梦魂。即使芳驾尘轻，你我二人终难会合。但面对丹诚皎日，我发誓要追求你。又听说你乘春多感，芳体不适，消损了冰雪容颜，使如惠兰般高贵的气息郁结。我忧悒至极，心中惆怅不能开怀。企望你能稍宽心情，莫致形容憔悴。宁愿你暂时失约，也不要让今后的诗篇短句无人相和。所以，你一定要多保重身体。我对你的思念之情，文字岂能写尽。现将拙作献上，姑且来继写您的华美诗篇。”信后又附上一首诗：
见说伤情为见春，
想封蝉锦绿娥困。
叩头与报烟卿道，
第一风流最损人。
武公业做差役公务繁忙，有时在府中过夜，有时又整日不归。
这天正遇武公业入府当值，步非烟打开赵象来信，慰藉自己烦乱的心绪。她叹息道：“公子的情思，正是我的心意。你我二人两情相悦，虽相距甚远又仿佛近在咫尺。”
于是关上房门，放下帷幔，给赵象写信：“我身世悲苦，六七岁时便失去父亲，后被媒人拐骗，将我嫁给这粗鄙之人。每到风清月朗之夜，唯有对月独酌，以遣内心愁苦。秋冬夜晚，帷帐下与孤灯相伴，直至天明我也无法排解心中烦闷。岂料公子垂青于我！公子的华美辞章让我思绪飞扬，对公子的诗句，我百读不厌。只恨此情难遣，无奈人理难越。恳请上苍赐予良机得以相见，我将九死不悔。赋诗一首聊寄此情。”诗云：
画檐春燕须同宿，
兰浦双鸳肯独飞？
长恨桃源诸女伴，
等闲花里送郎归。
写毕封好，叫守门人的妻子送给赵象。赵象看信后，料想步非烟定是相见之心迫切，便有些喜不自持。于是他净室焚香，静候佳音。
一天黄昏时分，武家守门人妻子又悄悄来到赵象房中。拜见过赵象后，她问：“赵郎想看神仙吗？”赵象很是吃惊，忙问其中缘由。守门人妻子便转达非烟的话说：“今夜武参军将在公府值宿，可谓良时，我家后院即是公子的门墙。望你不要违背先前之约，来与一见。静待公子。”
已是更深漏尽时分，赵象悄悄攀上梯子越墙来到武家院中，只见非烟早巳命人在下面放了一张大凳。步非烟靓妆盛服，默默立于花丛中。两人相互拜见，彼此心中欣喜难言，便牵着手悄悄从后门潜入卧室。二人背对灯光，解下帷幔，极尽缱绻之意。
天晓临别时，步非烟送赵象到墙下。她紧紧拉住赵象的手，含泪说道：“今日相遇，是前生缘分。希望公子不要认为我没有玉洁松贞的节操而对我薄情！我只是因为仰慕公子的风采不能自持，才以身相许，望公子谨记在心！”赵象抚慰道：“我不是那等轻妄之徒，决不会逢场作戏。承蒙垂青，永不相负！”说完急忙跨墙而归。第二天，他托守门人的妻子转交给非烟一首诗：
十洞三清虽路阻，
有心还得傍瑶台。
瑞香风引思深夜，
知是蕊宫仙驭来。
非烟看后微笑着又回了一首诗给赵象：
相思只怕不相识，
相见还愁
愿得化为松上鹤，
一双飞去入行云。
写毕封好交给守门人的妻子，并让她给赵象捎话说：“幸而贱妾有小小的诗篇，不然您的大作将如何展现其才？”之后每不到十天，步、赵二人就能相会一次，说尽心中的幽思，诉尽往昔缠绵的爱意。他们自以为有天人相助，鬼神不知。因此时而一同观赏景色，时而一起吟诗唱和，来往频繁不能细说。如此过了一年。
过了不久，步非烟多次因小事责打一个奴婢。这个奴婢怀恨在心，便寻机把两人私通之事告诉了武公业。武公业说：“你说话小心点儿，我会细查此事。”后来轮到武公业值班的日子，他一如往常向步非烟告假说要去府衙。到了晚上，他像往日一样走出家门，却又悄悄藏在里门之内。
街鼓响过，他偷偷潜入家中，沿着墙根走到后院。步非烟正倚户低吟诗句，赵象则倚墙斜视非烟。武公业怒不可遏，奋力跃起去抓赵象。赵象有所觉察，侧身跳开了。武公业追赶上去，却只来得及扯下他半个袖子。武公业回到房中，叫来步非烟盘问。
步非烟脸色都变了，声音颤抖，但一直不肯说出实情。武公业越发愤怒，便把步非烟绑到大柱子上，用鞭子抽打，直打得鲜血直流。步非烟说：“生若能相爱，死又有何遗憾。”深夜，武公业累了便先去歇息。步非烟叫来最亲近的女仆说：“给我一杯水。”水送来后，她一饮而尽，气绝身亡。武公业醒来后还要再打，却发觉她已死去多时。他解去步非烟身上的绳索，将她抬到屋内，连声呼喊，对外则声称步非烟暴病而终。又过了数日，他将非烟葬于北邙山。邻里都知道步非烟是被武公业打死的。赵象心中悲痛，于是更名改姓远遁江浙。
洛阳有两位颇具才气的青年，即崔生和李生。二人常和武公业来往，所以知道这件事情。崔生写诗来记述此事，诗的最后两句是：“恰似传花人饮散，空床抛下最繁枝。”那天晚上，崔生梦到步非烟向他道谢：“我的容貌虽不比桃李，但早早殒命。承君溢美之词，愧不敢当。”李生也为之赋诗，末句写到：“艳魄香魂如有在，还应羞见坠楼人。”那天晚上，李生梦到步非烟用手指着他说：“读书人有百行，你全具备了么？为何仗着会写几句歪诗就来如此诋毁我？实在应当委屈您到地府验证一下。”几天后，李生死去。当时人们对此都惊异不已。