唐肃宗初年，适逢元宵佳节。沧州虽历经战难，却也张灯结彩，鼓乐喧天，一派喜庆景象。不管是士族大夫还是平民百姓，都上街观赏花灯。
但贺俊却全无此心情，他因战乱流落到沧州，恰遇表哥张二官人在沧州开客栈，便寄居在表哥家内。看着屋外街道上喧闹开心的人群，他只觉心情越发烦躁。
好不容易挨到黄昏，贺俊再也坐不住了，只好上街散散心。街上来往游人很多，贺俊不觉间走到了白云观，信步走进观内。殿堂内有个道长在化香油钱，口里不停地念：“诸位布施香油之资，祝延福寿。”
贺俊听他口音像是洛阳人，便问他家在哪里？道长回说他原属洛阳下清宫，今逃到此观。贺俊他乡遇故人，心绪有所好转。
第二天晚上，贺俊又往白云观寻找昨夜道长，却不想那道长今日不在。无聊之下，便在街道上闲逛。
没一会儿，一辆大车迎面驶来，车后跟随数十名仆从、侍女。其中有个紫衣妇人，眼佩银鱼，手持绢巾，用丝巾围着脖颈，看着深觉眼熟。再仔细一看，觉得很像结拜哥哥吕程之妻柳慧茹。紫衣妇人也看见了贺俊，四目相视，那妇人显然也是认出他了，不过不知为何却不敢相认。
于是，贺俊尾随车子来到了醉云楼，车子驶入楼中，车中贵人上楼安坐，仆从和侍女坐在楼下。贺俊等那贵人上楼后，才在楼下找个僻静处坐下，叫声：“伙计!”
伙计走过来一见贺俊，低头便拜。贺俊不知缘故，连忙扶起。一看之下认出是洛阳慧远楼伙计陈三儿。心中一阵惊喜，便叫陈三儿坐下，取出五两银子吩咐荤素酒菜端来，与他边吃边聊。
贺俊问陈三儿为何会在此地，陈三儿回说：“洛阳战乱，我逃到沧州。辗转下进入张家当奴仆。后来又来到这醉云楼做伙计。”
正说着,忽听一派乐声传来。贺俊问：“哪里在奏乐?”
陈三儿说：“就是刚才上楼饮酒的刺史夫人。”
贺俊想起紫衣妇人，忙问陈三儿:“刺史夫人侍女中有个紫衣妇人，很像我嫂嫂柳慧茹，不知是真是假?”
陈三儿说：“我刚才就想告诉公子，每次我上楼服侍众家眷时，都看见柳夫人，又怕不是，不敢相认。”
贺俊说：“我有件事要麻烦你。你现在上楼去，找到柳夫人，替我传话给她，就说我在楼下等她。”
陈三儿应声上楼去了。没一会儿，陈三儿下楼来,用手指指住下唇，贺俊知道这是事情办妥了的意思。于是谢过陈三儿，走出酒楼，悬望等候。
不多时，数十名仆从、侍女簇拥一辆车子缓缓驶出。等车子走过，贺俊找到紫衣妇人，施礼问说:“嫂嫂怎么会在这里？”
柳夫人抽泣说:“那年，我与你兄南下避祸，不料遭遇敌兵伏击。你兄被敌擒走，我被敌将相逼，到了沧州，后被卖给娼户刘家。我坚决不从，暗中抽裙带悬梁自缢，却被人发觉,将我救下。
后遇到刺史夫人，她见我可怜敬我品性，将我收留做了贴身丫环。我项上创痕，至今未愈，因而缠着丝巾。最近我听到夫君音讯，说是他当时趁三更夜黑逃走,现在住在洛阳,已经官复原职，至今仍未再娶。我常常燃香炼顶，问卜求神，以保佑夫君。叔叔如果遇见夫君，请你传个音信。”
贺俊想再问问详情，突然有个仆从手持长鞭，向贺俊喊:“那家的野小子，竟敢勾引我家奴婢?”说完，拿起鞭子迎面打来。
贺俊见此，转身就跑，那仆从距离远，追不上。贺俊虽得以逃脱，却吓出一身冷汗，慌忙回到表哥客栈。张二官见贺俊气喘吁吁地回来，疑惑问道：“你因何事如此慌张？”
贺俊将前事—一述说，张二官听后惊讶不已。就这样，贺俊在愁闷中度过了元宵，不觉已是三月。
一日，贺俊无聊，便来到醉云楼喝酒。刚进楼，陈三儿走过来招呼：“贺公子！”
贺俊想去找寻嫂嫂，便问道:“上次见到的刺史夫人，你知道她的住处吗?我去刺史府打听，为何没有此人？”
陈三儿说：“这位夫人不住刺史府，她住在黑云寺后面。”
说话间，贺俊发现墙壁上有留题，墨迹还未干。一眼扫过，竟发现后面的署名写着：“洛阳吕程,因感亡妻,特作此作相吊之词。”
霎时间，贺俊吓得魂不附体。题笔正是哥哥吕程的笔迹没错，那也就是说嫂嫂已经死了！元宵夜我在醉云楼亲眼看见嫂嫂，还同我谈过话，现在却说死了，这事儿着实蹊跷。惊疑未定之下，便问陈三儿：“我大哥刚才来过吗？现在去哪了?”
“吕公子吗？我没见到啊！不过听说刚才有四五个人来这饮酒，并写在此,现在回驿站安歇去了。”
贺俊急忙给了点心钱,去驿站找哥哥吕程，一别多年，再次相见自是悲喜交加。贺俊问吕程：“嫂嫂呢?”
吕程两眼泪下，说：“当年，我和你嫂嫂遇敌被擒。我趁三更夜黑逃走，但不知你嫂嫂生死。后来仆人周义告诉我，说他当时伏在草中，亲眼看见夫人被敌将所逼。夫人刚烈誓不受辱，自刎而死。”
贺俊说：“只怕嫂嫂还没死！”当下，就把元宵夜在醉云楼遇见嫂嫂的事一一述说。吕程听了,心里七上八下。贺俊又说：“要断定嫂嫂生死，何不同往刺史夫人宅院问个明白?”
吕程点头说：“有道理。”于是吕程带上仆役张谨，和贺俊同往刺史夫人宅院。
不一会儿，三人来到黑云寺后。却发现那里只有只有一座空宅,宅门紧锁,门上蛛网悬挂，门前荒草丛生。贺俊说：“可能是要走后门。”
三人又沿着院墙走数十步，看见墙边有个小户人家，一个老婆婆正在里边打丝线。二人上前施礼，问：“敢问婆婆，刺史夫人的宅院在哪里？”
婆婆说：“前面锁着门的空宅就是。”
二人吃了一惊，问：“那刺史夫人呢?”
“刺史夫人前年就去世了,她家人也已搬往别处，刺史夫人就埋在花园内。公子要是想看，我陪你们去看看，如何?”
于是，二人跟着婆婆前往。路上二人又问：“宅内有个柳慧茹，今日在吗?”
婆婆说：“二位官人莫非是吕程、贺俊?”
二人大惊，问：“婆婆是怎么知道的?”
婆婆说:“我听柳慧茹说的。”
吕程急忙问：“我妻子在哪里?”
“二年前，刺史夫人住在此处。她是个很仁慈，又很体贴的人，常叫我进宅。把柳慧茹自刎而死，夫人将其火化后的骨灰盛在匣内等事说与我听。后来刺史夫人死了,便把柳慧茹的骨匣随同葬在花园内。我进园中，常见柳慧茹出来，初时也有些害怕，后来慢慢地也就习惯了。官人要问详情，见了柳慧茹就清楚了。”
三人来到宅院前面，翻墙而入，见是一座阴森森的败落庄园。他们踏着满地杂草，到处找柳慧茹。
庄园正面有三间大堂，堂上有个屏风，走过屏风，吕程看见墙壁上有数行字，字体柔弱，恰是贤妻柳夫人所写。吕程大喜，忙叫贺俊来看,
只见那字墨迹仍未干透，显然是今日写的！二人大惊失色。
走到侧首，看见有座楼，三人便扶着栏杆登上楼。楼上有个巨屏，屏上字体如前，写的是一篇《忆良人》。吕程正读着，忽然听贺俊喊：“嫂嫂来了!”
吕程回头一看，见一个紫衣妇人项拥丝巾一闪而逝，正是贤妻柳慧茹。三人大惊，急忙下楼来找，夫人却早已转身从后堂左廊下进入一间阁房。三人来到阁房，看见门牌上写着：“刺史夫人灵堂。”
进入阁房，只见房内正堂供着刺史夫人牌位,侧边是一轴柳慧茹的画像，写着：“侍妾柳慧茹之位。”供桌上尖埃满尺。吕程看着画像，禁不住潸然泪下。
正在这时，那老婆婆突然来了，叹气说：“你们这些人啊！我说了带你们进来，那自然是有钥匙的，还非得翻墙进来。柳慧茹的骨灰盒在供桌下。她说过,是个黑漆匣，有两个黄铜环儿。每次说起，都要哭一场。还常对我说:“我为丈夫守节丧身,死而无怨。”
吕程听了，恳请婆婆帮助取出骨灰盒，带回洛阳埋葬。于是三人抬开供桌，揭起花砖，去提匣子，但用尽全力也提不起来，而且越提越紧。贺俊忙制止二人，说：“一定是嫂嫂显灵。我们不如暂且出去，先准备祭礼，写篇祭文，来祭奠嫂嫂，再取骨灰盒。”吕程点头称是。
于是，三人离去，待准备好一应东西，又来到灵堂前。来到之后，立刻摆上贡品，铺开祭文，举行祭奠仪式。到晚上三更左右，三奠仪式已做完，吕程把祭文同纸钱一起烧化。
忽然，刮起一阵狂风，灯、烛忽明忽暗，吓得三人浑身发颤。风过处，哭着走来一个紫衣妇人,项缠罗帕，足踏金莲，敛袖向前说声；“叔叔万福，当日欺骗叔叔，还望见谅！”
贺俊自是不会怪罪，摆手示意无碍。
吕程执着柳夫人的手，哽咽流泪。柳慧茹说:“自我死后，便失去夫君音讯，直到元宵夜在醉云楼与叔叔相遇。被擒之时，我如果贪生，必定玷辱夫君，因而誓不受辱，自刎而死，造成今日生死相隔，终身愤憾。”说完又哭了起来。吕程安慰之下，才止哭坐下。
贺俊问：“元宵夜在醉云楼相遇时，嫂嫂为刺史夫人侍妾，车后有许多人，不知是人是鬼?”
“太平之世，人鬼相分，今日之世,人鬼相杂。当时随车的，都不是人。”
吕程说：“贤妻为我守节而死，我将终身不娶，以报贤妻恩德。今日愿迁贤妻香骨,同回洛阳。”
“夫君心愿，我怎敢不依？但夫君如果再娶，一定不会理我，还不如不迁为好。”
三人再三劝说，夫人就是不肯，还对贺俊说：“叔叔怎不知你哥哥心性，我在生时，他就风流成性难以管束。今日我已成鬼魂，你哥哥喜新弃旧是必然的事。”
“嫂嫂听我说，哥哥已今非昔比。他感激嫂嫂守节而死，决不会再娶。今日哥哥来取骨灰盒，你能忍心不随他回去?”
“如果夫君果真不违心，愿意发誓，我马上依从。”
吕程听了，张口起誓说：“如果违背前言，愿遭贼寇杀死,巨浪淹死。”
柳慧茹急忙制止,说,“不必发这样的毒誓，夫君决意不再娶，有叔叔作证便可。”说完，原地刮起一阵狂风，风过处已不见了柳慧茹。
三人惊讶不已，重新去提骨灰盒，竟毫不费力。于是，三人带着骨灰盒离去。
两个月后，吕程收到命令要返回洛阳。临行前，贺俊摆酒饯行，再三叮咛吕程：“哥哥千万不要忘记嫂嫂说的话啊!”
吕程点头称是，背上夫人骨灰，带着仆人就出发了。回到金陵后，吕程选地、择日子，厚葬了夫人的骨灰。自此，每隔三天都要去夫人坟前吊祭，天黑才回，并让周义守坟。
一天，吕程跟两个朋友苏仪、许文到洛阳星云观游玩。星云观女观主赵思雨仪容绝世，标致非凡。三人拜见赵思雨之时，吕程看得目瞪口呆，神魂颠倒。
刘观主招待众人吃完斋饭之后,便领着三人到后院看花。众人都去了，吕程却走进观主房中到处张望。屋内窗明几净,铺陈着一些赏玩之物,书案上文房四宝，压纸界尺下露出些纸来。吕程信手取下一看，见是一首名叫《浣溪沙》的词。
吕程初见赵思雨之时，就已动情，再读纸上的词，又添爱意。于是，提笔写了一首《西江月》，拍手高唱。此时，思雨正好回来，听见之后一脸怒气，说：“好个狂徒，欺我孤弱，坏我清誉！来人啊！备轿，我要去见官。”
苏、许二人再三劝阻，思雨只是不依。吕程从怀中拿出思雨写的词让众人看，反问思雨：“观主不要焦急，这首诗是谁写的?”
一句话问得思雨无地自容,怒气变成了笑脸。于是，思雨安排酒席，和众官人饮酒作乐，在不管什么清规戒律了。
酒尽，吕程、刘二人已各怀其情，互相爱慕。此后，吕程每日都去思雨处。又过了几天，赵思雨用钱买通人还俗，吕程选定节日，娶思雨成亲。从此，吕程再没去过坟地，与赵思雨每日倚窗携手，谈情说爱。
周义久不见吕程来上坟,便前去探听消息。看见本所门前的值班仆役，周义上前问:“吕大人怎么多日没来上坟?”
仆役说：“吕大人刚娶赵思雨为妻，没工夫上坟。”
周义听后，非常气愤。恰好看见吕程走出来，周义开口就骂:“大人，你好狠的心啊！夫人为你守节而死，你怎么能再娶?”边骂边哭。
吕程与思雨新婚，觉得周义如此作为，让他很没面子，当下叫仆役们把周义赶走，周义闷闷不乐，来到坟地，把吕程背恩弃义娶刘氏之事——述说。
这日，吕程与刘氏新婚欢爱，在屋中摆画赏玩。闲聊之中，不知怎么的就说到了柳慧茹。赵思雨眼见吕程语气中透露出对前妻的不舍之情，心中醋意大增，吵闹着让他将柳慧茹的骨灰移出吕家祖坟。
吕程对义娘的思念之情本就快要消失殆尽，现在又见娇妻为此生气，竟真的把柳慧茹的骨灰移出祖坟，抛入江中。
几年后，吕程与妻刘氏租船南下游玩。船行到江心之时，梢公突然唱起《好事近》。吕程听出这词正是柳慧茹题在沧州刺史夫人宅中屏风上的词，异常吃惊，问梢公：“此歌从何而来?”
船家说：“最近江上很多船家都唱此词，说是一个婆婆传出来的。”吕程听后，心如刀绞，泪如雨下。
正在这时，江中突然风起浪卷，烟涛滚滚。一个头顶红巾的盗贼从波心涌出，揪住刘氏头发甩入水中。侍妾高声大喊:“夫人落水了!”
吕程想救，可哪里来得及！不一会儿，又涌出一个紫衣妇人，项缠罗帕，揪住吕程拉入波心淹死。梢公想救又救不上来，只好伤感而回。