明朝有个叫王承的人，外出做生意失败，一路上吃尽了苦头，好不容易才回到了家。
“彩云！”王承一进家门就激动地喊着娇妻，却没有人出来答应，屋里只传出一个婴儿的啼哭声，王承几步进屋，掀开帷帐，看见一个婴儿睡在床上。
“这是我的孩子吗？”没想到自己走时彩云竟怀孕了！王承抱着孩子喜极而泣，正在这时候，门外进来一个女子，是彩云的丫鬟桑儿。
桑儿看见了王承，痛哭流涕，王承赶忙问她彩云在哪里，桑儿哭了半天，却一句话也说不出，只是比比划划。王承心急如焚，不知家里遭了什么劫难，妻子下落不明，桑儿又成了哑巴。桑儿比划了半天，王承才总算明白，彩云生孩子的时候难产死了。这个消息无异于晴天霹雳，将王承击垮了。
彩云本是盐阁县一个富家千金，因父亲得罪了权贵，被罗织罪名下狱，落了个满门抄斩的下场。是丫鬟桑儿带着彩云逃了出来，后被落第书生王承搭救，因此结成了夫妻。夫妻俩带着桑儿到了一个小山沟里，隐姓埋名地过活。
彩云嫁给了王承，才尝到了穷苦的滋味，初时嘴上不说，但没多久就挨不住了，总是发小姐脾气，还动不动拿桑儿出气。王承不忍心让过惯了富贵生活的彩云跟他受苦，便拿出不多的积蓄，一咬牙一个人到外面做生意去了，他发誓要挣到钱，让彩云重新过上好日子。
哪知天有不测风云，在外漂泊了一年多，王承不但没挣到钱，还碰上了土匪，钱财被洗劫一空。王承大病了一场，以为自己就此客死异乡。病中，他做了一个梦，梦里彩云甜美地对他笑着：“王郎啊，不能死，还没到百年呢！”王承醒来后，从贴身的衣兜里拿出彩云绣给他的方巾，深情地读着上面的誓言：“两颗心儿紧相连，你我相约到百年，谁若九十七岁死，奈何桥上等三年。”彩云在家等着他呢！王承强打精神振作起来，一路风餐露宿，历经坎坷，终于回到了家，哪知心爱的彩云竟已离他而去了。
王承一遍遍地想着当时的誓言，他对桑儿说：“桑儿，孩子就交给你了，我要去陪彩云，我不忍心让她在奈何桥上等我！”说完站起来就要往柱子上撞。桑儿吓坏了，一把抱住他，泪流满面，她使劲摇头，然后转身抱过孩子，塞在王承手里，意思是说，为了孩子，你要活下去。
王承看着怀中熟睡的婴儿，心软了下来。娇妻的音容笑貌在他脑中回旋，他突然跑到厨房，抄起一把菜刀，一刀剁掉了自己三个手指头！他喃喃地说：“彩云，既然我不能到阴间陪你，就暂且用我的手指来代替我为你陪葬吧，我会将我们的孩子养大，然后去找你。”
王承问桑儿彩云葬在哪里，桑儿咿咿呀呀地指点比划，让人不明所以，王承只得抱着孩子往门外走，找到天黑也没找到彩云的墓，终于因为断指失血过多而昏倒了。
等王承醒来，发现自己躺在床上，手已经被包扎好了，锅里盖着热腾腾的饭菜。孩子熟睡在床上，砸吧着嘴，脸上还带着笑。王承突然觉得彩云还没死，她一定是化成了仙子，在默默地照顾着自己和孩子呢！
王承这样想着，就真的有奇异的事情发生了。家里没米的时候，会莫名其妙地多出来一袋米，衣箱里也会不时出现他和孩子的新衣服，王承找不到彩云的坟墓，就坚信她还活着，幻想着她有一天突然出现在他和孩子面前。
一转眼一年过去了，年底的时候，孩子生了一场大病，王承急坏了，在这穷乡僻壤，上哪找郎中去？眼看孩子一天天虚弱，心急如焚的王承抱着孩子走了大半天，看见前面有一座庙，立马抱着孩子到寺庙里烧香。没想到，在这里他居然遇见了桑儿。自从那天他断指之后，桑儿就失踪了，王承猜想桑儿一定是不愿跟着他们父子吃苦受罪，所以另谋出路去了。这也难怪，以前人家是顾着和彩云的主仆情分，现在彩云已经不在了，谁不是各人顾各人呢？
桑儿一脸憔悴地从寺庙里出来，看见孩子在王承怀里冻得发抖，忙小心翼翼地从口袋里掏出一件花花绿绿的衣服，要给孩子穿上。王承一看这东西，气不打一处来，这哪是衣服，全是一丝一丝的破布条缝成的衫子，跟乞丐的衣服没什么分别。再想想彩云给自己放在衣箱里的衣服，多么精致。王承一把抓起衣服，扔得老远。桑儿默默地捡起衣服，又急又伤心，含着泪躲到一边去了。王承拜了菩萨，祈祷着孩子能够快点好起来，一生平平安安。
王承从寺庙里回来后，将孩子放在床上，就下地干活去了。傍晚他回到家，惊讶地发现孩子不知什么时候身上穿上了那件“乞丐衫”！是桑儿？她为什么要这样做？王承出门去找，没看见桑儿，却发现不远处有个乞丐朝他家走来，王承想到自己一路要饭回来的情景，心酸不已，此地没有别的人家，要是自己不给点儿吃的，那乞丐可能就会饿死。他想着，转身回屋端了一碗剩饭出来，向那乞丐走过去，到了近前，不禁惊呼一声，碗也掉到了地上，摔得粉碎。
站在王承面前蓬头垢面的乞丐，居然是他朝思暮想的妻子彩云！王承惊讶得说不出话来，没等他回过神来，桑儿不知道从哪里冒出来，一把将彩云拉进了屋里，关上了房门，示意她要伺候小姐洗澡更衣，叫王承出去。王承不明就里，只觉得彩云似乎有意躲着自己，桑儿的神情也很古怪，他悄悄来到门边，却听见“哑巴”桑儿开口讲话了！
桑儿一边给彩云洗澡，一边问她怎么落魄成这个样子，彩云的回答让门外的王承差点没昏过去。原来，当初她过不惯苦日子，丢下孩子和路过此地的生意人沈华跑了，过了一段富足的日子，可沈华是个嗜赌如命的家伙，不久就将全部家产输个精光，还将她卖到了妓院。彩云受不了非人的折磨，找机会偷偷跑了出来，虽然觉得对不起王承，但没地方去，于是抱着一丝侥幸的心理，希望王承还没有回家，她就继续留在这里，当作什么也没有发生过……可是王承早已经回来了，彩云也不知该怎么办。
桑儿一边流泪一边说：“小姐，你当时就不应该那么狠心，孩子那么小，再说你和姑爷早已订下了百年之约，我按你说的告诉他你死了，他差点儿陪你去死。我怕他问起你的情况，不知怎么回答，只得一直装哑巴。看他父子俩挺可怜，我在十几里外的地方搭了个草棚，种地织布，暗中周济他们。不如……你说这些都是你做的吧，然后回来好好跟他过日子！”
王承的心掉进了冰窟窿，等两人从里屋出来，他铁青着脸指了指桌子上一条方巾对彩云说：“你走吧，不用再圆谎了，我心里纯洁的彩云早已经死了，我和她的誓言，也早已经埋进了黄土。”王承说着，扬了扬他那断了三个指头的左手。
彩云她羞愧难当，拿过方巾一声不响地走了，桑儿含泪想追上去，却被王承一把抓住了。
他一声不吭地扒下孩子身上的衣服，桑儿赶忙阻止他，她着急地告诉王承，那是她走了三天三夜，到山外的村子里找一百户姓刘的人家，要来布条在菩萨面前跪着做成的百家衣，这样可以“留”住孩子。王承想起她在寺庙里憔悴的样子和焦急的神情，一时间百感交集。想想桑儿和彩云，他后悔自己看错人了。
王承求桑儿留下来照顾孩子，桑儿答应了。也许是桑儿的诚心感动了上苍，孩子的病一天天好起来，桑儿照看着孩子，料理着家务，默默地照顾着这个家。王承从心底里感激桑儿，感受着桑儿的好，但他不敢再对桑儿有什么誓言，因为彩云对他的伤害太深了。
一转眼二十年过去，孩子长大成人了，桑儿却生了一场大病，倒在床上起不来了。临终前，她叫来了王承。桑儿流着泪说，彩云就住在她以前住的草房里，这些年，是桑儿一直在给她送钱送米。她不忍心彩云流落在外受苦，那毕竟是孩子的娘。
王承被桑儿的善心打动了，他紧紧握着她的手，泪流不止。桑儿伸出手来为他擦去泪，接着说：“我死后，你要照顾彩云，对她好……这个，我死后一定要跟我葬在一起。”她说完，伸手从枕头下摸出了个盒子交给王承。
桑儿死的那天，王承突然觉得心好痛，似乎整个人都垮了，在这二十年的日子里，他没对桑儿说爱，此时才明白，爱不是誓言，而是平淡的生活，他其实早已将桑儿刻在心里了。王承割下自己的一缕头发，准备放在那个盒子里陪桑儿一起下葬，当他打开盒子，不由得惊呆了，盒子里躺着三根干枯的指骨，没错，是自己当初砍下的手指，这些年她一直放在自己枕头下！盒子里还有一张字条，王承打开字条，上面写着一首诗：“君对我虽无誓言，我对君心永不迁，今生不能同鸳梦，来世定要共婵娟。”
王承满脸是泪，喃喃地说：“桑儿，奈何桥上等着我！”
当天晚上，王承的儿子做了个梦，梦见父亲胸口戴一朵大红花，牵着个蒙着红盖头的新娘子，来跟他告别，叮嘱他要照顾好自己的亲娘。梦醒了，他去看父亲，王承已经满脸安详地去了。