之后两个月，风平浪静，白博文想起这桩生意来，还颇为自得。哪晓得一日正在柜上，米店高老板带着一队士兵气势汹汹闯进祥云馆，揪住白博文破口大骂，那些士兵放手砸店。惊动了东家王春旭，赶上前来苦苦哀求。高老板只道是白博文卖他赝品，让他丢尽脸面，士兵不由分说将白博文五花大绑架走。虽然王春旭上下打点，奈何高老板也是背景深厚，白博文被安了个欺诈之罪，关进大牢两年之久。
两年间白博文在狱中长吁短叹，度日如年，只叹自己时运不济。等出狱之日，两鬓已是全白，好似老了十岁。他出来之后，想先去探望王春旭，毕竟是自己贪心之过，连累了东家。等他到了祥云馆，抬头一望，不禁大吃一惊。原来祥云馆的牌匾早就不见，换成了一家绸缎庄，进了店一看，早就物是人非，他长叹一声转身想走，突然身后有人喊：“白掌柜留步。”扭头一看，原来是从前祥云馆的后生小刘，现在在绸缎庄当伙计。
小刘把白博文拉到一旁：“您这两年受苦了。”白博文苦笑：“我自己一着不慎，自作自受，还连累了东家，心里实在难安。”小刘脸色有异，吞吞吐吐：“您的这件事，其实另有隐情。”白博文忙道：“你不妨将你所知都告诉我，还有这祥云馆如何变成今天这样？东家又去了哪里？”小刘向店里告了假，带着白博文到了附近的茶馆，两人坐在一个角落，小刘将过往一一道来。
原来那祥云馆东家王春旭，有两个儿子，大儿子叫王子圣，整日在店里忙里忙外，小儿子王子贤却游手好闲，三天两头出去吃喝嫖赌。王春旭多次训诫小儿子无果，把他吊起来痛打一顿，断了他的花销来源。没多久王子贤烟瘾发作，痛不欲生，偷了店里的古董，跑到万宝楼卢坚那里变卖。一来二去王子贤和卢坚熟了，卢坚开始赊给王子贤银元。吃喝嫖赌是个无底洞，多少大洋掉进去也没有个响声。一天王子贤又来借钱，卢坚微微一笑，把他以往的借据往桌上一堆：“世侄，先把欠的钱还了，如何？也不多，就一万大洋。”王子贤打了个哈哈想走，背后窜出两个大汉，一把扭住胳膊，把他脸朝下摁在桌子上。卢坚叹了口气：“那只好问你爹要钱了。”王子贤心想父亲本来就偏向大哥，如果知道自己欠了这么多钱，一怒之下只怕会把自己赶出家门，这祥云馆将来就全是大哥所有了，慌忙喊道：“卢老板，咱有话好说，别告诉我爹啊！”卢坚吸了一口鼻烟，点头：“也好，你帮我办一件事，这一万大洋咱就一笔勾销，以后我还另有好处给你，怎么样？”
当天夜里，王子贤找到伙计常宏，威逼恐吓一番后，塞给他一百银元。三天后常宏收到王子贤消息，将白博文引到娄烦县。白博文听到这里，冷笑一声：“原来是卢坚伙同常宏这厮给我埋的雷，白某人栽的也不冤了。然后呢？”
小刘给白博文续了一杯茶，继续讲述。那卢坚得知祥云馆入手唐寅赝品后，命令王子贤带着他的狐朋狗友到酒家“登仙楼”吃饭，席间大肆吹嘘自家刚得了唐寅真迹。此时卢坚和米店高老板正巧坐在王子贤旁边的雅座，卢坚知道两月后就是高老板岳父的生日，他岳父是民国革命军三十五军团长，平时爱好古画。卢坚故意夸了一番《秋山高隐图》价值如何不菲，又惋叹自己没运气入手，说的高老板心痒难忍。高老板为给丈人选寿辰礼物，费劲心思也没找到合适之物，听了王子贤和卢坚这一唱一和，连饭都没吃完就赶到祥云馆，出手买下《秋山高隐图》。
两月后，到了岳父寿辰之日，高老板将《秋山高隐图》献上，团长大人喜不自禁，命人将这名画挂起。众宾客围过来观摩，交口称赞，高老板夫妇也是面上有光。哪想到宴会结束，一位宾客与团长作揖告别时附耳低语了一阵，说的团长大人脸上阴云密布。等到送完宾客，团长大人将女儿女婿叫到里屋，把画掷在地上，劈头盖脸就是一顿臭骂。高老板方知受骗，心里气不过，朝岳父讨了一队兵，冲到祥云馆把白博文抓了起来。
祥云馆吃了官司，上下打点，又赔了高老板一大笔钱，声誉受了影响。王春旭又累又急，旧疾复发一病不起，不久撒手人寰。王子贤暗地里得了卢坚资助，买通了家族中势利长辈，又伙同新掌柜常宏和伙计，将大哥赶出家门，竟然独霸了祥云馆。
王子贤得了家产，又没人管束，更加肆意享乐，还吸上了白面。不想那掌柜常宏生性奸猾，新招来的伙计也不是忠厚之辈，王子贤又是个糊涂之人，店里的经营根本不上心，偌大家产竟是渐渐亏空。到后来，掌柜常宏和几个伙计卷款而逃，王子贤欠下赌债无数，妻离子散。卢坚盘下了祥云馆，将王子贤赶出门外。王子贤悔不当初，在门外破口大骂，抖出这过往经过。围观者方才恍然大悟，心道这万宝楼老板果真心黑如墨。卢坚恼羞成怒，命人将王子贤打了个半死，扔到南城的臭水沟里。王子贤之后每日疯疯癫癫，毒瘾发作时人不人鬼不鬼，成了街上的一个乞丐。
白博文捏着茶杯，指尖发白：“那卢坚现在是行业翘楚了，我若有机会，须好好拜会。”小刘苦笑道：“怕是不能够了。”原来卢坚收了祥云馆，翻修一新，招兵买马，再加上他本人就是精明强干之辈，生意越发红火，一时间风头无两，每日出门鲜衣怒马，购置了数处深宅大院，引得周围人艳羡不已。没想到福祸相生，卢坚太过炫耀，半年前被一帮土匪盯上。匪首姓乔，是阎锡山部队的逃兵，身手了得。他带手下乔装打扮，在卢坚几处宅院踩点两个月，又派人混进卢家当仆人，摸清卢家作息规律，趁风雨之夜，里应外合潜进卢宅，砍死护院保镖，制住卢坚全家，逼问财宝下落。卢坚了解土匪行事作风，知道就算交出财产全家也是个死，索性咬牙不说，被土匪活活折磨死。卢家大奶奶终是女流，见识短浅，又挨不住打，交待了财产藏匿处。土匪凿开青砖厚墙，在夹层取出无数黄货白货，放火烧了宅院，卢家十几口老少竟无一活命。事发之后全县震动，县长责令警察局保安团限期捉拿土匪，可那土匪作案当夜就逃进深山，费劲周折只抓到几个喽啰。卢家远亲来到阳曲县，处理后事，变卖宅地家产远走他乡，一个家族就此在县城销声匿迹。
白博文听的目瞪口呆，辞别小刘后走在街上，怅然若失。原本想报复陷害自己之人，哪想到对方疯的疯，死的死。突然他念头一转，王春旭、卢坚都已不在，在这一行当，县城里自己再无对手，何不做一番大事业。他连夜赶回老家，从灶房炉台下起出藏了多年的一包金条，回到县城买房招人，联系旧故进货。