文物最大的敌人，莫过于乱世，三希堂之宝也于清末的混乱中流落宫外。《快雪时晴帖》在溥仪出宫的包袱中被搜出，后来在国民党政府迁台时连同大量的故宫文物珍品被运送至台湾。而《中秋帖》和《伯远帖》则在皇室成员搬离皇宫、“清室善后委员会”接管故宫后失去了踪影。一种说法是敬懿太妃私带出宫，另一种说法则是溥仪将它们带到了天津张园。无论“二希”出宫的具体过程如何，几经辗转之后重现于世，是在古玩商郭葆昌手中。
庄严回忆，1933年，他奉命押运故宫文物南迁之前，郭葆昌特别邀请时任故宫博物院院长马衡、古物馆馆长徐森玉和他，到坐落在北平秦老胡同觯斋的家中吃饭，“饭后并取出他宝藏的翰墨珍玩，供大家观赏，其中赫然有中秋、伯远二帖”，而且郭葆昌“当着来客及公子郭昭俊的面说，在他百年之后，将把他所拥有的此二希帖，无条件地归还故宫，让快雪、中秋、伯远三帖再聚一堂；且戏称要我届时前往觯斋接收”。
而到了1937年，张伯驹在郭葆昌处亦见到了这两幅字帖。他考虑到郭葆昌“旨在图利，非为收藏”，担心两帖流落海外，于是请惠古斋柳春农居间说和，购买二帖。多年后张伯驹在他主编的《春游社琐谈》中回忆了购买过程：“郭以二帖并李太白《上阳台帖》另附以唐寅《孟蜀宫妓图》轴、王时敏《山水》轴、蒋廷锡《瑞蔬图》轴，议价共二十万元让于余。先给六万元，余款一年为期付竣。至夏，卢沟桥变起，金融封锁。款至次年期不能付，乃以二帖退还之。”原本能够留在大陆、以期与《快雪时晴帖》重聚的二帖，终因时局而错失了这次机会。
1949年，国民党政府迁台，《快雪时晴帖》也已运至台湾。郭葆昌之子郭昭俊携带中秋、伯远二帖到了台湾，对庄严“旧事重提”，“欲履行他先父的宏愿”。然而彼时郭氏已经家财散尽，郭昭俊提出希望国民政府能够“赏”给他一点报酬，再将二帖“捐赠”出来。然而最终因国民党政府“来台不久，一切措施尚未能步上正轨，财源短细，实在无力顾及于此”。
而在当时的大陆，二帖远去台湾的消息也引发了大量关注，《新民晚报·艺坛通讯》写道：“王珣、王献之二帖，今由郭昭俊自中南银行取出，携至台北，将求善价。此种国宝竟容私人如此挟逃，又竟无人管，怪极。”张伯驹当时任故宫博物院专门委员，念及当年购而未得，又连续发表关于故宫收购书画之事。郭昭俊后来又携二帖去了香港，并因生活窘迫将之抵押给英国汇丰银行。抵押将于1951年底到期，而他无力赎回，就在二帖极有可能易主海外之际，时任文物局局长的郑振铎率领中国文化代表团离京出访印度、缅甸，在途经香港做短暂逗留时，意外得悉二帖在香港的消息。郑振铎闻此情由，向中央报告，希望政府能出资购买，周恩来总理得知后做出批示：“同意购买回王献之《中秋帖》及王珣《伯远帖》，惟须派人员及识者前往鉴别真伪。”当年在郭葆昌家意外见到二帖的马衡、徐森玉，与国家文物局副局长王冶秋组成专家小组前往鉴定，并最终在1951年11月成功将二帖购回。根据马衡1951年11月20日的日记，中秋、伯远二帖本息共为港币458376.62元，另付郭昭俊3万元。
当年押运《快雪时晴帖》至台湾的庄严后来担任了台北“故宫博物院”副院长，故宫文物两岸分离，他与老师马衡、徐森玉也从此分守两岸。庄严一生自称“守藏吏”，对他的儿子庄灵曾言三希重聚是他“最大的愿望”。1979年，庄严住院时，徐森玉之子徐伯郊为他带来香港某书局印制的《伯远帖》复本。在《伯远帖》卷尾，有沈德潜当年奉乾隆之命所书的《三希堂歌》：“东晋至今十六世，离合聚散同烟云。”在遗著《山塘清话》里，庄严写道：“消遣玩赏之余，不禁感慨万千，不知何年何月，三希帖才能重新聚首。”