但是，孙家父母对徐悲鸿产生不了好感，就带着女儿迁往浙江丽水，并力主了她的婚事，把已经26岁的孙多慈，嫁给了倾慕她才华的官员许绍棣。
孙多慈在结婚之前，写信给徐悲鸿说：我后悔当日因为父母的反对，没有勇气和你结婚，但我相信今生今世总会再看到我的悲鸿。只是，老天不遂人愿，她的余生是再也见不到徐悲鸿了。
孙多慈结婚后，一直难以忘怀徐悲鸿。徐悲鸿后来与蒋碧微离婚，迎娶了廖静文。消息传来，孙多慈握笔画了幅红梅图，题诗道：“倚翠竹，总是无言，傲流水，空山自甘寂寞。”诗中难掩惆怅的情怀。
这幅画传到徐悲鸿手中，徐悲鸿在画上补了只没有开口的喜鹊，那是一种欲说还休的无奈，还有对她的赞赏和默默祝福。她又曾寄给徐悲鸿红豆，徐悲鸿就到银楼打了一对戒指，把红豆镶入其中，一个刻着“慈”字，一个刻着“悲”字。
他还以《红豆》为题赋诗：“急雨狂风避不禁，放舟弃棹迁亭阴；剥莲认识中心苦，独自沉吟味苦心。”
后来，孙多慈随丈夫到了台湾，任台湾师范大学艺术系主任，并日益精研绘画，她的画浑厚而深沉，专家称她继承了徐悲鸿的衣钵真传。五十年代，孙多慈在中山堂看画展遇见蒋碧微，昔日情敌带给她的竟是徐悲鸿在北京病逝的消息。