这幅作品记载于《石渠宝笈续编》中，上世纪30年代流于海外。原作后面有八段题跋，开篇是赵孟頫自己的题识：“……余故戏为写生，虽不能逼近古人，颇于气韵有得。”后面是元末及明代几位收藏者及其朋友的评论，其中明代张大本讲得最为明确：“松雪翁亦善画马。今披此图，又善画羊，观龙门所题，想亦含此意。又惜其丹青之笔，不写苏武执节之容，青海牧羝之景也。为之三叹！”说的是先他题跋的良琦和袁华，点出了会使人联想到西北草原，可惜却没有进一步说明，这幅画与苏武牧羊之间的隐喻关系。李铸晋在对这幅图的分析中也表示过对这种说法的赞同：“左边那只绵羊孤傲的神情，反映了苏武的精神；山羊的卑微则似李陵。”李陵与苏武同为汉朝两员大将，苏武兵败拒绝投降，被流放牧羊；李陵则向匈奴人称臣，获得遣返，李铸晋认为这与赵孟頫常在诗文中提到的忠贞问题相一致。
江南文人圈、眼界与文人画
19岁时赵孟頫曾参加国子监考试，一举成功，当上了一个不实际到任、只领取俸禄的预备小官。只可惜南宋很快灭亡了，赵孟頫做了10年的逸民，遁在家乡吴兴过起隐居生活，曾经几次拒绝元朝的应诏。但考取功名、文人入仕始终是他的理想，他之所以拒绝，一则是当时文天祥兵败被俘慷慨就义的影响，二来也是对这个异族朝廷的不信任感，直至10年后政通人和，赵孟頫才做出了仕元的决定。
赵孟頫放逐的10年，中国画史上正在酝酿一场空前的变革。对大部分读书人而言，在宋朝他们可以按部就班地入朝为官，但在元朝就变得困难重重。蒙古人设下的社会阶级，决定了晋升的渠道，其中汉人居于下等。江南地区曾是南宋故都所在，这里的汉人因对前朝忠心耿耿，视变节为奇耻大辱，知识阶层愈加受到歧视。而这里本是富甲全国又兼人文荟萃，有更多的精英分子因此前途坎坷。
由此，江南地区形成了一个自给自足的社会，失去晋升通道的读书人成为有才德的处士，或靠变卖家产为生，或教书、行医，或以文人或作家的身份谋职，在这里传统价值观得以保留，读书人可以在一群意气相投的朋友之间保持自己的人际关系，某种程度上来说，相当逍遥自在。
流散在江湖中的读书人给传统中国绘画带来了新的风潮——文人画。南宋画坛上势力最鼎盛的当属与皇室有密切关系的杭州画院，代表着当时居于统治地位的宫廷画流派。当时活跃的画家都是职业画师或低层次的画匠，通过后天磨炼的技艺完成精美画作，因取材和画风缺少新意，这种画风在南宋末年气数已尽。与之相对，那些博览经籍的传统读书人正在画坛上逐渐崛起，他们强调绘画要“寄兴”，注重画中的内涵和创作过程的修身养性，这与职业画师的想法大相径庭，随着宋末元初社会秩序的重新洗牌，一批赋闲在家的知识阶层得以登上了画坛的核心。
赵孟頫所在的吴兴，当时有“吴兴八俊”之说，包括赵孟頫、钱选、牟应龙等隐逸文人，此外，他与杭州的戴表元、邓文原，苏州的龚开也都关系甚好。赵孟頫曾在《送吴幼清南还序》中略为交代这是怎样一个文人圈子，“放乎山水之间而乐乎名教之中，读书弹琴，足以自娱”。