江宁织造署不仅是清代举足轻重的轻工业部门,还是江南重要的政治部门,可直接向清政府报告江南地区的各种情报,因此只有清帝的亲信及内务府大臣才可担任,其地位仅次于两江总督,所以权势显赫。不仅如此,曹寅与妻兄李煦轮流兼任设在扬州的两淮巡盐监察御史,曹家还曾兼理江南的制铜部门,在上述领域握有垄断的特权。六十年间,曹家势力逐渐扩张,成为江南举足轻重的豪族。雍正二年(1724年),曹雪芹诞生在江宁织造署内,自幼生活在花柳繁华地,温柔富贵乡的环境中,他的童年记忆充满了这个家族鼎盛时期奢华生活一个又一个缤纷多彩的场景,这一切根植在他幼小的心灵中,化作成年以后凄美绝伦的梦幻,同时也表现在《红楼梦》中花团锦簇的贵族生活场景。但是,江宁织造署并不确定是《红楼梦》中大观园的原型,据一些红学家的考证,大观园可能来自曹氏家族位于南京小仓山的随园,或来自位于北京柳荫街的恭王府。由于北京恭亲王府至今遗迹尚存,所以倾向于此的红学家有更多的证据。然而,江宁织造署是曹雪芹生活多年的地方,它对曹雪芹必定也有着重要的影响。