唐伯虎一生娶过两个妻子，前妻徐氏，出身官宦人家，好享受，慕荣华，热望唐伯虎功成名就，出人头地，1499年，唐伯虎乡试第一，中了解元，徐氏喜出望外。
谁知好景不长，第二年，唐伯虎进京会试，受到科场泄题案的无辜牵连，不幸琅铛入狱。
徐氏得知，料定唐伯虎从此难以高升，就收拾细软，回娘家去了。从此两人分道扬镳。
后来，唐伯虎在青楼中认识了官妓沈九娘。九娘很敬重这位才子，为了使唐伯虎有个绘画的良好环境，她把妆阁收拾得十分整齐，唐伯虎作画时，九娘总是给他洗砚，调色，铺纸，唐伯虎有了这个好伴侣，画艺愈见精到。他画的美人，大都是从九娘身上体会到的风姿神采。
九娘见唐伯虎不把她当作官妓看待，就益发敬重他了。天长日久，两人产生了爱情，成了夫妇。过了两年，九娘生了个女儿，取名桃笙。
一五九○年，苏州水灾。唐伯虎的卖画生涯自然艰难了，有时连柴米钱也无着落。一家人的生活全靠九娘苦心撑持。九娘终因操劳过度病倒了，唐伯虎请来医生，医生诊断后，告诉唐伯虎，九娘已经病入膏盲。
唐伯虎尽力服侍九娘，无心于诗画。
1512年冬至前，九娘紧紧握着唐伯虎的手，说道：“承你不弃，要我作你妻子，我本想尽我心力理好家务，让你专心于诗画，成为大家。但我无福，无寿，又无能，我快死了，望你善自保重。”
听了这番话，唐伯虎禁不住泪如雨下。
沈九娘死后，唐伯虎再也没有继娶妻室，晚年皈依佛法，号称六如居士。