好李蟠连夜收拾行囊，第二天一早轻装简行出京城上官道一路直奔老家徐州而去。原来所谓黑石峡乃李蟠老家所在之地，徐州府云龙山东坡的一处小峡谷。此地依山傍水，风景秀丽。是李蟠先前读书和居住的地儿。
李蟠自解甲归来后，闭门修性，足不出户。一心侍奉高堂，逗弄娇儿。与贤妻花前月后卿卿我我，与三五好友茶余饭后吟诗作赋，日常醉心于书林砚池，闲来也赏玩一些花鸟鱼虫。日子过得倒也舒坦。人说，无官一身轻，此话不假。大丈夫在朝当鞠躬尽瘁精忠报国，在野应闲云野鹤清心寡欲。此时的李蟠过着的是神仙般的日子。
贵人多忘事，何况康熙帝日理万机，朝野臣子众多，哪能一个一个都顾及的过来。李蟠此一贬就是七八年下去了。无人过问倒也清闲了他，成就了他的文墨。这段时间他的大作《偶然集》、《根菴文集》和一些诗词歌赋奠定了他在文坛上的地位，墨宝《白燕十首》享誉书法界，被篆刻，被摹写，流传甚广。
康熙四十六年皇上第六次南巡时，途径徐州。当时陪同皇上南巡的三部尚书，文华殿大学士张鹏翮听知府说李蟠隐居在此。而且明日要在黑石峡的家中宴请宾朋好友和当地名流。第二天张大人就约了皇上微服便装去了地处云龙山东坡的黑石峡。
李蟠的寓所在黑石峡下。背靠云龙山，面向黄河河套，门前曲径通幽。门旁竹海摇曳。院门朝东，门楼简约而气派。几间西屋高大宽敞，南北耳房座列有序，院内有几棵大树枝繁叶茂郁郁青青。的确是个隐居静修的好地方。