然而，树欲静而风不止，犀牛塘里那两头小犀牛是不再闹腾了，但人却变得不安分了。
解放前夕，天柱县坪地镇杨寨的大户——杨家两兄弟，仗着自家有钱有势，经常带人到犀牛塘捕捞，并且派人把守，不让其他人捕捞，总想把犀牛塘里的鱼一网打尽，占为己有。他们的行径遭到本寨及三联村、款场乡等附近几家村镇的反对。为此，杨家与很多人都在犀牛塘这个“一鸡打鸣，两县皆闻”的地方发生过冲突，最严重的几次，甚至动刀动枪。村民们最终都以自身势单力薄而告终。这样一来，杨家两兄弟便更加有恃无恐。一个夏天的傍晚，他们悄悄组织人马，带上土枪、炸药、木筏、鱼篓、箩筐等，来到犀牛塘，先把塘里的水放浅，然后用炸药把塘里的鱼炸死一部分，再放木筏下去捞鱼。正在二人得意洋洋之际，天空骤然乌云密布，电闪雷鸣起来；瞬时，狂风大作，瓢泼大雨倾盆而至。突然，两头犀牛从塘中间的水里冒了出来，怒目圆睁，“唔”的一声，疯狂地撞向“侵略者”。捞鱼的人早已吓得魂不附体，四肢动弹不得，哪里还能躲避，任由两头犀牛撞击；犀牛撞倒人后，便朝杨寨方向奔去，从此不见踪迹。
剩下的人哪里还敢继续捞鱼？只得拖着残体，收拾行李，护着杨家兄弟俩狼狈地离开。
据说，杨寨当天晚上就发生瘟疫，猪、牛、狗、马、鸡、鸭、鹅等畜禽几乎全部死光，人也死了一大半，杨家老大当晚就一命呜呼了，杨家老二侥幸又多活了几年。
新中国成立后，在呼吁“平等、团结”的感召下，杨寨、三联村、款场乡等村寨早已化干戈为玉帛，亲如一家人了，谁也不会因为杨家兄弟的恶行而记恨于心。经过上级相关部门的协调，犀牛塘也由附近的村寨共同管理，并不独属于“某一家”。但由于客观条件的限制，政府对犀牛塘的保护和开发还处于探索阶段，不能完全满足当地人民的需求。然而，这并不影响犀牛塘的名气和灵性。听说前几年，三联高眼坡有一户姓邓的青年承包犀牛塘来养鱼，因嫌塘里的野生菖蒲有碍视线，就划船下塘去，挖掉了“碍眼的”菖蒲。两年后，这个邓姓青年感觉承包犀牛塘养鱼不赚钱，就主动放弃，到三穗县城做生意去了。半年后的一天，此人骑着三轮车去进货，刚出门不远就与一辆大汽车相撞，不幸车毁人亡。听老辈人说，相传菖蒲乃仙家神草，是圣婆当年最为喜爱的“玩物”，邓姓青年当时下犀牛塘里挖菖蒲，得罪了神灵，才落得个如此下场，不管事实与否，是谣传还是真有神灵在此，如今的人们把犀牛塘视为圣地，近而敬之，从未擅越雷池。