传说佛祖释迦牟尼得道之后，驾着祥云来到中国的一个小山村，正逢一户姓张的人家刚刚生了一个小男孩。那小孩张口一哭，竟声如雷鸣；手脚一动，居然将胖大的接生婆弹了一个四仰八叉。如来惊讶之余，吹了一口气，地面旋即刮起一股狂风，把小孩的母亲收去，仅留下一纸，上写一偈云：
失母莫悲哀，
哺儿有牛奶。
儿大欲寻母，
西天见如来。
于是，这户人家便每天用牛奶精心喂养婴儿。转眼间小孩长大成人，生得魁梧粗壮，力大无穷，闻名遐迩，人皆称异。因他排行第三，且是喝牛奶长大，人们便叫他“牛奶张三”。这天，牛奶张三忽然触动一桩心事，扯住父亲，苦讨生身之母。父亲见他已经长大，便把当年变故原原本本告诉了他。他当即打点行装，告辞全家，毅然登上了西行之路。
当时正值盛夏，骄阳似火，酷热难当。牛奶张三路经一片田野，看见田间一个锄地的小伙子，因无斗笠，晒得难耐，便随手拔下路旁一株碗口粗的柳树插在腰间遮凉。牛奶张三暗暗称奇，便上前搭话，方知这小伙子原来父母早亡，从小无名无姓，平时靠为人帮佣过活。牛奶张三便口称“腰别柳大哥”，赞叹他力大过人，他却羞涩地答道：“我差远啦，听说有个牛奶张三，那才是天生神力呢！可惜我无缘拜识。”
牛奶张三又惊又喜，遂自报家门，并讲述了自己西行的原委。腰别柳听罢，把锄头一掷，慨然说：“张大哥如不嫌弃，我愿随你一块儿去找那如来佛！”
两人相偕向西走了一段时日，进入一片草原，正感到口干舌燥，遇见一个放羊的小伙子，便上前讨水喝。小伙子笑道：“水我倒没带着，但我可以给你们马上打一口井。”说着，捋起袖子，猛一拳把大地杵了一个深洞，清清的地下水立刻泛了上来。牛奶张三和腰别柳暗自惊喜，不禁有意结识。经过一番交谈，他们得知这个小伙子也是父母见背，无名无姓，靠给人家放羊度日。牛奶张三便称他为“拳打井大哥”，连声称赞他力大超群，他却不好意思地说：“我差多啦，听说有个牛奶张三，那才是大力士呢！”
站在一边的腰别柳忍不住插言道：“牛奶张三远在天边，近在眼前，这位大哥便是。”腰别柳讲了他们两人的相识和西行的缘由。拳打井一听，把牧羊鞭一折两断，决然说道：“我也愿跟张大哥同去西天！”于是，牛奶张三又多了一个西行的伙伴。
他们不停地走了数日，一座高山挡住了去路。三人正在山前犯愁，来了一个年轻的樵夫，看他们这般模样，便问：“你们是不是想过去，却因没有路犯愁？”三人连说：“是啊，是啊！这可怎么办？”那樵夫说：“那我就给你们开条路吧！”说话间，伸出两只大手，抠住山根，“嘿”一声吼，竟把那座山掀得翻了一个个儿。三人一齐吃了一惊，不觉脱口称赞：“好大的力气啊！”那樵夫却谦逊地说：“哪里，哪里。听说有个牛奶张三，膂力过人，我是仰慕已久了。”
三人不由得会心一笑，便与对方攀谈起来。原来这个樵夫也是自小无依无靠，没名没姓，靠打柴为生。当他问明了牛奶张三他们的事由，便断然说：“我也要跟你们一同去找那如来佛！”牛奶张三大喜过望，称他为“扳倒山大哥”，并提议道：“咱们四人萍水相逢，互相倾慕，索性结拜为兄弟，有福同享，有难同当，不知诸位意下如何？”腰别柳、拳打井和扳倒山齐声称好。正好不远处有一座山神庙，他们便走过去撮土为香，序齿跪拜。
正在这时，忽然从庙后走出一个白胡子老头，指着四人揶揄道：“你们自是力大，要去找如来讨母，殊不知那如来佛神通广大，法力无边，只怕你们奈何不得他呢！”四个人被激得暴跳如雷，哇哇直叫。白胡子老头微微一笑，说：“你们既然不服气，咱们就打个赌吧。我坐上你们的肩头，你们如能扛起我来，我老汉便为你们引路寻找如来；倘若你们扛不起我，那就听从我的调拨。怎么样？”
四个人哪里把这个又矮又瘦的老人放在眼里，立刻蹲下身，让白胡子老头坐在他们肩上。可没料想，他们使尽了吃奶的力气，硬是扛不起那老头来，而且愈用力肩上愈沉重，最后个个被压瘫在地上了。
那白胡子老头哈哈大笑，终于显了本相，原来他就是西天如来佛。众人人这才相信了佛法的高深博大，甘愿皈依佛门。佛祖命接引菩萨把牛奶张三的父母都接到西天极乐世界享福，一家团聚。牛奶张三、腰别柳、拳打井、扳倒山都做了佛祖的近身侍从，成为有名的四大金刚。