老人说：“我没有画过图，只不过呢，我这里有些小玩意儿，你若喜欢，不妨拿去摆弄摆弄，或许会摆出一些名堂来的。”老人把背着的包袱打开，里面装的是一大堆长的、短的、圆的、方的，还编了号码的木柁柁，他随手往地上一摊说：“若是还差点什么的话，到连升客栈的楼上找我就是了。”说完之后，他头也不回地走了。
李鲁班抱起那堆木柁柁，蹲在工棚里苦思冥想，摆来弄去，竟连饭也忘记吃了。
有个年轻木匠见他这样入迷，抓起几个木柁柁往草堆里一丢，说：“哼，那个老汉疯疯癫癫的，说不定是个吹牛皮大王，你也真的相信他？”旁边几个老木匠连忙说：“年轻人还是谦虚一点的好，人家年纪那么大了，他过的桥，比你走的路还多呢？你凭什么说他吹牛皮？”老木匠们一个个坐下来和李鲁班一起按着木柁柁上面的号码，慢慢地摆弄起来。他们摆了又摆，突然，大家高兴地齐声喊叫起来：“快来看呀，一座顶漂亮的楼阁模样儿做好啦！”工匠们听见了，跑过来一看，果然是一座壮观的楼阁模型。不一会儿，整个工地的人都围过来了，人人夸赞不已。可是看来看去，还有个飞檐少了五个斗拱。
大家按号码仔细一查，不多不少缺了五个木柁柁。刚才那个丢木柁柁的青年木工，也跑来了，毫不在乎地说：“整整一座楼阁的模样儿都做出来了，差这几个木柁柁愁什么！等我来照样做几个补上去就是了。”
哪知道他做了一天一夜，木头砍了百多块，就是没有一个合适的。不是长了半分，就是短了半分。这时，他才想起被自己丢掉的那几个木柁柁，心中很觉得过意不去，只好对大家说：“实在对不起大家，只怪我太不懂事，那少了的斗拱，就是先前被我丢掉的那几个。”“丢在哪里？快带我们去找回来。”大伙齐声问道。“就在前面茅草堆里。”青年木匠领着大伙在那一片野草丛里找来寻去，好容易找出了四个，还有一个却怎么也找不出来，野草都扯光了，也不见木柁柁的影子。
这时，张太守听说楼阁模型造好了，急急地赶来一看，果然气派不凡。他高兴极了，连声称赞说：“如此壮观、雄伟，真可谓天下第一楼矣。”“启禀老爷，此楼模型还差一个飞檐斗拱。”“此楼模样出自何人之手？快快请来将斗拱补上。”“禀老爷，是个白发老人，不知姓名，只知他住在连升客栈。”张太守领着大家急急忙忙奔到连升客栈，要找白发老人。老板娘听说张太守亲自来找人，不知出了什么事，连忙慌慌张张跑出来说：“哎呀，这个老头子进店两个多月了，白天从不落屋，夜间就在楼上劈呀锯的闹到半夜。我还以为他帮人家做家具，谁知道他只给那些孩子们做些好玩的。”
“快快打开楼门，让我去看个究竟。”张太守那个急不可待的样子，把老板娘吓坏了，她连忙把楼门打开。让张太守查看。张太守上楼一看，没见老人的影子，只见床上摆着一张绘制得精致美观的楼阁图样，桌子上还有十几个木柁柁。老师傅们认真地翻了一阵，发现桌上正好有缺少的那个号码的木柁柁，连忙拿回去一摆，便构成一份完整无缺的楼阁模型了。张太守和大伙拍手大笑起来：“这才是真鲁班来了，一定要把他找到。”
可是谁也不知道他到什么地方去了，张太守连忙派人到岳州城内城外四处查访。头天没找到，第二天还是没影子，直到第三天清早，忽然有人前来报信，说有个白发老人在湖滩上用石头砌了一个拱洞，又在拱洞上面砌房子。张太守听了，领着几个人连忙赶到湖滩。可是那个白发老人又不见了，只见那石头砌成的拱洞上面，架起了一个非常美丽壮观的楼阁，张太守指着湖滩上的楼阁模型，赞叹道：“此人才智非凡！看来用拱洞做楼基可算别具一格。这真是得天之助也！”他抬头一看，只见一个白发者人，手握一把尺子，正在对面高坡上丈量土地，张太守连忙问众人：“前面可是……李鲁班高兴地叫喊起来：“正是他，正是那位老师傅呀！”
张太守赶上前去，一边行礼，一边说：“久仰师傅技艺超群，今日得见，真是三生有幸，敢问师傅莫不是姓鲁？”白发老头连连摇头说：“我姓卢，鲁班是我的师傅。”“令师今在何处？请求指点，下官有事求见。”白发者头指着前面许多木工、泥匠说：“你看他正在那里向老师傅们请教哩。”众人顺着他手指的方向看去，果然有个异样的老人，兴致勃勃地正在和工匠们谈论着什么。张太守领着大家赶过去一看，那些正忙着做事的木工泥匠，仿佛人人都像刚才看见的那个卢师傅，但又分不清哪个是真正的鲁班。待他们回头再去找那个姓卢的师傅时，只见地上留下一把尺子，上面清清楚楚刻了“鲁班尺”三个字。
张太守急忙登上当年鲁肃的阅兵台，面对八百里洞庭湖水高声呼喊着：“鲁班师傅——，请你再来哟——”湖面上，顿时远远近近响起了一片“来哟——来哟——”的回声。这时，西边天上，红霞万朵，仿佛有个白发老人，乘着一只白鹤，向水天尽头飞升而去。木工、泥匠师傅们按照那白发老人设计的式样终于造成了楼阁，并以西城门拱洞作为楼基。
人们把三层飞檐拱取名为“鲁班斗”。由于这个楼阁位于天岳山之阳，所以大家就称它为“岳阳楼”。