唐朝开元四年，有个姓张的大官被贬到岳州(今岳阳市)来当太守。张太守到了岳州之后，愁眉紧皱，痛苦不堪。
有一天，他带着几个人出去巡视，顺便散散心，可是转了半天，也没找到个风景好的地方。
太阳落山的时候，太守带着随从转到西门外湖边上，看见前面有个圆形石台，上面建了个小亭阁，亭上挂着“阅兵台”匾额。原来这里是三国时期吴国大将鲁肃在洞庭湖操练水兵时修的。张太守登上阅兵台，远望无边无际的洞庭湖，顿时感到心胸开阔多了。一个随从对张太守说：“老爷，这里既可登高望远，又可观赏湖光山色，如果在高处筑座楼阁，那该多好呀！”
张太守听了，觉得有些道理，便打定主意，只等良辰吉日，动工建楼。第二天立即出榜，招聘名师巧匠，担任工程总管。
有一天，从潭州(今长沙市)来了一个青年木工，名叫李鲁班，自称擅长土木设计，无论什么亭阁楼台，宫殿庙宇，都能设计得尽善尽美。张太守便命他主管工程，限他一个月之内，画出一座三层、四角、五梯、六门、飞檐、斗拱、盔顶的楼阁图样来。
李鲁班成天躲在房子里，画了又画，算了又算，整整搞了七七四十九天，纸样画了一大堆，不是绘成一座土地庙，就是画成一个过路亭。累得满头大汗，还是没有一点结果。
张太守气极了，他对李鲁班说：“眼下工匠来了这么多，只等你的图了。真该死，你误了我的大事！再宽限你七天，到时候交不出来，绝不轻饶你！”
李鲁班吓得冷汗直冒，想来想去，也想不出什么好办法，一个人坐在湖边上哭起来了。木工、石匠见他哭得实在伤心，都跑去劝他说：“哎哟，你这个青年人哪，何必这样认真呢，不知道就不知道嘛，好好地在张大人面前认个错就是了。”
也有人说些风凉话：“既然取名鲁班，就一定有鲁班的本领，设计一个小小楼阁算得什么！”
李鲁班听了这些话，便诚恳地说：“各位师傅，我在乡下也做了六年手艺，茅屋瓦房盖过百十来栋，真没有想到画个楼阁图会有这么难呀。事到如今，只好请众乡亲帮帮忙，往后再重重地报答诸位。”
这时，有位白发老人站到人群前面来了。这位老人家，大家也不知道他叫什么名字，只知道两个月来，他每天都在工地上转来转去，问长问短，他对李鲁班说：“我看真鲁班也是从小苦学出来的，如果光躲在房子里画图，是难得画出个好楼阁来的。还是要和别的师傅多多商量才好。”“看样子，你一定也是个木工师傅了？”李鲁班恭恭敬敬地向老人说：“你老人家见多识广，请你费神帮帮我的忙好吗？”