唐诗云：“昔人已乘黄鹤去，此地空余黄鹤楼。”诗中的“昔人”指的大概是仙人王子安或费祎。不过，到了宋朝，黄鹤楼又与仙人吕洞宾联系到了一起。
传说，有一个姓辛的老板在蛇山上开了一家酒店。一位道士常常来喝酒，但从不给钱。辛老板也不以为意。一次，道士临走之前，用橘子皮在墙上画了一只黄鹤，如果客人对着黄鹤拍手，黄鹤就下来翩翩起舞。如此一来，酒店的客人越来越多，生意也非常兴隆。
十年后，道士再次来到酒店，从腰间取出笛子，吹出悦耳的音乐。黄鹤徐徐飞出墙壁，道士骑上黄鹤缓缓飞走。据说，这位仙人就是吕洞宾。
为了纪念仙人和黄鹤，辛老板出资在山上兴建了黄鹤楼。后人每每登高至此，总会想起这美妙的传说。