后来贺知章得知，前来盘问，李白方解释道：高是低来低是高是说高力士谄媚朝廷，虽弄权宫中，高高在上，实则一副奴才嘴脸。功名出头须颠倒是说朝纲黑暗，奸臣当道，是非颠倒。莫笑老公无胡子，一眼便知讽刺太监之词，至于最后一句'乾坤'乃指阴阳、男女，暗寓高力士非男非女，如阉过的鸡犬——非人也。
我本楚狂人，凤歌笑孔丘，是李白狂傲的自喻，他在长安做了三年的翰林。一次陪皇室踏青，群山，瑶台，兰天，白云，春风逗得他诗兴大发，挥笔写下"云想衣裳花想容，春风拂槛露华浓。若非群玉山头见，会向瑶台月下逢"。
杨贵妃非常喜爱这首诗，拿着反复吟诵，皇帝看到贵妃高兴赐酒李白，李白是嗜酒如命之人，"且就洞庭赊月色，将船买酒白云边"。美景，美酒，美人，美差使他飘飘然，贵妃捧着砚台邀李白再作一首，高力士也在一旁笑嘿嘿的打趣道："羊身上找狼毛，让他想一想。"李白答道"你把鞋脱了，我就写"。
高力士也不是善角，脑袋瓜一转，弯腰把李白的鞋给脱了。李白提笔急书"名花倾国两相欢，长得君王带笑看。解释春风无限恨，沉香亭边倚阑干"。他光脚依在沉香亭边的栏杆上，笑嘻嘻的对高力士说"你把鞋脱了我再来一首。"高力士不肯，杨贵妃说："我还捧着砚呢，你快把鞋脱了吧，他不也没有穿鞋吗？"
高力士无可奈何，讪讪的脱下鞋子。李白再次挥毫"一枝红艳露凝香，云雨巫山枉断肠。借问汉宫谁得似，可怜飞燕倚新装"。"可怜飞燕倚新装"成了高力士污陷李白的话柄，没过多久，李白出宫，仕途尽。
之后又遭流放，原因是永王李璘在唐肃宗武灵即位后在江陵谋反称帝，欲招揽有名之士，时李白隐居庐山，被请，李白辞不应赴，后被挟持。李璘事败，李辅国，因之前李白为翰林学士时有隙，乘机弹劾。郭子仪等保奏，免其死长期流放夜郎。—这是隋唐演义中的说法。我觉得更符合李白清高的性格。
来揭秘吧总结李白之所以被贬，因为其心高气傲，自命不凡，瞧不起宫廷之人，尤其是皇权重势，所以做的许多事与皇室等多有冲突，这肯定会引起那些掌权者的不悦，所以他们必会想法设法排斥李白，被贬是必然的，之后被流放纯属时运不济。