这一回，白居易谏阻宪宗封宦官做统帅，惹得宪宗很气恼。他跟宰相李绛说：“白居易这小子，是我把他提拔上来的，怎么对我这样不敬，我实在忍耐不住啦！”
李绛说：“白居易敢在陛下面前直谏，不怕杀头，正说明他对国家的忠心。如果办他的罪，只怕以后没人敢说真话了。
唐宪宗勉强接受李绛的意见，暂时没有把白居易撤职。但是，过了没有多少天，终于把他左拾遗的职务撤掉，改派别的官职。
白居易写了许多诗，其中有不少是反映现实的，像《秦中吟》和《新乐府》。在这些诗篇中，有的揭露了宦官仗势欺压百姓的罪恶，有的讽刺官僚们穷奢极侈的豪华生活，有的反映了劳动人民的痛苦遭遇。他的诗歌通俗好懂，受到当时广大人民的欢迎，街头巷尾，到处都传诵着白居易的诗篇。据说，白居易写完一首诗，总先念给不识字的老婆婆听，如果有听不懂的地方，他就修改，一直到能够使她听懂。这当然只是一种传说，但是说明他写的诗歌是比较接近群众的。
正因为他的诗反映现实，触犯了掌权的宦官和大官僚，也招来了一些人的咒骂和忌恨。有些人想诬陷白居易，只是一时找不到借口。
过了几年，白居易在太子的东宫里作大夫。有一次，宰相武元衡被人派刺客暗杀了。这次暗杀有复杂的政治背景，朝廷的官僚谁也不想开口。只有白居易站了出来，首先向宪宗上了奏章，要求通缉凶手。宦官和官僚抓住这个机会，说白居易不是谏官，不该对朝廷大事乱主张，狠狠地告了一状。
接着，又有一批一向讨厌白居易的官员，乱哄哄造谣污蔑，向白居易泼污水。有人说白居易的母亲是看花掉到井里淹死的，白居易居然还写过《赏花》、《新井》的诗，那不是大不孝吗？
经过这样罗织罪名，谁也没法给白居易辩护，白居易终于被降职到江州（今江西九江）去当司马了。
白居易无辜受到贬谪，到了江州之后，心情十分抑郁。有一天晚上，他在江州的湓浦口送客人，听到江上传来一阵哀怨的琵琶声，叫人一打听，原来是一个漂泊江湖的老年歌女弹的。白居易见了那歌女，又听她诉说她的可悲身世，十分同情；再联想到自己的遭遇，引起满腔心事。回来以后，写下了著名的叙事长诗《琵琶行》，诗中说：
我闻琵琶已叹息，又闻此语重唧唧。
同是天涯沦落人，相逢何必曾相识。
后来白居易又几次回到京城，做过几任朝廷大官。但是当时的朝政十分混乱，像白居易这样正直的人不可能有什么作为。他把他全部精力倾注到诗歌创作中去。他的一生一共写了二千八百多首诗，成为我国文学宝库里的一份十分珍贵的遗产。