光绪中叶以后，慈禧忽然怡情于翰墨，学画花卉，又学写书法，常写福寿等字赐嬖幸大臣。但自己的字写得不太好，就想找个代笔的妇人，于是降旨各省督抚留心寻觅。四川有官眷缪氏，其夫在蜀地做官死在任上。缪氏工花鸟，会弹琴，小楷字写得楚楚清秀，于是被送入京里。慈禧召见面试后大喜，让她随在左右，朝夕不离，并免其跪拜。月俸二百金，又为她的儿子捐内阁中书职位。缪氏有时也做应酬笔墨卖于厂肆，其书画颇有风韵。自是之后，凡大臣家有慈禧所赏的花卉扇轴等物，都出自缪氏的手笔。
慈禧六十大寿的前几天，她忽然问缪氏：“满洲妇女的婚妆，你也见过了；我却没见过你们汉女结婚时穿的是什么？”缪氏说：“是凤冠霞帔。”慈禧说：“庆祝那天，你要穿凤冠霞帔做我的陪宾。”第二天缪氏买了凤冠霞帔穿上，慈禧大笑不可抑止，说像戏剧中的某人。到了慈禧大寿那天，众满族妇女入宫，看见缪氏的服装无不大笑失声。慈禧当天十分高兴，而缪氏被束缚在凤冠霞帔里整整站了一天，苦不堪言。估计她下辈子再也不想穿什么倒霉的凤冠霞帔了。
传说慈禧太后有男宠，若武则天之与薛怀义、张昌宗那样。清代文廷式《闻尘偶记》云：光绪八年的春天，琉璃厂有一位姓白的卖古董商，经李莲英介绍得幸于慈禧。当时慈禧四十六岁。白某在宫里住了一个多月以后被放出。不久，慈禧怀孕，慈安太后得知大怒，召礼部大臣，问废后之礼。礼部大臣说：“此事不可为，愿我太后明哲保身。”当夜慈安猝死。
另有野史记载：慈禧好吃汤卧果，每日早晨派人去宫门口买四枚汤卧果，由金华饭馆的伙计派人送来。金华饭馆有一个姓史的年轻伙计，他长得玉树临风，仪容俊美。史某与李莲英混熟了，经常被李莲英带到宫里去玩。有一天，慈禧忽然发现李莲英旁边站着个俊美的少年，便问李莲英那是谁？李莲英十分害怕，因为带外人入宫严重违反宫禁，但又不敢撒谎，只得如实禀告。慈禧没有表现出生气，反而有些兴奋，将史某留在宫内“昼夜宣淫”，一年后生下光绪。慈禧不敢养在宫中，命醇亲王代为养育，接着将史某灭口。光绪比同治低一辈，慈禧违反立子不立弟的常规，或许因为光绪是她的亲生儿子。
慈禧和太监安德海、李莲英有私的传闻，在史书中查寻不到足够的证据。李莲英在入宫前，因为生活落魄，曾私贩硝磺，外号皮硝李。后贩硝磺被抓入狱，出狱后以补鞋为生。好友沈兰玉见他可怜，将他引进宫里当了太监。李莲英素有“篦小李”之美誉，以一手漂亮的梳头功夫得到那拉氏的赏识。他的值班房离西太后住所不远，有时太后到他屋里看一下，李便把慈禧坐过的八张椅子全部包上黄布，西太后果然称许他忠诚细心，对他愈加信任。
康熙末年规定太监品秩最高为五品，最低者八品；乾隆七年改为“不得超过四品，永为定例”。慈禧执政时，打破祖制，赏李莲英为二品。多年来，慈禧对李莲英宠眷不衰，二人常在一起并坐听戏，凡李莲英喜欢吃的东西，慈禧多在膳食中为他留下来。李莲英为人极为聪敏，善解人意，对待其他人也比较和善，不如安得海那样气焰嚣张，所以能够得到善终。
但安得海、李莲英与慈禧之间的暧昧即使有，也不可能发生切实的性关系。因为若他俩没净身干净，是假太监，这事是瞒不了所有人的。在清朝对太监的检查尤其严格，当太监后隔年还得接受慎刑司验身。