据说，香妃来自西域，自从入宫之后，整日闷闷不乐，经常幻想着能回到自己的故乡。因为她早在十五岁的时候，就嫁给了南疆首领小和卓霍集占。霍集占和他的哥哥大和卓在南疆策动了叛乱。在叛乱发生后，香妃曾经历了长达数年的流离之痛；清廷平息大小和卓叛乱后，她又经历了近一年的颠簸之苦，才随父兄来到了北京。
来到北京之后，她以一位寡妇之身进入皇宫成为了乾隆的女人。因此，她的深眸中隐藏着一种远离故土后深深的忧郁。当乾隆痴迷于她散发谜一样香气而纳她为妃时，她心中恐怕是一万个不愿意。因为此时的乾隆已经年过半百，到了知天命之年了。她深知她的婚姻是一种难以言传得到政治婚姻。
一个弱女子的命运就从这里发生了巨大的转折。当香妃跪倒在金碧辉煌的宫殿中时，看到的一步步向她走来的是一个身着龙袍却是老态龙钟的男人。为了消除香妃一脸思念家乡故土的忧郁，乾隆便为她修建了一座宝月楼。据说，此楼建造得彤墙碧瓦，富丽堂皇，巍峨壮观。登临其上，既可以览北海、中南海、什刹海等三海之形胜，又可以观“回回营”，也就是容妃的家族所在地的风情。
这座宫殿的内部陈列更是非常考究：四壁镶嵌精制瓷砖，中间罗列珍贵的珐琅古董，室内挂着价值万贯的绘有西域景物的壁画。居中立着高丈余、宽五尺的大铜镜，四周摆着国之瑰宝、异国奇玩。乾隆对这座宫殿分外垂青，亲自挥笔写了一篇《宝月楼记》。这篇《宝月楼记》的最后写道：“楼之义无穷，而独名之曰宝月者、池与月适当其前，抑有肖乎广寒之庭也。”这几句话，既有金屋藏娇之意，又含有此处为奔月嫦娥的仙客之所在，由此可见乾隆对香妃无尽的眷恋之情了。
北京的圆明园遗址中有一个香妃楼，这无疑是乾隆专门为香妃化妆建造的。那座楼如今也只剩下了几块石头。圆明园管理会为了让游人能够目睹到圆明园的风采，在每座遗址前都画了一幅原型画。据说，圆明园残留的很多石头上都刻有古兰经。在世人的眼里，与其说圆明园是一个历史的残骸，还不如说它是爱情的残骸。
乾隆皇帝虽然已到知天命之年，但他和香妃在一起，似乎焕发出一种无穷无尽的激情。乾隆经常巡幸宝月楼，和香妃对弈下棋，饭酒赋诗，出题对联，有时观赏香妃排演的西域舞蹈。乾隆非常喜欢香妃穿戴维吾尔族服饰。有一天，他射猎归来到了宝月楼，香妃还未来得及换“胡服”和摘下戎帽，乾隆见香妃如此装束，愈发觉得她分外美丽。于是，乾隆皇帝命人请来宫廷画师、意大利著名画家朗世宁给她画了一张胡装戎服像。
乾隆非常喜欢这幅画像，从此一直挂在宝月楼香妃的寝室里。据说现在挂在喀什噶尔香妃墓的那张像便是朗世宁的复制品。乾隆着实热爱着这位香喷喷的美人，无论是南游风景胜地苏杭，还是北巡祖先发祥地的满洲，他都喜欢把香妃带在身边，以香妃所爱而爱，所好而好。
不仅如此，乾隆还在宝月楼专门为香妃设了一个“回回膳房”，专有维吾尔族御厨为她调制各种回味佳肴。在穿着上，她也可以破例保持本民族的服饰。据说，在宝月楼里为香妃制作“胡服”的裁缝工人就有二十多位，侍候她的太监和宫女就多达二十四人。
香妃在幽静清冷的皇宫里，对后宫妃子们为争宠而发生的血腥争斗一无所知。她并不获知女人争宠的意义，不知道争宠是一件很残酷的事情。她的异域女人的天生丽质，以及神秘气息帮助了她，美丽使她获得了机会，使她处于一种更加优越和飘逸的境界，人世间琐碎的。而她此时最开心的事莫过于临登宝月楼。在这座名扬四海的宝月楼上，可以眺望远方，因为那里是她的家乡。
乾隆五十三年，即公元1788年，香妃在无尽的忧郁之中溘然长逝。她没有给乾隆留下一男半女，却给乾隆留下了无尽的思念。香妃之死，使七十七岁的乾隆精神上受到极大的打击。他经常去宝月楼瞻仰香妃那张胡服戎装遗像，每逢香妃的生日和伊斯兰教的节日，他都命官员去扫墓祭奠，还特别嘱咐在其供品中多摆些香妃生前喜欢吃的食品。在香妃死后的第三年，八十高龄的乾隆还不顾年高老迈之身亲自写了一首怀念香妃的诗歌。