这一来，刘聪就恨上了刘乂，想把他废掉。但考虑到单氏刚死，于心不忍，就暂且作罢。
没多久，刘聪的皇后呼延氏死了。这位呼延氏是刘聪的元配，呼延家族又有很强的势力，所以有她在日，刘聪还不敢过于放肆。她这一死，刘聪多年来潜藏的欲望终于开始肆无忌惮的释放开来。
首先，在选立呼延后接班人的时候，刘聪想娶太保刘殷的女儿。太弟刘乂又不同意，原因很简单，你姓刘，老婆自然不能再姓刘，自古以来同姓不婚嘛！但皇帝想办的事，下边自然有人会“体察上意”，于是刘延年、刘景等大臣都说太保刘殷乃周朝刘康公的后代，跟咱们匈奴刘氏不是一脉，娶他的女儿问题地没有。
好，既然问题地没有，娶一个实在太少，不如多娶几个。于是刘聪娶刘殷的两个女儿为左右贵嫔，又纳他的四个孙女为贵人（赏给司马炽的小刘贵人就是其中之一）。从此之后，“六刘之宠倾于后宫，聪稀复出外”，国家大事统统叫太监传进后宫，由左贵嫔刘大姐来决断。
不过，这位刘氏倒不愧为名门之后，史书称赞她既贤且明，刘聪每次要干点什么坏事，她经常能从旁劝告规正。