机会很快就来了。八王之乱不断升级，从政变发展成战争，坐镇邺城的成都王颖为拉拢五部匈奴，奏请刘渊行宁朔将军（四品官）、监五部军事，让他在邺城领兵。不久，齐王冏、长沙王乂和成都王颖等自相残杀，天下大乱，四方州郡寇盗蜂起，并州的匈奴人自然也不会消停。
族人们都跑来和左贤王刘宣商量。刘宣是刘渊的爷爷辈，年高德劭，很有威望。老头儿听了大家七嘴八舌的意见，抖着白胡子激动的说道：“想当年，我们冒顿大单于与汉室约为兄弟，祸福与共。可自从汉亡以来，魏晋代兴，我们单于虽然保留了名号，却不再拥有一寸土地！名义上虽是王侯，待遇上却跟汉人老百姓一般同！这种局面，我们还能再忍受下去吗？如今司马氏骨肉相残，四海鼎沸，正是我大匈奴兴邦复业的好机会！虽说现在我们实力不如从前，但仍有不下两万部众，如何便甘心受晋人奴役了此一生！左贤王刘渊才器绝人、文武双全，如果长生天不欲恢复我单于之业，何必降下此人？”这一番话说得众人心悦诚服、壮怀激烈，于是纷纷推举刘渊为匈奴大单于，准备起事。