公元304年八月，刘渊起兵于离石左国城，称大单于。
卷二 灭晋（2）建汉（上）
起兵后的刘渊在一个月之内，队伍就壮大为五万人。其中既有五部匈奴，也有前来归附的汉人和杂胡。
但此时他面临的情况并不乐观。五万人说少不少，说多也不多，是当时几乎任何一个都督、刺史都能拥有的兵马数量。而且队伍刚刚扯起来，大家来自不同的部落和种族，人心未服，更重要的是，还缺乏一个共同的奋斗目标。
刘渊起兵的离石即现在山西吕梁市的离石区，这里位于吕梁山腹地，自古就是个穷地方，但地理位置重要，北通雁门、东抵晋阳，向西越过黄河可以联结胡羌，向南则可顺汾水谷地直扑河东。所以对仅仅占据离石一县之地、急需扩大地盘的刘渊来说，战略选择是比较多的。