刘琨什么也没说，立刻开始了重建工作。
他带领群众翦除荆棘，收葬枯骨，重新建立了官衙、监狱和市集，恢复了城内的生产生活秩序。他又向朝廷申请调集粮食、布帛，赈济穷困，安抚流民。若有寇盗前来劫掠，刘琨就率军民以城门为战场，百姓都随身带着盾牌弓矢干农活。经过将近一年的经营，晋阳城又恢复了生机，远近的流民都来归附刘琨。
而对于相距不过三百里的刘渊，刘琨没有贸然出击，而是针对其种族、部落众多的特点，玩起了无间道。他派遣间谍潜伏进敌人内部，今天散布点谣言，明天搞点破坏，弄得刘渊手下的杂胡们人心惶惶，有一万余落跑来归降了刘琨。
在此后的岁月里，刘琨将成为刘渊父子向北扩张的最强劲对手。
刘渊几次三番向北方扩展不利，如今又来了个更厉害的刺史，不由得开始反思自己的战略方向起来。这时，侍中刘殷、右光禄大夫王育建议，应该先南定河东，再西据长安以之为都城，然后再以关中为基地，东取洛阳，就像当年刘邦灭项羽的战略步骤一样。刘渊于是决定，调整攻略方向，主攻河东一带。不久，他就派兵南下攻取了蒲子（今山西隰县）和平阳（临汾）。