后来苟晞又傍上了长沙王乂，当了王府里的从事中郎，也是六品。不知何时他又与东海王司马越扯上了关系，到司马越奉惠帝北征司马颖的时候，居然混上了掌管禁军的北军中候一职。靠着这层关系，后来司马越掌权的时候，苟晞终于在司马越的堂弟范阳王虓的栽培下，捞到了兖州刺史这个正四品的封疆大吏职位。
西晋时的兖州，辖境大致相当于今山东西部和河南的东部。按照当时“九品中正制”的规矩，三品以上的职位几乎都由高贵门第出身的士族担任，对出身庶族的苟晞来说，四品官基本就到了顶——除非立下殊勋。而苟晞到任后不久，建立殊勋的机会就来了。306年九月，攻打邺城失利的公师藩落荒而逃，从白马（河南滑县东）渡过黄河进入兖州境内，还没等他喘口气，苟晞就到了。活该公师藩倒霉，碰上这么一个主儿，成为了苟晞建功立业的第一个刀下鬼。