瓦岗军首领翟让，本来是东郡的一个小吏，因为得罪了上司，被打进牢监，还被判了死罪。有个狱吏同情他，跟他说：“我看你是条好汉，怎么能在牢里等死呢。”一天夜里，狱吏偷偷地砸了镣铐，打开牢门，把翟让放了。
翟让逃出了牢监，逃到东郡附近的瓦岗寨，招集了一些贫苦农民，组织了一支起义队伍。当地一些青年人，听到这个消息，都来投奔他。其中有一个青年叫徐世勣（音ｊī），年纪才十七岁，不但武艺高强，而且很有计谋。
徐世勣劝翟让说：“这里附近都是贫苦的老乡，我们不应该去打扰他们；我看荥阳一带，来往的豪门富商很多，不如到那里去筹办点钱粮。”
翟让听从徐世勣的意见，带领农民军到荥阳一带，专门打击官府富商，夺取大批资财。附近农民来投奔翟让的越来越多，很快就发展到一万多人。
李密投奔翟让以后，帮助翟让整顿人马。那时候，附近各地还有一些小股的农民队伍。李密到各处去联络，说服他们联合起来，听从翟让指挥。翟让十分高兴，跟李密渐渐亲近起来。
翟让虽然有了很多人马，但是他并没想到自己能推翻隋炀帝。李密对翟让说：“从前刘邦、项羽，本来也是普通老百姓，后来终于推翻秦朝。现在皇上昏庸暴虐，百姓怨声载道，官军大部分又远在辽东。您手下兵强马壮，要拿下东都和长安，打倒暴君，还不是轻而易举的事！”
翟让听了很高兴，说：“您的意见太好了，我倒没想到这一点呢。”
接着，两人商量了一番，决定先攻打荥阳。荥阳太守向隋炀帝告急。隋炀帝派大将张须陀带大军镇压。
张须陀是镇压农民军的老手。翟让曾经在他手里打过败仗，这次听说又是张须陀来了，有点害怕。李密说：“张须陀有勇无谋，再加上他自以为强大，骄傲轻敌。我们利用他的弱点，保管能打败他。”
李密请翟让摆开阵势，正面迎击敌人；他自己带了一千人马在荥阳大海寺北面的密林里设下埋伏。