李渊犹豫了许多时候，才长叹一口气说：“昨天夜里，我想想你说的话，也有道理。我也拿不定主意。从现在起，是家破人亡，还是能化家为国，就凭你啦！”
李渊把刘文静从晋阳牢监里放了出来。刘文静帮助李世民，分头招兵买马。李渊又派人把正在河东打仗的另两个儿子李建成和李元吉召了回来。
太原的两个副留守看到李渊父子的举动反常，想出来阻挠。李渊借口他们勾结突厥，把他们抓起来杀了。
李渊又听从刘文静的计策，派人备了一份厚礼，到突厥可汗那里讲和，约他一起反隋。突厥可汗觉得这样做对他们有好处，就答应帮助李渊。
李渊稳住突厥这一头，就正式起兵反隋。李渊自称大将军，派李建成和李世民分别做左右领军大都督、刘文静做司马，又把兵士都称为“义士”。他们带领三万人马离开晋阳，向长安进军。一路上继续招募人马，并且学农民起义军的做法，打开官仓发粮给贫民。这样一来，应募的百姓就越来越多了。
唐军到了霍邑（今山西霍县），遭到隋朝将军宋老生的拦击。霍邑一带道路狭隘，又正赶上接连几天大雨，唐军的军粮运输中断了。兵士中还纷纷传说突厥兵正准备偷袭晋阳。李渊动摇起来，想撤兵回晋阳去。
李世民对李渊说：“现在正是秋收季节，田野里有的是粮食，哪怕缺粮！宋老生也没有什么可怕。我们用义兵的名义号召天下，如果还没打仗就后撤，岂不叫人失望。回到晋阳，是断断没有生路的。”
李建成也支持他弟弟的主张。李渊这才改变了主意，取消了撤兵的打算。
八月的一天，久雨刚刚放晴。唐军一早沿着山边小路，急行军来到霍邑城边。李渊先派建成率领几十个骑兵在城下挑战。宋老生一看唐军人少，亲自带了三万人马出城。李世民带兵居高临下从南面山头冲杀下来，把宋老生的人马冲得七零八落。宋老生急忙回头想逃回城去。李渊的兵士已经占了城池，把城门关得紧腾腾的。宋老生走投无路，被唐军杀了。
唐军攻下霍邑以后，继续向西进军，在关中的农民军的配合下，渡过黄河。留在长安的李渊的女儿也招募了一万多人马，号称“娘子军”，响应唐军进关。
李渊集中了二十多万大军攻打长安。守在长安的隋军，要想抵抗也没用了。李渊攻下长安以后，为了争取民心，宣布约法十二条，把隋王朝的苛刻法令一概废除，并且暂时让隋炀帝的孙子杨侑（音ｙòｕ）做个挂名的皇帝。
第二年（公元618年）夏天，从江都传来了隋炀帝被杀的消息，李渊才把杨侑废了，自己即位称帝，改国号为唐。这就是唐高祖。