此時已是黃昏時分，也沒有攻城工具，但士氣正盛，隨着李淵一聲令下，衆將士肉搏登城，搭着人梯而上。
李世民、鐵綱靖帶着弓箭手射箭掩護，李玄霸則舉着雙斧衝在前方，大吼道：“兄弟們，剛喫飽飯，正好殺敵消食，都跟着我衝啊！”有李玄霸帶頭，軍士們相擁而上。
霍邑城上的隋軍，看宋老生已死，城外的戰友盡數戰死，嚇得肝膽俱裂，尤其是見到李玄霸這個殺神帶頭殺上來，哪裏還敢守城，一個個丟盔棄甲躲入城中。很快城頭就被義軍的旗幟，李淵的帥旗迎風飄揚。
一舉拿下霍邑，衆人皆是歡呼，只有李玄霸略有失落，因爲沒有殺到人，喫飽飯後的一身力氣無處發泄。
見李淵進入霍邑城，城中的官吏、軍士匍匐在地乞求投降請罪。
李淵望着衆人，醞釀了一下情緒，然後愴然淚下，道：“老夫興義軍、舉義旗，不爲別的，只爲了安定天下，讓百姓能夠安居樂業。自河東進軍以來，義軍所至，百姓均是見到義旗而投誠。今日爲宋老生所逼，採取了強攻霍邑。亂兵之下，善惡難分，以至於生靈塗炭，我深感痛惜和悔恨。今日之戰，罪在宋老生，除他之外，我絕不追究任何人的罪責。從今天開始，老夫只用文德來領導霍邑，再不會動用兵戈，縱然你們不願投誠於我，我仍以赤誠之心相待諸位”
站在後方的鐵綱靖看到這一幕，暗歎：“這不就是劉備，或者宋江嗎？眼淚呼之即來，絕對是實力派影帝。”
安定了霍邑，接下來是論功行賞，有軍吏質疑那些奴隸出身的應募士兵不應該與良人士兵獲得同等獎賞。倒是李淵大度道：“箭矢亂兵之中，不分貴賤，冒着同等身亡的風險，在論功行賞之際，爲何要有差別？給老夫一律平等，論功授勳。”
之後是揭榜安民一陣忙活，李淵對城中老生文武老幼一律做了安排，對城內故有的官吏，去留隨他們意思，留下的一律如西河郡那般犒賞，節級授官，與原先同等；對已降的軍士，有想回關中的，一概授予五品散官，即日即可遣返；對城中丁壯適合當兵者，尊重個人意願安排從軍，並安排他們的同鄉同黨一處從軍，由他們自己統領。
裴寂等老牌官吏見此覺得授官太濫，有違慣例。
李淵笑道：“想一想雁門解圍之後，隋帝吝惜爵賞，因而失去人心，我爲何要學他這不好的一點？散官只是一個頭銜，又不領俸祿，軍士體面了，我們也沒有損失，還獲得天下人心，遠勝於用兵，何樂而不爲？”
衆人一聽，點頭稱是，鐵綱靖聽了更是連連點頭，心想原來僞善是一種了不起的帝王之術，以他的覺悟，是怎麼也達不到李淵的境界，看來李淵並沒有像小說塑造的那樣無能。
這一番安撫之後，內外鹹服，都想着如何報效唐公，一個個奮勇爭先。而李淵還不忘將宋老生以本官之禮安葬了，更是令人歎服。
過了兩天，李淵引軍直奔臨汾，還未安營紮寨，守城的官吏早已開門迎接，表示願意歸附唐公。因此不費吹灰之力拿下臨汾，慰撫遵循霍邑的慣例。
只有進據關中，義軍才能擁有大本營，站穩腳跟，急於進軍的李淵並不在臨汾停留，立刻率領義軍前去進攻絳郡。
絳郡的郡守是陳叔達，是陳高宗之子，陳後主同父異母的弟弟，素有才學，見李淵大軍如黑雲壓城一般壓過來，並不出城迎戰，採取的是閉門拒守的策略，大有頑抗到底的態勢。
陳叔達不是易與之輩，李淵一時奈何不了，只能是一面攻城，一面向陳叔達招降。招降的說辭無非是罵楊廣殘暴，以至於天地不仁，以萬物爲芻狗。又說起楊廣當年攻打南陳的往事，勾起了陳叔達的亡國之恨。
陳叔達抗拒了幾日之後，終究還是從了，大開城門，以負荊請罪的方式迎接李淵進城。李淵絲毫不怪罪，優禮相待，仍命陳叔達統領臨汾郡，其餘官吏、將士均依照霍邑的慣例慰撫。
李淵的慰撫策略頗得人心，義軍勢如破竹，拿下臨汾郡後，再度出兵前往龍門。
到了龍門，恰逢劉文靜及突厥的康鞘利率領突厥騎兵五百人、戰馬兩千匹趕到。李淵大喜過望，獨對劉文靜說：“突厥兵少馬多，正合我意，君可謂是不辱使命。”衆人之前對劉文靜的懷疑也就此煙消雲散。
劉文靜稱謝之後，與其子劉樹義訴過離別之情。
李淵得了兩千匹戰馬，分配停當後，擬督軍進軍河東郡，前往攻擊屈突通。這時忽有河東戶曹任瑰求見，李淵料是有軍情，立即傳入。
任瑰行過禮後，即向李淵進言道：“唐公，關中豪傑皆翹首以盼您的義軍駕到。任某在馮翊多年，郡中豪傑多半知曉，若能讓我奉唐公之諭前往招攬，這幫豪傑必定望風投誠。唐公可從梁山濟河，指韓城，直逼郃陽，馮翊太守蕭造不過是一個文吏，見到唐公的威武之師必然畏服，大開城門投降。就是馮翊郡勢力最大的賊帥孫華等，也必然遠迎義師的到來。到時唐公只須鼓行直進，佔據永豐倉，再取長安，則關中可得也。”
李淵聽後，頗爲認同，即授予任瑰爲銀青光祿大夫，派其前去招攬馮翊賊帥孫華。
那孫華手下有精兵強將數千人，常年劫掠，非常富實，在馮翊沒人敢惹他。不料接到李淵的招攬書，竟然欣喜從命，沒有絲毫猶豫，表示願意投誠，爲李淵效力。