除了阻擋屈突通西行支援長安，李淵還排除一支軍隊攻擊河東，雖然明知不能攻克，但目的只是騷擾蒲州守軍，也令屈突通首尾難以兼顧。
此時長安城內已風聞李淵要攻打長安，一下子人心惶惶，代王楊侑畢竟年幼，此時不過十二歲，只能指望留在長安城內的大臣們拿些主意出來。偏偏那刑部尚書兼京兆內史衛文升年紀大了，聽聞此事，憂懼成疾，已不能參與政事。
好在城中還有左翊衛將軍陰世師、京兆郡守骨儀等人，雖然李淵打着立代王爲君主的旗號，但他們清楚這不過是披着羊皮的外衣，以掩蓋其暗藏的狼子野心，陰世師因此主張嬰城堅守。
由於李淵的威德天下皆知，加上他喊的什麼“解天下倒懸之急”等口號，陰世師等人怕長安城內的愚民們受到蠱惑，京邑之人紛紛逃離，投奔李淵而去，因此在運糧入宮後，選擇了緊閉城門，不讓百姓出入。
李淵聽聞長安城的對策後，感嘆道：“我興義軍，舉義旗，不過是尊隋室，欲立代王爲君主，以報高皇帝。不料卻反而被懷疑我有取而代之之意，拒不接納義軍，陰世師、衛文升這羣小人簡直是深深辜負了老夫的一番好意。”
說這話時，幸虧鐵綱靖沒在旁聽到，否則以他心直口快的擡槓精神，說不定會脫口而出：“信你個鬼，你這個糟老頭子！要奪人天下了，難不成還叫人家大開城門，夾道歡迎，高呼‘歡迎唐公來取代我楊家天下！’”
這邊李世民屯營涇陽，加上新近加入李氏等幾路人馬，將士人數已達十三萬之多。那邊李淵又派劉弘基、殷開山率領六萬大軍南渡渭水，屯在舊的長安城（即漢代興建的長安城）。自此，渭北、渭南都是義軍，對長安城形成南北夾擊之勢。
長安城內見形勢危急，按耐不住，想趁義軍立足未穩進行攻擊，陰世師派出一支軍隊出戰，但被劉弘基攔下，輕鬆破掉攻勢，隋軍只能退回城內，窩在城中不出。
李世民見長安城已是囊中之物，大局已定，並不着急，派人去告訴李淵，請他即日趕赴長安主持大局。
坐鎮長春宮運籌帷幄的李淵見此，心中歡喜，對衆人道：“屈突通西行之路被我軍阻隔，不足慮也。”
當下整好軍隊，即刻引軍西行，沿途把經過的楊廣那些離宮園苑全部撤銷，放出裏面的宮女各回各家，各找各媽，宣稱道：“大業已來，巡幸過度，宿止之處，好依山水。經茲勝地，每起離宮，峻宇雕牆，亟成壯麗。良家子女，充仞其間。怨曠感於幽明，縻費極於民產。替否迭進，將何糾逖。馳道所有宮室，悉宜罷之，其宮人等並放還親屬。”
鐵綱靖聽到此消息，料想那些宮女不過是楊廣挑剩下的，姿色想必也不如晉陽宮的張妃、尹妃，勾不起李淵的興致，所以乾脆做個好人，全部放回家。
李淵明白自己所舉義旗，民心非常重要，考慮大軍不少是羣盜所歸附，因此嚴令各軍各依壁壘，不得進入附近村落做任何侵暴之類的勾當。若無戰事，所有將士須在營中待命。
大軍壓境，兵臨城下，長安城內已是人心惶惶。那代王楊侑年紀雖小，即使內心慌張，但外表仍然盡力保持鎮靜，對一個十二歲的孩子已是頗爲難得了。此時長安與遠在江都的楊廣音訊隔絕，即便求援，也是遠水解不了近渴。
李淵派遣使者到長安城下，向留守的大臣衛文升等宣諭，表示興義軍是爲了遵奉代王爲帝。
但是衛文升早已驚嚇過度，重病不起，不能理事。而陰世師、骨儀等大臣，見義軍人數衆多，且軍令森嚴，不令而齊，明白是一個硬茬，惹不起，只是下令嚴防死守，不斷加固防守，杜絕信使往來。
李淵每次遣使到城下，申明自己尊隋夾輔之意，但是陰世師等大臣絲毫不信，也不將李淵表達之意告訴代王楊侑，以致李淵的任何宣諭無法傳達。城中的楊侑更是無計可施，還在眼巴巴指望着屈突通和江都派人來救援。
如此耗了十餘日，諸將捺捺不住，紛紛向李淵道：“京都嬰城自守，此時代王他們要自亡隋運。上天既要隋亡，非人力所能復興。唐公不必違背天意，徒耗日子，反而勞師費糧。坐等長安城內這些頑固的大臣和代王開竅，並非長久之策，還請唐公出兵圍城，代王等人才會回心轉意打開城門迎接唐公。”
李淵搖頭道：“老夫舉義旗、興義兵，本意是尊隋奉代王爲帝，若是強行攻城，弓箭無眼，士兵失控，無意間傷了代王，那世人又會如何看待我？老夫可不能悲傷判隋造反的千古罪名。”
鐵綱靖聽後，心中狂笑，暗道：“叛隋造反的事情做都做了，爲何還有這麼多顧慮？難道就爲了維護那張虛假的面孔？果然帝王之術不是我這等粗淺的搬磚工所能理解的。”
此時裴寂站出來勸道：“當今隋主連年暴政和征伐，以致於白骨露於野，千里無雞鳴，已失天下民心。代王雖也年幼，但不開竅，將來也成不了周成王這等英明君主，唐公何必行周公旦輔佐成王之事。”
李世民也站出來，道：“父親大人，且不說大隋氣數已盡，就說河西自稱‘秦帝’的薛果，此乃奸猾之徒，正在河西攻城略地。若是聽聞我軍進據關中，必定前來爭奪。據聞長安城內囤積了大量的糧草，若是拖延下去，我軍只會多了西面一個勁敵，兩處分心，與我軍極爲不利，還望父親大人三思。”
但李淵仍在遲疑未決，擔心揹負罵名，沒有做出決定。