此前來祝賀的官僚齊聚到公廨，指望從李淵口中聽到好消息。
李淵打開書信，怔怔不語，良久才發出一聲嘆息，將書信遞給裴寂，讓大家傳遞看看，然後道：“沒想到突厥竟然要陷我於不忠，只是我作爲人臣，必須盡忠。主憂臣辱，我等舉義兵，是要擁戴王室，豈能自署大名，目無君主，那就成了亂臣賊子，不再是爲了尊隋而舉義了。”
鐵綱靖聽了直皺眉頭，起兵不就是爲了當皇帝麼，這會兒口是心非，太虛僞了吧？
又聽李淵說道：“老夫本來考慮起兵之後，爲了防止突厥南侵，所以委屈求全向其求和，以安定其心。沒想到突厥的回信，確實逼迫我造反。若不依從突厥的條件，只怕只能與之絕交了。”
書信傳到鐵綱靖手上，他大致瀏覽了一下，只見最後寫道：“唐公若是依從我所說的，請立即加急回報，我會即刻派遣達官帶兵相助。”
現場衆官僚見李淵言辭凌厲，面色凜然，沒有人敢恣意勸諫，最後衆人是怏怏不樂地散去。
鐵綱靖本來想說：“你反正是要當皇帝，現在順了突厥的意豈不是解了後顧之憂。”
只是見衆人都不吭聲，他張了張嘴，最終還是閉上。他清楚自己的話在李淵等人的眼中沒有分量，所以懶得去自討沒趣。
卻說紮營在興國寺的將士們，聽聞李淵沒有依從突厥的請求，私下紛紛議論道：“唐公若是不依從突厥，我們也不能依從唐公。”
裴寂、劉文靜等人聽到這些議論，擔心軍心不穩，趕緊彙報給李淵。
李淵聽後，正色道：“你們和我都是隋臣，大家一起共事，你們卻以此來勸我，臣節在哪裏？”
到底裴寂與李淵交情深厚，不怕被罵，大着膽子勸道：“假使伊尹和呂尚堅持愚忠，效力於夏桀、商紂，則成不了商湯、周武王的賢相、尚父了。我等改志事君，不敢拘於小節。況且如今將士聚集，就等唐公發號施令，若是拖延下去，只怕軍心混亂。”
劉文靜也道：“士兵已有了，缺乏的唯有戰馬。突厥士兵並不是我們急需的，但是對戰馬我們是求之若渴。唐公若是再遲疑不決，只恐；突厥突然反悔，不肯相助，到時失去了良機，後悔也來不及了。”
但李淵態度堅決，道：“做事情不效仿古人，鮮有能成功地，各位宜三思而後行，再做謀劃。”
劉文靜、裴寂無奈之下，只能各自回去。
別院中的鐵綱靖聽劉文靜把情況一說，也不滿道：“大丈夫成大事不拘小節，應當機立斷，沒想到李淵做事如此畏首畏尾，實在是令人大失所望。”先前對李淵的崇敬在這一刻全部抹殺得一點不剩。
到了六月初，李建成、李元吉等家眷統統從河東趕到晉陽與李淵團聚。當時李淵的原配竇氏已去世，所有家眷在李淵的妾萬氏帶領下，一同前來拜見李淵，連女婿柴紹也一併隨同入見。
一家團圓聚首，相談甚歡，只是萬氏的兒子智雲在途中失散，生死未卜，使得歡聚中帶了三分悲悼。
李淵問及柴紹如何一同到來，柴紹答道：“小婿本來寄寓長安，備官千牛。只因得到二舅兄的密函，催促小婿到此，小婿所以奉召前來。途中恰巧遇到岳父家的眷屬，幸得同行。”
李淵不等他說完，急忙問道：“我那女兒可曾同來？”
聽到柴紹說沒有，李淵回頭對李世民說：“你既召你姐夫，爲何你不把你姐姐一同邀回來？”
柴紹從旁代爲回答：“岳丈大人，令嬡說不便同行，她告訴我自有妙計脫身，讓我們不用擔憂。”
柴紹勸慰道：“岳父大人不用擔心，吉人自有天相。”
李世民當即進議道：“父親大人，家眷已到，大事待行，我們須速速商議出兵，趁人不備才能攻其不意，拖延下去只怕有變數。”
但李淵掛念李智雲，沒有同意，接連派人去河東，打探李智雲的下落。
李世民擔心錯過出兵時機，幾日後，拉着大哥李建成和裴寂、劉文靜等人一起勸諫李淵。
劉文靜勸道：“唐公，伊尹放逐太甲，使商朝得已安寧，霍光廢除昌邑王劉賀延續了劉氏江山，請您依照古人的故事，廢皇帝而立代王，興義兵，舉義旗，發檄文到郡縣，改易旗幟，向突厥宣示有更新意，免他滋疑。這樣師出有名，各地信服。”
李淵搖頭道：“這樣做不過是掩耳盜鈴罷了。”
裴寂道：“唐公，家眷已經接到晉陽，朝廷若查知此事，定然會斷定您有異心，一旦江都傳召，到時就晚了。”
但李淵非常疼愛李智雲，只是搖頭不肯答允，惹得衆人乾着急。
第二天，派出去探查李智雲的使者回來，向李淵彙報，說李智雲落入官府手中，執送到長安，被留守陰世師殺害了。
李淵聽後，悲從中來，痛苦不已，裴寂、劉文靜等聽聞，紛紛來勸解。
李淵含淚道：“智雲頗善騎射，又知書達理，年紀比玄霸還要小兩歲，沒想到被官吏抓捕，慘遭殺戮。我大志未遂，我兒卻先死，豈非一大痛事？”說着垂淚不止。
裴寂等人聽了唏噓不已。
良久之後，李淵悲痛緩解，情緒平靜，說道：“前日文靜兄所說師古之事，我思慮再三，眼下事情緊急，不得不依從文靜兄的建議。諸位既然舉義之心堅決，我也難以改變諸位的意志，雖然對不起當今主上，幸而沒有辜負先帝的恩情。”
一臉痛苦，似乎是衆人逼他這麼做的，他只是不得已而爲之。
裴寂道：“文皇帝傳位給後主，是借了權臣楊素之力，如今導致亡國喪家，民怨神怒，天降禍亂。我等跟隨唐公起兵，是解天下倒懸之急，天理使然。”
衆心一致，於是李淵派遣劉文靜親自馳報突厥，與突厥相約共定京師，土地歸唐公，子女玉帛歸突厥。
始畢可汗收到書信大喜，即刻派遣康鞘利至晉陽，饋馬千匹，並承諾將派兵幫助李淵攻克西京，想要多少兵馬，只要李淵開口就行。
李淵很是欣慰，嗣後貽書突厥，竟至自稱外臣，雖是暫時卑屈，安定突厥相助之心，終不免是一種國恥。
只有鐵綱靖一直在思考，爲什麼大家明明知道李淵想當皇帝，而李淵偏偏要口是心非，滿嘴忠誠仁義？爲什麼衆人也不戳破他，逼他起兵？
鐵綱靖不過是農村出來的搬磚工，用的是市井的思維，一下理解不了李淵這些貴族人士的行事方式。
他就此疑問去問劉文靜，劉文靜回道：“這是爲了師出有名。將士們有很重的忠君思想，當下大隋楊氏是正統，我們都是大隋的軍隊，唐公若是自立爲帝，擺明造反，試問有多少將士願意跟隨？再說防民之口甚於防川，要讓他人無法口頭攻擊，就要做足表面功夫，即便唐公真實目的是要稱帝，但表面行爲一定要符合倫理綱常，才能代表正義公道一方，纔不會落人口實，才能獲得軍心、民心。”
鐵綱靖似懂非懂道：“原來如此，難怪世上如此多的道學家。”