宇文述略一沉吟，把心一橫說道：“陛下，此時遼東城正打到了關鍵時刻，將士用力下旦夕可破，不宜撤軍啊。”
“那宇文愛卿的意思是朕應該棄皇孫與諸位大臣的家眷於不顧，而要猛攻高句麗？”楊廣見宇文述並不理會自己遞給他的話頭，而是執意要繼續攻打遼東城，心中有些不悅。
“臣愚鈍，未能領會陛下的深謀遠慮，還請陛下恕罪。”宇文述連忙跪倒在地，以頭觸地，不敢再有別的說辭。
楊廣點了點頭，說道：“此番撤軍就都交由宇文愛卿了，朕親率驍果軍回東都救援，讓楊義臣將軍率兵直接剿滅山東諸郡的亂匪，愛卿與薛愛卿速速趕來。”
當天宇文述派出快馬去聯繫北路的薛世雄和在海邊駐紮等待遼東城一破就直接從水路直插平壤城的楊義臣，轉述了聖意。隨後便交由自己的幾個副將負責具體的撤離事宜，獨自帶着親兵跟在楊廣身後向臨榆關內撤走了。
那幾個副將心知此行東征已不可爲，再留下很可能也會沒命，便告知全軍放棄進攻遼東城，向臨榆關撤離，隨後便也各自帶着親兵先行一步撤退向了臨榆關。
李文淵和薛舉此時剛剛帶隊回來覆命，卻找不到宇文述，反而卻看到了營內三五成羣的竊竊私語。隨便找了個士兵問：“這是怎麼了，爲什麼沒有見到宇文將軍？”
那個兵丁看到了李文淵的裝扮，知道自己面前的這個人也是個軍官，便低聲說道：“回您的話，宇文將軍早就帶着親兵離開大營前往臨榆關了，皇帝陛下也早早就回去了，要我們自行撤向臨榆關。”
李文淵心裏一驚，原來不知不覺間東征已經結束了，按照歷史此時應該是楊玄感造反的時候，如此的話，這遼東就不是久留之地了。當下放開兵丁不管，翻身上馬火速趕回了薛舉的營地，對薛舉說：
薛舉點點頭，命令士兵收拾東西，準備行軍，卻並未說明要撤回關內。當夜負責盯梢隋軍遼東城大營的探子傳回消息，大營裏涌出無數士兵，各持大袋的糧米卻不是要進攻遼東城，而是向身後的遼水的方向沒命的跑了下去。
淵太祚在城內手扶着城垛向外看，心中也是不解，隋軍已經一天沒有發動進攻了，而且今天四邊城牆的守軍都有來彙報說隋軍大營裏的營竈比前一天少了不少。
淵太祚得知消息皺緊了雙眉，難道是隋軍久攻不下，又轉而使出了減竈之計要誘使自己率兵出城劫營，解遼東城之圍？不弄明白事實情況下，再看一看情況。隨後就傳下命令，各守城部隊沒有自己的命令，都不準出城，加強防守，防止隋軍假意撤退麻痹守城部隊後偷營。
第二天晚間薛舉和李文淵帶着手下的金城騎兵來到了城下大營，看到揹負糧米而逃的人更多了，李文淵坐在馬上，看着遠處逃走的士兵說道：“大哥，軍心已散，事不可爲，咱們按照計劃來吧。”
薛舉則是看着不遠處的遼東城，說道：“我不甘心啊，這麼多大隋官兵倒在遼東城下，眼見就要活擒了敵酋，卻要撤退。”
李文淵連忙開導薛舉說：“大哥，其實你比我看得開，淵蓋蘇文的大軍就駐紮在不遠處的地方，人數和咱們徵遼東的中路軍差不多。現在他們按兵不動，全是淵蓋蘇文想要借我們的手，除去自己的父親。若是我們真的攻下了遼東城，擒了淵太祚，淵蓋蘇文就會以此鼓舞手下的士兵的士氣。再來奪回遼東城，咱們還是一場惡戰，能不能守住遼東城還兩說。不如就此撤去，以後早晚回來滅了這高句麗。”<b