宇文述略一沉吟，把心一横说道：“陛下，此时辽东城正打到了关键时刻，将士用力下旦夕可破，不宜撤军啊。”
“那宇文爱卿的意思是朕应该弃皇孙与诸位大臣的家眷于不顾，而要猛攻高句丽？”杨广见宇文述并不理会自己递给他的话头，而是执意要继续攻打辽东城，心中有些不悦。
“臣愚钝，未能领会陛下的深谋远虑，还请陛下恕罪。”宇文述连忙跪倒在地，以头触地，不敢再有别的说辞。
杨广点了点头，说道：“此番撤军就都交由宇文爱卿了，朕亲率骁果军回东都救援，让杨义臣将军率兵直接剿灭山东诸郡的乱匪，爱卿与薛爱卿速速赶来。”
当天宇文述派出快马去联系北路的薛世雄和在海边驻扎等待辽东城一破就直接从水路直插平壤城的杨义臣，转述了圣意。随后便交由自己的几个副将负责具体的撤离事宜，独自带着亲兵跟在杨广身后向临榆关内撤走了。
那几个副将心知此行东征已不可为，再留下很可能也会没命，便告知全军放弃进攻辽东城，向临榆关撤离，随后便也各自带着亲兵先行一步撤退向了临榆关。
李文渊和薛举此时刚刚带队回来复命，却找不到宇文述，反而却看到了营内三五成群的窃窃私语。随便找了个士兵问：“这是怎么了，为什么没有见到宇文将军？”
那个兵丁看到了李文渊的装扮，知道自己面前的这个人也是个军官，便低声说道：“回您的话，宇文将军早就带着亲兵离开大营前往临榆关了，皇帝陛下也早早就回去了，要我们自行撤向临榆关。”
李文渊心里一惊，原来不知不觉间东征已经结束了，按照历史此时应该是杨玄感造反的时候，如此的话，这辽东就不是久留之地了。当下放开兵丁不管，翻身上马火速赶回了薛举的营地，对薛举说：
薛举点点头，命令士兵收拾东西，准备行军，却并未说明要撤回关内。当夜负责盯梢隋军辽东城大营的探子传回消息，大营里涌出无数士兵，各持大袋的粮米却不是要进攻辽东城，而是向身后的辽水的方向没命的跑了下去。
渊太祚在城内手扶着城垛向外看，心中也是不解，隋军已经一天没有发动进攻了，而且今天四边城墙的守军都有来汇报说隋军大营里的营灶比前一天少了不少。
渊太祚得知消息皱紧了双眉，难道是隋军久攻不下，又转而使出了减灶之计要诱使自己率兵出城劫营，解辽东城之围？不弄明白事实情况下，再看一看情况。随后就传下命令，各守城部队没有自己的命令，都不准出城，加强防守，防止隋军假意撤退麻痹守城部队后偷营。
第二天晚间薛举和李文渊带着手下的金城骑兵来到了城下大营，看到背负粮米而逃的人更多了，李文渊坐在马上，看着远处逃走的士兵说道：“大哥，军心已散，事不可为，咱们按照计划来吧。”
薛举则是看着不远处的辽东城，说道：“我不甘心啊，这么多大隋官兵倒在辽东城下，眼见就要活擒了敌酋，却要撤退。”
李文渊连忙开导薛举说：“大哥，其实你比我看得开，渊盖苏文的大军就驻扎在不远处的地方，人数和咱们征辽东的中路军差不多。现在他们按兵不动，全是渊盖苏文想要借我们的手，除去自己的父亲。若是我们真的攻下了辽东城，擒了渊太祚，渊盖苏文就会以此鼓舞手下的士兵的士气。再来夺回辽东城，咱们还是一场恶战，能不能守住辽东城还两说。不如就此撤去，以后早晚回来灭了这高句丽。”<b