虽然忽悠李密成功，但是义军的处境并没有好转，秋雨始终没有停，让人心烦意乱。
而出使突厥的刘文静始终没有回来，突厥承诺的兵马的也没有到，众人纷纷猜测难道突厥变卦，扣押了刘文静？偏又在此时传出流言，说刘武周约同突厥南侵，乘虚掩袭太原。这一下更是搞得人心惶惶，认定是刘武周在突厥面前挑拨离间，刘文静只怕是回不来了。
太原沦陷，等于端掉了李渊的老巢，断了义军的后路，形势的严峻每个人心里都清楚。
李渊召集李建成及裴寂等文武官员，问道：“诸位有什么意见和建议？”
众人是议论纷纷，之后裴寂站出来说道：“宋老生和突厥兵相去不远，而李密此人诡谲，又善欺诳，奸谋难测。突厥唯利是图，见利忘义，只要利在何方，他们的行动就会去往何处。刘武周是臣服在突厥之下的人，必会与突厥勾连。而太原是我们的大本营，也是义兵家属安置的地方，一旦沦陷，后果惨重。此乃我等愚见，还望唐公指示如何做。”
李渊沉吟不语，然后问李建成：“大郎，你有何看法？”
李建成道：“太原乃义军根本，不如回救太原，再图后举。”
李渊见大家意见一致，不再犹豫，和李建成、裴寂等商定回军。
此时李世民带着铁纲靖、李玄霸在外巡逻，忽然听到传出还军的消息，大惊，立即返回军营一问，果真有此事。当下拉着铁纲靖一起闯入李渊帐内，问到：“父亲大人何故还军？”
李渊大致概述了一下缘由，说道：“而且粮草将尽，势难逗留下去。”
李世民劝阻道：“马上要进入秋收季节了，如今禾黍遍野，何必担忧缺少粮食？再说隋将宋老生，有勇无谋，性格素来轻狂躁进，一鼔可擒。李密顾恋河洛，舍不得几大粮仓，根本没有远略之意。至于那刘武周，虽然依附突厥，但两者内部实则是相互猜忌。想那突厥若真是为了利益远征太原，以其唯利是图的本性，又怎么会忘了离他更近的马邑呢？况且突厥新近才与我们结盟，未必这么快就撕毁盟约。所以这些传闻，不应轻信。”
李渊道：“你说的未必没有道理，但倘若晋阳有失，我等岂不是无家可归？”
铁纲靖也想劝李渊不要回军，但是说大道理并不是他擅长，他只擅长抬杠，那样只会惹怒李渊，弄巧成拙。而且李渊熟读经书，凭他那点口才，只怕是说服不了李渊，只能拉了拉李世民衣袖，示意他再劝。
李世民道：“父亲大人兴大义，举义军，志在救民，理应先入长安，号令天下。如今不过遇到小小敌人，就要班师回晋阳，只怕追随大义的将士们一朝解体，大势从此一去不返，再难有更好的机会了。”
可是李渊似乎铁了心，摇摇头，道：“班师回晋阳是和众文武官员商议出来的决定，我意已决，你不用在劝了。”
出了营帐，李世民拉着铁纲靖到僻静地方，问道：“老铁，你说你是未来人，我父亲是大唐开国皇帝也是史书记载，难道回到晋阳后，还有更好的机会吗？”