虽然逃离了长安这个是非之地，但是隋炀帝杨广的阴影却随时笼罩着远在太原的李渊父子。隋朝的天下已经开始四分五裂，各地烽烟竞起，其中已经发展成强大势力的便有翟让所率领的瓦岗军，窦建德所率领的河北军，以及杜伏威所率领的江淮军，这三支队伍不断与隋军作战，并在战斗中发展壮大，从东、南、西三个方向对太原产生威胁。与此同时，远在北方的突厥始毕可汗也是蠢蠢欲动，从北边对太原虎视眈眈。这一切都让李渊寝食不安。
而最让他不安的，除了这些内忧外患之外，便是杨广对他的不断猜忌。自从李渊到了太原，他手握重兵，这把剑杨广希望李渊挥向敌人和义军，帮自己砍掉烦恼，但也担心李渊会挥向自己，砍走自己的无限江山。在这种情况下，他对李渊爱恨交加，李渊也被杨广的这种态度搞得苦恼不已。
一天，李渊在书房中来回踱步，思索着太原的安危和自己的去留。李世民忽然来到书房拜见父亲，他看到李渊紧锁的双眉和斑白的头发，忍不住说：“父亲，既然伴君如伴虎，我们为什么还要伴下去？如今杨氏无道，天下英雄纷纷举事，难道父亲就没有想过吗？”
李渊说：“你不要将杨广看得太无能了，现在虽然反对他的人很多，但当年他也是雄心勃勃的。想当初，他二十岁便带领五十万大军南下进攻陈朝，部队在他的指挥下英勇作战，一举就夺得了长江天堑，真可谓所向披靡，而且对百姓秋毫无犯，天下人没有不称赞他的。”
李世民说：“那他为什么变成现在这样残暴无道，置天下百姓于水火之中呢？”
李渊叹了一口气，说：“这也是古往今来的帝王之病了，他通过杀死自己兄长与父亲的方式夺得皇位，自然有点穷兵黩武。而且连续几次征伐失败之后，国力大损，再加上近年来战乱不断，连越国公杨素之子杨玄感都起兵反叛他，想要夺他的命，所以他才会这样猜忌大臣。”
李世民说：“不管怎样，一个有道的贤君怎么能让天下百姓受罪而置之不理呢？如今我们在太原，他还是不放心我们，上一次他召您进京，您托病没有去，他居然对左右的人说让您死了更好！这简直太过分了。”
李渊看李世民那么激动，却只是笑而不语。李世民接着说：“现在您手上有军队，我们又据守太原重镇，只要您一声令下，我们兄弟一定跟着您推翻杨广。”
李渊说：“你还是年轻气盛，太过着急了。想要起兵，岂是那么简单的事。现在试问你的手下有几员猛将？又有几个谋臣？如果我们举事一旦失败，我们又有什么退路可守？这些问题你是否想过呢？”
李世民听了李渊的话，陷入了沉思，想一想自己的身边，似乎只有长孙无忌、侯君集等几个好友是一直追随自己的人，要说有多少猛将、谋士，还真不多。
李渊又说：“现在各路义军加起来有一百多支了，他们都打着反隋的旗号，看来隋朝的天下已经快到尽头了。可是你有没有想过，一旦我们推翻了隋朝，接下来该何去何从呢？”
李世民说：“这还用问，当然是取而代之，让父亲您称帝啊！”
李渊微微一笑：“你觉得凭我们现在的力量，有能力将隋朝取而代之吗？在目前发展起来的起义军中，有一些已经发展壮大了，我们的力量在其中又能排到第几呢？”
李世民听到这些问题，又一次发蒙了，因为他确实没有仔细思考过这些问题。李渊接着说：“目前，不管是河北军、江淮军还是瓦岗军，他们其中任何一支，都有可能取代隋朝。但是我和他们相比，要想完全战胜他们还是没有把握。再加上突厥，始毕可汗依旧对隋的天下念念不忘，如果在这种情况下贸然举事，我们所做的只是帮助义军去将隋朝推倒，减少他们的阻力，让他们更加强大，这有什么意义呢？”
李世民说：“既然是这样，看来我们就应该小心谨慎，不和任何人提起这件事，更不能让皇上知道我们的野心。”
李渊点点头说：“你说得对！人人都说伴君如伴虎，我现在手握重兵又被猜忌，随时都可能被杨广设计谋害。因此我们只有小心再小心，只有这样，才能多一点时间来做好准备。”
李世民问父亲：“既然这样，父亲觉得我们应该怎么做呢？”
李渊看着眼前这个意气风发，一心想要有所作为的儿子，似乎看到了当年的自己。随着官场的磨砺，现在的李渊已经谨慎、稳重了不少，甚至会让人觉得有点畏缩。而因为隋末乱世的影响，他看到了尔虞我诈，更难以对别人产生信任。但李世民的身上却似乎带着一股无法阻挡的锐气，也许这是上苍给自己最好的武器，让自己可以在乱世中有值得依靠信任的人。想到这些，李渊对李世民说：“既然你有此大志，父亲也备感欣慰，但不可莽撞。我要你从现在开始广结英豪，要和真正有本事、有抱负的人结交朋友，让他们为我们所用，等到真正举事的那一天，我们才可以做到一呼百应。”
这一番教导在李世民的心中留下了深刻的印记，从此他不再焦躁激进，而是耐心地与各路英雄豪杰结交，通过观察，看这个人是否有真本领，是否可以为我所用。在此期间，晋阳令刘文静、晋阳宫监裴寂，以及负罪在逃的右勋卫长孙顺德、右勋侍刘弘基、左亲卫窦琮等人都投靠了李渊，大大壮大了李渊的势力。
长孙顺德在长安因得罪权贵而被捉拿，因其是李世民所娶的夫人长孙氏的叔叔，因此一路直奔太原而来。在路上，他心里一直不够安稳，心想：自己是戴罪之身，李渊又是当朝显贵，会不会收留自己？但无处可去的他只好一边想一边直奔太原而来。
李渊听家丁禀报，知道长孙顺德来了，心里稍一犹豫，便对李世民说：“你去接见，好好安顿他。”
李世民热情地将长孙顺德接到后院，安顿好房间。但长孙顺德一直不见李渊出来相见，心里不由得起了疑惑。他问李世民：“你父亲为何不出来见我？莫非是嫌我戴罪？如果真的是这样，你们也不必留我，我现在就走。”
李世民急忙拉住长孙顺德说：“您多虑了，父亲不能来见您是有他的原因的。现在皇上对父亲一直猜忌，身旁又安排了不少眼线，为了避免不必要的麻烦，所以才避而不见，他已经命我好好招待叔父了。”
长孙顺德一想，确实是自己莽撞了，于是对李世民说：“我远道来投奔，其实也担心你父亲会不会收留。既然这样，看来你们父子是赤诚相待。我还有两个兄弟尚在城外，他们都是勇猛的将才，我去将他们接过来吧。”
李世民一听大喜，李渊交代他结交英才，目的就是让他收拢人才，如今长孙顺德来投，虽然是戴罪之人，但他并不惧，大方地接待了他。尤其听到长孙顺德还带了两个帮手过来，他更加高兴，于是急忙说：“叔父，就让我和您一起出城去接他们吧，以表我的诚意。”
两人骑马来到城外，长孙顺德为李世民引荐了殷开山与段志玄，此二人都是精明、勇猛、善辩的豪杰，言谈之间充满豪气，让李世民备感投缘。而他们果然不孚众望，在太原休整一段时间之后，便各自前往山西、河北等地招募兵勇，不出一个月便募得上万勇士，极大地充实了太原的兵力。
看着这支浩浩荡荡的队伍，李世民喜不自禁，他对长孙顺德说：“这些新兵可以让段志玄和殷开山两位带去，在太原城外秘密训练。一定要给他们最好的待遇和充足的衣物粮食，要让他们成为我们自己的军队。”
长孙顺德说：“公子，你就放心吧。你这么礼贤下士，天下英雄又怎么会不归顺？这些新兵必定可以训练成战场上最勇猛的战士。”
至此，李渊在太原的势力越来越庞大，关东的士族子弟也纷纷前来投奔。这些人李渊都让李世民来接待安顿，一方面他是想要避嫌，毕竟自己身边还有人在监视着，王威和高君雅等眼线可不是省油的灯，李渊在太原的一举一动他们都在关注，一旦有什么迹象就会立刻向长安汇报。而另一方面，李渊也希望通过这些行动来锻炼经验尚浅的李世民，让他在实践中和不同的人打交道，进一步发挥他的能力，帮助自己在真正举事的那一天挥舞起大旗来。
和当时并起的几支义军相比，李渊在太原的实力确实不如瓦岗、江淮和河北任何一支，但是后来李渊却将他们一一击败，并获得最终的胜利。除了李渊的军事才能以及诸多人才的辅助之外，他在太原的厚积薄发起到了一定的作用。正是这段时间的积累，李渊不管在军事实力、战将、谋臣等方面都得到了充足的发展，从而在举事之后势如破竹，长驱直入，将胜利的果实放进了自己的口袋，为中国历史带来了一个繁荣的朝代。