杨广和李渊的关系，向来都是充满了矛盾的。一方面杨广对于这个与自己一起长大的姨表兄弟很信任，因为李渊家与他世代都有血缘关系，自己的母亲和李渊的母亲又是亲姐妹，在数次危机中，李渊都挺身而出勤王救驾；但另一方面，李渊的宽厚仁慈以及位高权重让朝中大臣都很敬重，似乎很得人心，这让杨广有一些不放心。他想让李渊更好地为己所用，又不想让李渊对自己形成威胁。自后魏以来，李家一直都是当权的贵族，人脉关系盘根错节，即使他想将李渊怎么样，也不是一时半会儿能办好的事。
这一天，杨广又一次大宴群臣，纵情欢乐，一派歌舞升平的盛世景象。酒到酣处，杨广举起酒杯对众人说：“你们看唐国公的样子，脸那么长，像不像一个阿婆啊？”
众大臣看皇帝这么说李渊，都不知如何是好，一方面是皇上，另一方面是唐国公，两个都是不敢也不能得罪的，于是只好附和着说说笑笑。宰相苏威说：“唐国公军威赫赫，就算是阿婆，也是个有功的阿婆。”
内史侍郎萧瑀说：“皇上真是妙人妙语啊！”
但李渊只是讪讪地笑着，举起酒杯说：“臣多谢皇上。”
杨广看着他一副不急不怒的样子，心里更加有点生气：这个李渊城府如此之深，留在身边终究不能让他放心，于是他对宰相苏威说：“这段时间，边关战火频繁。北方为何总是这么多纷争哪，倒不如南方来得清净自在。”
这种不反思自己的行事作风是杨广所固有的，所以臣下也都习惯了。宇文述听他这么一说，急忙抢先一步说：“陛下，现在北方一直战事频繁，倒不如移驾江南。那里物产丰富，而且气候温和，皇上龙体这些天来太过颠簸，在那里正好可以休养好身体，再指挥平息暴乱，天下定然太平。”
这话说到了杨广的心坎上，他龙颜大悦：“这倒是个好办法。”略一沉思，他又说：“只是这一次南巡，一定要好好部署一下，不要我一走，这里就乱了套，那也不能省心。”
苏威说：“皇上英明，现在各地都有暴乱，所以重镇一定要有重将把守，才能放心。”
杨广说：“上次北巡的时候，我发现太原北拒突厥，南护洛阳长安，是一个重镇，诸位觉得派谁去镇守会比较合适呢？”
苏威看看下面的诸臣，说：“臣觉得，唐国公李渊最适合。一来，他是皇上的近亲，可以信任；二来，他领兵作战的经验也丰富，万一有什么暴动，也绝对可以压得住。”
杨广听了这话，斜眯着眼看了看李渊。李渊赶紧起身拜倒，一副受宠若惊的样子说：“皇上，臣愚昧，恐怕不能担此重任啊！”
李渊表面看上去很老实，甚至有些木讷，杨广看到他这么惶恐，觉得有点放心。但是他又忍不住仔细盯着李渊的眼睛看了半天，他觉得李渊的眼睛里总是隐藏着一些什么，明亮灵动，和他脸上所带着的讪讪的笑容很不协调。
但纵观整个朝廷，除了李渊之外，杨广还真的找不出第二个人来驻守太原，为自己杜绝后顾之忧。于是，他笑呵呵地说：“既然苏威这么推崇你，你又是我的表兄，我就封你为太原留守，为朕驻守太原。”
李渊诚惶诚恐地拜谢皇恩，他回到府邸将这件事告诉了自己的妻子窦氏，窦氏却笑了，她说：“杨广现在任命你，其实是不得已而为之。你看看现在的朝中，有几个人是他信任的？而且自从杨玄感起兵以来，他对朝臣多有猜忌，现在我们可以远离长安，也算是幸运的事。”
李渊一改在朝堂上的笑容，凝重地说：“正是因为他现在越来越猜忌我，所以我才更不敢轻易接受这个任命啊。”
第二天，杨广酒醒之后，正在园中赏花，萧瑀忽然来见，他对昨天对李渊的任命提出了异议。
“现在朝中可以独守一方的武将比比皆是，老将樊子盖、薛世雄，年轻一点的还有杨义臣等，皇上为什么要任用这个李渊呢？这些天来，外面童子们传唱一个歌谣，就在唱‘桃李子，得天下’，这个李渊不得不防啊！”
杨广皱着眉，他不是不想任用其他人，是其他人让他不放心呀！至于童谣的传唱，确实让他很头疼，“杨氏将灭，李氏将兴”的说法搞得人心惶惶，为此已经逼走一个李密了，现在又有个李渊。他忍不住暴躁地对萧瑀说：“难道你要朕将他们一个个都杀掉才可以吗？”
这时萧瑀的姐姐萧皇后出来，对杨广说：“皇上息怒，我哥哥这么说也是为了大隋的江山着想啊。那个李渊位高权重，如今再独霸一方，说起来还真的让人很不放心。”
杨广皱着眉说：“他是我的姨表兄，太后和他的母亲是亲姐妹，他不会有什么异心的。”
萧瑀看杨广似乎已经烦躁，只好直奔主题，对他说：“皇上，既然是这样，臣倒有一计，让李渊虽然去了太原，也不会脱离皇上的掌控。”
杨广闭着眼睛等他继续说下去，萧瑀说：“臣有两个心腹，都是极忠诚的人。一个是虎贲郎将王威，另一个是虎牙郎将高君雅。我可以将他们安插在李渊身边，这样既可以让李渊守卫太原，又可以监视他是否有僭越行为。”
听了萧瑀这番话，杨广的眉头稍微展开了一些。
李渊接到太原留守的任命之后，准备起程从长安举家迁往太原，对于跟随在自己身旁的王威和高君雅，他似乎充满了感激，一路上不停地说着：“感谢两位将军！我的才能实在有限，又不自量力接受了这个重要的留守任务，如果不是得到两位将军的辅佐，真的不知道上任之后应该怎么做呢。”
王威和高君雅深知自己此行的任务，所以只好笑脸相迎：“唐国公谦虚了！”
李渊来到太原时，正在太原频繁活动的是一股叫做“历山飞”的农民起义军。他们集结了十多万民勇，盘踞在太原以南，导致上党、西河等地前往京都长安的道路都被阻断，以前隋军曾数次出兵镇压，但都以失败告终。
李渊来到之后，与“历山飞”在河西的雀鼠谷口相遇，以五千精兵对阵起义军两万之众。他故意问王威和高君雅：“两位将军有何妙策？”
王、高二人面面相觑，因为“历山飞”这支队伍善于攻城力战，已经好多次打败过隋军，导致隋军听到他们的名字都有点胆战心惊，视之为力敌。见李渊这么开口问自己，他们二人都有点词穷，只好说：“但凭留守吩咐。”
李渊说：“现在双方兵力有差距，但我军皆为训练有素的精兵强将。按照目前的形势，我们可以先诱敌深入，然后通过埋伏左右夹击，这样定能打他个措施不及，破敌也就易如反掌。”说完，看他们都无话可说，李渊即开始布置兵马。他首先命老弱军队在阵营正中，排成了大阵，扬旗击鼓，造成了这是主力军队的假象，然后让精兵强将分成两批，等到义军冲进阵营之后，他们从两侧进行夹击。对于突然冒出来的两支快马精兵的队伍，“历山飞”的义军显然有点被打蒙了，于是隋军乘机将其冲散，很快溃败。
一向横冲直撞的“历山飞”，在李渊刚到任便遭遇这一大败，实力受到损失，而李渊的盛名却在太原地区鹊起。李渊书写奏章将这件事汇报给杨广，在奏章中，他丝毫不提自己带兵破敌的功劳，反而将所有的功劳都推给了王威和高君雅，这让王、高二人有些出乎意料。
他们来到李渊帐中，想要问个究竟，李渊却说：“两位将军功勋卓著，这都是你们赢得的！如果没有两位相助，我岂能获胜。”
一番赞扬下来，王威和高君雅都深觉愧对如此仁厚的李渊。这两枚被安插在李渊身边的“棋子”，也由衷地被李渊谦让的人品所折服。他们虽然没有忘记自己的职责所在，但在一定程度上放松了对李渊的警惕。
李渊到太原之后，脱离了杨广的控制，获得了一定程度的自由，这一点自由也让他如鱼得水。三子玄霸夭折之后，他命长子李建成、四子李元吉在河东，而他和次子李世民在晋阳，广泛地发展着自己的势力，为起兵反隋做好了充足的准备。可以说，杨广虽然一直在防备李渊，但情势所迫又不得不重用他。在猜忌和信任之间摇摆不定之后，他将李渊送去太原，也就是将他送上开创大唐、建立非凡功业的大路。