不过，高颎毕竟是国家大臣，多年的宰相，要想把他拿下去，总得有个能服人的理由。而对付大臣，再没有比谋反更好的理由了。
开皇十九年（599），高颎奉命率军追击突厥，仗打到一半，高颎上奏，要求增兵。这本来是很正常的一件事，可是，面对君相不合的局面，竟有大臣揣摩隋文帝的意思，告高颎谋反。高颎要兵干什么？不是想往前打，他是想往回打，这是有谋反企图？
大臣一告状，隋文帝心里也在紧张激烈地搏斗，要不要就此治高颎的罪？他有点犹豫。没想到，前方战事转折太快，还没等隋文帝犹豫完，高颎已经率领大军凯旋了，这谋反之罪也就不了了之了。
不过，有句话叫“不怕贼偷，就怕贼惦记”，隋文帝既然惦记上高颎了，自然不可能就此罢手。
很快，又一件谋反案出来了。只不过，这次谋反案的主角不是高颎，而是高颎当年推荐的一位将军，名字叫王世积。此人被仇人告发，说他曾经请人看相，看相的说他贵为国君。还说他担任凉州总管期间，曾经和手下议论凉州是用武之地，可以把这里作为基地，图谋大事。这不是狼子野心吗？
这件谋反案其实也只是红口白牙，拿不到什么具体的证据。但是，王世积是高颎推荐的，隋文帝马上敏感起来，要求司法部门认真审问，顺藤摸瓜。
怎么认真审问？那就打吧。打来打去，王世积招供了，他确实想谋反，而且跟高颎有牵连。有些宫廷里的情况，他就是听高颎说的。这就把高颎给卷进来了。一听王世积这么招供，隋文帝大惊失色，一定要彻查此案，还宰相一个清白。
不用说，彻查的结果肯定对高颎不利。有关部门报告说，根据调查，王世积和高颎确实过从甚密，还给高颎送过名马。这可是明白无误的受贿，仅凭这一条，就可以治罪了。这时候，隋文帝才下令结案，判处王世积死刑，而高颎则从轻发落，就地免职，退休回家。就这样，因为一件子虚乌有的案子，高颎二十年的宰相当到了头。
事情到了这一步，是不是就该结束了？
隋文帝可不这么想。高颎虽然回家了，但是，声望还在，朝廷里恐怕还有很多人在观望，甚至等着他复出。另外，高颎虽然被免了官，但并未被剥夺爵位，还是齐国公，这也是政治资本，仍然能对朝政有所影响。
怎么把这两个政治资本都解除干净呢？隋文帝是个极有心机的人，他又实施了第二步计划——苦肉计。
高颎被免职没几天，隋文帝就到他的儿子秦王杨俊家里去了，还特地召高颎侍宴。酒席之上，高颎悲不自胜，独孤皇后也呜咽流涕。随从的大臣都觉得，这应该是皇帝念旧，要召回高颎了。没想到，隋文帝话锋一转，对旁边的大臣说：“我于高颎，胜于儿子，虽或不见，常似目前。自其解落，瞑然忘之，如本无高颎。人臣不可以身要君，自云第一也。”过去，我对高颎比对儿子还亲，就算不见面，也总想着他，可是现在，我已经彻底忘掉他了。彻底到什么程度？就好像他这个人从来没有存在过一样。所以，诸位爱卿，当大臣的不能自恃功劳，要挟君主啊，一旦这样，可就万劫不复了。隋文帝为什么这么说？这是在向大臣明确表态，高颎要挟皇帝，我已经彻底抛弃他了。
有道是“楚王好细腰，宫中多饿死”。皇帝这么一表态，下面的人马上就知道该怎么办了。高颎是齐国公，他的下属齐国令很快就发难了。他声称，高颎的儿子，也就是太子的女婿高表仁对高颎说：“司马仲达初托疾不朝，遂有天下。公今遇此，焉知非福！”过去司马仲达也曾经假装生病，不去上朝，后来怎么样？他的孙子司马炎不是改朝换代、建立晋朝了吗？那么今天父亲您被皇帝贬官待在家里，未始不是一件好事。
司马仲达就是曹魏的权臣司马懿。他在家装病，骗过了曹操，最后篡夺了曹家的天下。所以，这个告密的齐国令是想说，高颎父子也在图谋造反。
既然有人检举，隋文帝赶紧命令有关部门拘捕高颎，仔细审问。这一审问，罪行就更多了。有人接着举报，曾经有和尚对高颎说：“明年国有大丧。”也就是说，明年皇帝要死。还有一个尼姑对高颎说：“十七、十八年，皇帝有大厄，十九年不可过。”开皇十七年（597）、十八年（598），皇帝会遭大灾的，十九年（599），他是坚决过不下去的。
这些罪状串到一起，就成了一个首尾相连的故事：高颎整天求神问卜，希望皇帝快点死，他好学司马懿，篡位夺权，这不是谋反是什么？
审案子审到这一步，隋文帝终于发话了。他说：“帝王岂可力求！孔子以大圣之才，犹不得天下。颎与子言，自比晋帝，此何心乎！”皇帝难道是可以求得的吗？那是天降大任才能得到的。像孔子那样的圣人，都没能当皇帝，高颎算什么东西？居然也想自比皇帝？怎么处置？免去爵位，除名为民吧。
就这样，经过步步为营的罗织，高颎的政治资本彻底丧失，再也不能对朝廷发挥任何影响力了。当年，高颎刚刚当上仆射的时候，他母亲就告诫他：“汝富贵已极，但有一斫头耳，尔其慎之！”你现在位极人臣，什么都有了，恐怕只剩砍头了！这是一个久经生活历练的老母亲深深的忧虑。高颎也是一个听话的孩子，一直小心翼翼，低调做人，但是，最后还是被卷入宫廷斗争，不免被罢废的命运，真可谓世事无常。
高颎之废是隋朝开皇末年的一件大事，对朝政产生了重大影响。
第一，朝廷里少了一个有能力、有节操、有见识的顶梁柱。要知道，高颎是隋朝政治素质最高的宰相，按照当时人的说法：“杨素粗疏，苏威怯懦，元胄、元旻正似鸭耳。可以付社稷者，唯独高颎。”几个宰相之中，杨素个性粗疏，苏威为人怯懦，而元胄、元旻就像鸭子一样，叫唤叫唤可以，其实没脑子。真正能托付江山社稷的，只有高颎一人。
现在，高颎离任，隋朝能把握政治方向，能办大事的人没有了。
第二，也是最直接的影响，高颎一废，皇太子再也没有有力的庇护人了。此刻，杨勇就像砧板上的那块肉，杨素也罢，杨广、独孤皇后、隋文帝也罢，都要向他举起刀子了。
那么，在这种情况下，隋朝的政局，会出现什么样的巨变？