不过，高颎毕竟是国家大臣、多年的宰相，要剔除他，总得有个能服人的理由。而对付大臣，没有比谋反更好的理由了。
开皇十九年（五九九年），高颎奉命率军追击突厥，仗打到一半，高颎上奏，要求增兵。这本来是很正常的一件事，可是，有大臣揣摩隋文帝的意思，告高颎谋反，说高颎要兵不是想往前打，他是想往回打，有谋反企图！
大臣一告状，隋文帝心里七上八下，要不要就此治高颎的罪？有点犹豫。没想到，前方战事转折太快，还没等隋文帝犹豫完，高颎已经率领大军凯旋而归，这一次谋反告状也就不了了之。
不过，有句话说不怕贼偷，就怕贼惦记。隋文帝既然惦记上高颎，自然不可能就此罢手。
很快，又一件谋反案出现。只不过，这次谋反案的主角不是高颎，而是高颎当年推荐的一名将军王世积。此人被仇人告发，说他曾经请人看相，看相的说他贵为国君。还说他担任凉州总管期间，曾和手下议论过凉州是不是用武之地，可不可以做为根据地，图谋大事。
这件谋反案其实也是红口白牙，拿不到什么具体的证据。但是，王世积是高颎推荐的，隋文帝马上敏感起来了，要求司法部门认真审问，顺藤摸瓜。
怎么认真审问？那就打吧！打来打去，王世积招供了，他确实想谋反，而且和高颎有牵连。有些宫廷里的情况，他就是听高颎说的。这把高颎拖下水了！一听王世积这么招供，隋文帝假装大惊失色，下令彻查此案，还宰相一个清白。
彻查的结果如何？不用说，肯定对高颎不利。有关部门报告说，根据调查，王世积和高颎确实过从甚密，还送过高颎名马。这是受贿，就凭这一条，即可治罪。这时候，隋文帝下令结案，判处王世积死刑。高颎则就地免职，让他退休。就这样，因为一件子虚乌有的案子，高颎二十年的宰相当到了头。
事情到了这一步，是不是结束了？
隋文帝可不这么想。高颎虽然回家了，但是声望还在，朝廷里恐怕还有很多人在观望，甚至等着他复出；另外，高颎虽然免了官，但是爵位仍在，还是齐国公，这也是政治资本，依然能对朝政发生影响。
怎么把这两个政治资本连根拔除呢？隋文帝是个极有心计的人，他实施第二步计划。
这一次，他使了一条苦肉计。
高颎免职没几天，隋文帝就到儿子秦王杨俊家里去，而且，特地召高颎侍宴。酒席上，高颎自然悲不自胜，独孤皇后也呜咽流涕。等到感情表达得差不多了，隋文帝对旁边的大臣说：
我于高颎胜儿子，虽或不见，常似目前。自其解落，瞑然忘之，如本无高颎。人臣不可以身要君，自云第一也。
意思是，过去，我对高颎比对儿子还亲，就算不见面，也总想着他，可是现在，我已经彻底忘掉他了，就好像他这个人从来没有存在过一样。所以，诸位，为大臣者不能自恃功劳，要胁君主，一旦如此，可就万劫不复了。这是在向大臣明确表态，我已经彻底抛弃高颎了。
有道是楚王好细腰，宫娥多饿死。皇帝这么一表态，马上下面的人就知道该怎么办了。高颎是齐国公，他的下属齐国令很快就发难了。他告发高颎的儿子高表仁，也就是太子的女婿对高颎说：
司马仲达初托疾不朝，遂有天下。公今遇此，焉知非福！
过去司马仲达也曾托疾不上朝，后来改朝换代、建立晋朝了。今天父亲您被皇帝贬官待在家里，未尝不是一件好事。司马仲达是曹魏的权臣司马懿。他在家装病，骗过了曹爽，最后篡夺了曹家的天下。所以，这名告密的齐国令是说，高颎父子图谋造反。
隋文帝一听，赶紧命令有关部门拘捕高颎，审问他。这一审问，罪行更多了。比方说，有人举报，曾经有和尚对高颎说：“明年国有大丧。”也就是说，明年皇帝会死。还有个尼姑也对高颎说：“十七、十八年，皇帝有大厄，十九年不可过。”开皇十七年（五九七年）、十八年，皇帝会遭大灾；十九年，他绝过不了，到十九年一定会死。
这些罪状串到一起，代表高颎整天求神问卜，希望皇帝快点死，他好做司马懿，好篡位，这不是谋反是什么？
审案子审到这一步，隋文帝终于发话了。他说：
帝王岂可力求！孔子以大圣之才，犹不得天下。颎与子言，自比晋帝，此何心乎！
隋文帝说，皇帝难道是求得的吗？那是天降大任才能得到的，像孔子那样的圣人，都没能当皇帝，他高颎算什么东西？居然想自比皇帝？那怎么处理呢？免去爵位，除名为民。
至此，高颎的政治资本彻底丧失，再也不能对朝廷发挥任何影响力。当年，高颎刚当上仆射时，他母亲就告诫他：“汝富贵已极，但有一斫头耳，尔其慎之！”你现在位极人臣，什么都有了，恐怕只剩砍头了！高颎是个听话的孩子，一直小心翼翼、低调做人，但是，最后还是卷入宫廷斗争，不免被罢废的命运，真是世事无常。
高颎之废是隋朝开皇末年一件大事，对朝政产生了重大影响。
第一、朝廷里少了一个有能力、有节操、有见识的顶梁柱。要知道，高颎是隋朝政治素质最高的宰相，按照当时人的说法，是：
杨素粗疏，苏威怯懦，元胄、元旻正似鸭耳。可以付社稷者，唯独高颎。
当时人评论几个宰相，说杨素这人很粗疏，苏威这人很怯懦，像元胄、元旻那些家伙就像鸭子一样，叫唤叫唤可以，没脑子。现在，高颎离任，隋朝能把握政治方向、能办大事的人没有了。
第二、也是最直接的，高颎一废，皇太子再也没有有力的庇护人。现在，他是砧板上的肉，杨素也罢，杨广、独孤皇后、隋文帝也罢，都要向他举起刀子了。
在这种情况下，隋朝的政局会出现什么巨变呢？