隋文帝是一国之君，他一变，整个国家的政局就有可能受到影响。事实上，随着独孤皇后去世，有两个人的处境马上变得尴尬起来了。一是宰相杨素，一是太子杨广。
先说杨素。独孤皇后去世后，最伤心的当然是隋文帝，但是要说张罗得最辛苦的其实是杨素。为什么辛苦？因为独孤皇后的葬礼由杨素经办。为了办得风光隆重，杨素也算殚精竭虑。
葬礼之后，隋文帝特地下诏褒奖杨素：
杨素经营葬事，勤求吉地，论素此心，事极诚孝，岂与夫平戎定寇比其功业！可别封一子义康公，邑万户。并赐田三十顷，绢万段，米万石，金珠绫锦称是。
隋文帝讲的是：杨素办这件事费心费力，到处为独孤皇后选风水宝地安葬，要论他这份诚心，无与伦比，功劳也不是平戎定寇所能够比得了，就是比平戎定寇的功劳还大。我决定封他一子为义康郡公。另外，给他一万户的食邑，从此，一万户人家的赋税直接缴到杨素他们家。
办场葬礼，隋文帝居然认为比平戎定寇还重要，而且给了那么多赏赐，既说明隋文帝爱屋及乌，也说明杨素的用心程度。
但是，这次葬礼恐怕是杨素在隋文帝一朝得宠的颠峰了。就在此后不久，杨素在隋文帝心目中的地位就下降了，因为大理卿梁毗弹劾他。
仁寿二年（六○二年），梁毗上书隋文帝，说：
臣闻臣无有作威福。臣之作威福，其害乎而家，凶乎而国。窃见左仆射、越国公素，幸遇愈重，权势日隆，搢绅之徒，属其视听。忤意者严霜夏零，阿旨者膏雨冬澍，荣枯由其唇吻，废兴候其指麾。所私皆非忠谠，所进咸是亲戚，子弟布列，兼州连县。天下无事，容息异图，四海稍虞，必为祸始。夫奸臣擅命，有渐而来。王莽资之于积年，桓玄基之于易世，而卒殄汉祀，终倾晋祚。季孙专鲁，田氏篡齐，皆载典诰，非臣臆说。陛下若以素为阿衡，臣恐其心未必伊尹也。伏愿揆鉴古今，量为外置，俾洪基永固，率土幸甚。轻犯天颜，伏听斧锧。
梁毗讲，我听说臣子是不允许作威作福的，如果一个国家允许臣子作威作福的话，那么必定天下大乱。现在我们国家有没有哪个大臣作威作福呢？有，就是越国公尚书左仆射杨素，他倚仗陛下宠幸，权力已经大得没边了，所有官员都要看他的脸色办事。如果他喜欢的人，对人家像春天般温暖；他不喜欢的人，就像秋风扫落叶一样无情。所以整个官僚系统其实都受他指挥。我觉得这样下去，有一天他会走上奸臣、权臣的道路。希望陛下能够预先留心这一点，鉴古知今，不要再给他这么大的权力，我知道我这话不中听，说出来也许您不喜欢，但是为了国家利益，我万死不辞。
当时，杨素可是炙手可热的人物，首席宰相，梁毗这样说不是找死吗？果然，隋文帝大怒，马上把他抓起来，亲自质问，怎么可以如此诽谤大臣。
没想到，梁毗毫不畏惧，当面对隋文帝说：
素既擅权宠，作威作福，将领之处，杀戮无道。又太子及蜀王罪废之日，百僚无不震悚，惟素扬眉奋肘，喜见容色，利国家有事以为身幸。
你审我吗？我不怕你审，我这些意见就是要当面对你说的，我确确实实认为杨素是个作威作福之人。我有充分的证据，证据是什么？陛下，请您想一想，当年您废掉太子杨勇和蜀王杨秀时，我们这些大臣，谁不觉得陛下家里出了这么大的事情，是件非常让人震惊、让人恐慌、让人难过的事？唯独越国公杨素，表现得一副扬眉吐气、很得意的样子。为什么？他盼着国家有事，好抬升他的地位啊！陛下，这难道是忠臣应有的行为吗？梁毗这一点，说得一针见血。
这番话一说出来，隋文帝愣住了。确实，此前隋文帝一直觉得杨素是在忠实地执行自己的命令，替自己除掉两个不肖子，才把杨素视为心腹重臣。如果按照梁毗的说法，杨素有个人野心蕴涵其中，那自己岂不是成了为杨素做嫁衣裳吗？这让隋文帝不寒而栗。
另外，梁毗所说的臣子作威作福，必然危害国家，这也是隋文帝衷心认同的观点。把这两个因素加在一起，隋文帝对杨素的印象随之改变。按照《隋书·杨素传》的说法，“上渐疏忌之”，渐渐地疏远猜忌他了。
怎么疏远猜忌？隋文帝下敕杨素：
仆射国之宰辅，不可躬亲细务，但三五日一度向省，评论大事。
仆射啊，你是我们国家最重要的大臣，怎么能操心那些鸡毛蒜皮的事呢？以后你不用每天上班办那些小事，你三五天上一次班，大事你管一管就可以了。
这是“外示优崇，实夺之权也”。国家哪有那么多大事要办？人的权威是从日常工作中奠定起来的，现在隋文帝等于剥夺杨素办理日常事务的权力，剥夺他上班的权力，三五天你看看即可，实际上他真正能管的事情就很有限了，这是从杨素手里收权。