开皇九年（五八九年）平陈战争结束后，隋文帝的家庭开始出现一系列问题：太子杨勇被废，蜀王被废，秦王夭亡，一个好端端的家庭四分五裂。
事实上，在同一时期，不仅隋文帝的家庭出现问题，他在治国理政方面也同样出现了严重失误，隋朝初年那种君臣协力、奋发图强的局面也因此不复存在。
第一个问题是隋文帝开始骄傲自满，追求生活上的享受，最突出的表现就是兴修仁寿宫。前面提及太子被废时提到过仁寿宫。此一行宫是在开皇十三年（五九三年）修建的。当时，国内战争大致结束，财政上又出现几百年未曾见过的仓库皆满的喜人场景，国家一副太平景象，隋文帝都有点找不到奋斗的方向。再加上他年过半百，辛苦了这么多年，也想稍微享受一下。
正好，这一年年初，隋文帝到长安西面的岐州祭祀，觉得当地山长水阔，很适合生活，决定在此修一座行宫。这个想法其实非常合理，问题是找谁修呢？当时，杨素锋头正健，隋文帝便把这个任务交给他。
杨素适不适合完成这项任务呢？这就要分怎么说了。从能力来讲，杨素当然不容置疑，但是，杨素有个弱点，那就是喜欢奢侈。在隋朝，如果你想找出最有钱的官员，肯定非杨素莫属。杨素富裕到什么程度？按照史书记载，他有：
家僮数千，后庭妓妾曳绮罗者以千数。第宅华侈，制拟宫禁。
他们家家奴就有好几千，在后庭穿着绫罗绸缎的姬妾，就有一千多人，而且，他的房子修得富丽堂皇，比皇宫还好。可能有人会说，杨素怎么会这么有钱？因为他立下许多战功。
隋文帝是个能办大事的皇帝，虽然生性吝啬，但奖赏功臣从不含糊。而杨素在平江南、平突厥等大型战役中都立下了赫赫战功，当然赏赐极多，这样一来，杨素慢慢成了富翁，生活也极其奢侈。
让这样一个人主持修建行宫，自然有问题了。杨素眼光高，他按照自身标准设计仁寿宫，把仁寿宫设计得美仑美奂，按照史书记载，“夷山堙谷以立宫殿，崇台累榭，宛转相属。”削山填谷，整出一大块人造平地，好修建大规模的宫殿建筑群。工程这么浩大，当然得耗费大量钱财，远远超过预算。
光是奢侈也罢了，更要命的是，杨素还有个弱点就是暴虐。我们讲过，他在战场上每次都派敢死队冲锋，只要打了败仗回来，回来多少处死多少。
这样严明的军纪是杨素制胜的法宝，在战场上有其合理性。问题是，他拿这套作法对付服劳役的老百姓。这些老百姓在杨素的严厉监督下昼夜赶工，稍稍体力不支，马上就被视为无用之人。
怎么处理这些无用之人呢？在山里建行宫是填平山谷，创造更多的平地，用什么填？杨素下令，就用这些民夫去填，直接把他们推下山谷，上边再盖上土石，打成地基！在这样残酷的劳役下，两年下来，累死的民夫达一万多人。这是对盛世莫大的讽刺。
开皇十五年（五九五年）三月，仁寿宫终于修好了。当时高颎还是首席宰相，隋文帝派高颎去验收。高颎是和隋文帝一起开创节俭型政府的人物，和杨素的价值观大不相同，他一看这座宫殿如此豪华，马上开始心疼国库、心疼百姓，回来后如实汇报：“颇伤绮丽，大损人丁。”
意思是，建得倒是挺好，问题是好过头了，损失了好多老百姓。隋文帝是个节俭的好皇帝，一听高颎这样说，马上心里有了先入为主的坏印象。
三月底，隋文帝终于抽出时间亲自视察。这一视察，印象更坏了。他在沿途听到一些说法，说杨素为了赶工，累死了好多民夫，有些人死后填了山谷，还有些干脆就地焚烧了事，太不爱惜民力了！所以，一到仁寿宫，隋文帝怒气冲冲说了一句：“杨素竭百姓之力，雕饰离宫，为吾结怨于天下。”杨素这么做，不是给我招恨吗？
这话传到杨素耳朵里，吓得他大惊失色。本来竭尽全力想讨好皇帝，没想到马屁拍到马腿上了。怎么办呢？
这时，有人给杨素出主意了。杨素的侄女婿，也是仁寿宫的监工——封德彝对杨素说：咱们皇帝听皇后的，现在既然皇帝对你有意见，你不如先和皇后沟通一下，只要皇后认可，皇帝肯定不会责备你，说不定还有赏赐。
杨素一听，有道理，赶紧悄悄地拜见独孤皇后，对她说：“帝王法有离宫别馆，今天下太平，造此一宫，何足损费！”帝王按道理讲，本就该建离宫别馆，现在天下如此太平，我帮皇帝修这么一座离宫，这有什么不好呢？花那点钱算什么？这一句天下太平打动了独孤皇后。是啊，我们以前克勤克俭，不就是为了能够天下太平吗？现在既然已经天下太平了，何苦一直当苦行僧呢！
第二天一早，隋文帝召见杨素。杨素还是有点紧张，磨蹭了好半天才去。进入宫中，独孤皇后说：“公知吾夫妇老，无以自娱，盛饰此宫，岂非忠孝！”杨素知道我们夫妻年纪大了，也没别的爱好，为我们修了座好房子，让我们享受享受，是忠孝之臣啊！隋文帝一听，也面带喜色，连连点头。就这样，杨素靡费资财、草菅人命，不仅没受到惩罚，反倒赐钱百万、赐绢三千段。
那我们应如何评价修仁寿宫一事？这件事其实并不大，客观说来，做为一朝皇帝，兴修一、两座离宫别馆不算过分。问题是，从这件事上，可以看出隋文帝夫妇的追求变了，在巨大的成就面前，他们不再愿意自我约束、自我克制。而隋文帝的自我约束、自我克制，其实正是隋朝在魏晋南北朝的乱世中脱颖而出的法宝。现在，在生活上，隋文帝已经露出放纵的苗头，那么，在其他方面的任性和放纵也为期不远了。