韦坚、皇甫惟明被贬之后，李适之的宰相也当不下去了，虽然李隆基没有赶他下台，但李适之知道，自己已经失去了李隆基的信任，再待下去也没有任何意义，不如早点知趣离开。
天宝五载四月，李适之上疏李隆基，恳请辞去宰相职务，改任闲散官职。
四月八日，李隆基批准，免去李适之宰相职务，改任太子少保。
当了四年宰相，就这样不明不白地败下阵来，李适之心有不甘，但又无能为力，他知道自己不是李林甫的对手，单论权术，自己是业余初段，李林甫则是超九段高手。
不久，李适之深刻体会了一个成语：人走茶凉。
他的儿子卫尉少卿李霅在家中请客，请柬发出去不少，然而到请客这天，别说人了，连条狗都没来。
在李适之之后，门下侍郎、崇玄馆大学士陈希烈被擢升为同中书门下平章事，接替李适之与李林甫搭档。
事实证明，陈希烈正是李林甫想找的人，因为面对李林甫，陈希烈只会说一个字：是！
多好的班子成员。
以往惯例，宰相一般下午1点半才下班回家，现在李林甫建议李隆基：天下太平无事，宰相不必拖到1点半下班，建议改为上午10点下班。
李隆基表示同意，从此李林甫宰相上午10点下班，随后便返回自己家中，军国大事从此不在宰相的政事堂决定，而改在李林甫的家中决定。秘书们要做的事很简单，只需要把文件送到李林甫的家里，待李林甫签署意见后，再回政事堂找陈希烈补一个签名。
这才是李林甫想要的生活。
惬意的生活过了几个月，李林甫又迎来了更加惬意的事。
韦坚一家自乱阵脚。
将作少匠（建设部副部长）韦兰、兵部员外郎（国防部军政司副司长）韦芝都是韦坚的弟弟，韦坚被贬之后，他们开始为韦坚辩护。
可能是太急于辩白，结果自乱阵脚，居然在辩解奏疏中引用了太子李亨的话。
如果不引用李亨的话，或许韦坚还能迎来转机，这一引用，等于引火上身，正好触及李隆基最反感的地方：太子与大臣勾连。
李隆基雷霆大怒，韦坚的处境更加艰难，太子李亨也陷入泥潭。
为了自证清白，李亨拿出了壮士断腕的精神，上疏恳求与太子妃韦氏离婚！
这必定不是李亨的真实意思，但为了摆脱嫌疑，只能断腕求生，先脱了干系再说。
李隆基批准了李亨的离婚请求，从此李亨与韦坚一家再无关联，所有的问题韦坚一家只能自己扛。
天宝五载七月二十六日，韦坚又被贬了，由缙云太守贬为江夏别驾，与此同时，那两个病急乱投医的弟弟也被贬往岭南。
人在仕途，就如同攀登雪山，上山时费尽心力，未必能爬多高，而一旦不注意，脚底踩空，就会急速下坠，迅速将登山成绩清零，有的甚至直落谷底。
韦坚会滑到哪里呢？
他奔向谷底。
不久，李林甫又把韦坚、李适之等人捆绑到一起，然后重重地往谷底摔去。
李林甫的理由是韦坚和李适之等人结为朋党。
这个指控非常致命。
伴随着这个指控，韦坚连江夏别驾也做不成了，被永久流放临封郡（今广东省封开县）；
李适之太子少保也做不成了，被贬为宜春太守；
之前被李林甫打压的裴宽也被捆绑进来，他被贬为安陆别驾。
前前后后，因为韦坚被捆绑连坐的达到数十人，连薛王李业的儿子李琄也被贬为夷陵别驾，薛王妃（韦坚的姐姐）跟随李琄前往夷陵安置。
这会是最后结果吗？
还早！