开元二十一年（733年），长安暴雨连天，粮食歉收，物价飞涨。玄宗被迫带着朝廷去洛阳找饭吃，国子监的学生食堂关闭，长安开太仓米两百万石，赈济四十万户——几乎每一户长安居民都需要赈济。基本的产粮区都出现了灾荒，国无三年之储蓄。开源节流，都迫在眉睫。同时，北庭都护谋反，唐与突骑施汗国已经剑拔弩张。在这样紧急的时候，玄宗起用张九龄与裴耀卿做中书令和中书侍郎，负责战事与漕运；李林甫做礼部尚书，同中书门下平章事，特别负责整顿赋税，裁汰官僚机构的冗员。
玄宗时代，宰相并无品秩，甚至不是一个固定职位，五品以上官员，只要参与“平章事”便是做“宰相”。所以，宰相有许多不固定的名称：“参知政事”，在本官后缀“同中书门下平章事”“同中书门下三品”，等等。唯有“中书令”算是宰相的正名。李林甫、裴耀卿、张九龄都是宰相，张九龄为尊。
皇帝爱文学。科举选拔来的都是文学蕴藉的诗人，张九龄的朋友严挺之主持科举，更是把诗人们自然地聚拢在张九龄周围。相反，李林甫也有一些朋友，只有政治经验却没文化。这些人被圈在诗人们用鄙视的眼光铸成的链条里，根本没被诗人们正眼瞧过。严挺之曾经与李林甫的朋友户部侍郎萧炅（jiǒng）一道参加葬礼。萧炅摇头晃脑地把《礼记》“蒸尝伏腊”，读成“蒸尝伏‘猎’”。严挺之心里发笑，嘴上却问：“蒸尝伏什么？”不觉有错的萧炅便又大声道：“蒸尝伏猎！”严挺之转头便把笑话告诉了张九龄，并立刻奏上要把他调出去做岐州刺史。尚书省里哪能留这样的文盲！
李林甫不与他们争口舌之快。玩起政治经验和手段，张九龄这派的文化人根本没有还手之力。开元二十四年（736年），蔚州刺史王元琰贪污，严挺之想救他，李林甫立刻上奏严挺之与张九龄的交情，这一件贪污案从此成为张九龄结党的证据。皇帝立刻罢相张九龄，以李林甫代替。朝堂上风向一变，原先风头正劲的诗人官员们立刻感受到官位的岌岌可危。
右拾遗王维未必认为自己是张九龄一党，他也不是没有努力向李林甫示好。他们一同扈从玄宗去华清宫泡温泉，李林甫写了一首诗，也抄了一份给王维。王维立刻回了一首，极尽阿谀奉承：丞相您无为而治，创造了现在这样的好时代；您不仅有谋略，还有文采。在您的智慧领导之下，我们总是打胜仗，真是让人如沐春风。他们还有另一项共同语言：李林甫擅长丹青绘画，王维便在嘉猷观李林甫家的墙壁上留过壁画。
但李林甫并没有向王维表示出任何的亲厚。像他这样陷在政争中的官员，如同在素色丝帛上的图画，每一笔都是旁人决定亲疏的证据。而王维，他这张帛画上早有太多让李林甫不喜欢的图案。王维回到长安，刚做右拾遗没多久，又为张九龄写过一首肉麻的诗，先说自己“宁栖野树林，宁饮涧水流。不用坐粱肉，崎岖见王侯”——是隐者不求闻达只求舒心的风度。但很快一转，吹捧张九龄是“侧闻大君子，安问党与雠。所不卖公器，动为苍生谋。贱子跪自陈，可为帐下不”——张九龄是为苍生谋划的大君子，他王维跪在张九龄面前自陈，求他收留自己在帐下为他出谋划策。他又发挥文笔，为张九龄撰写了《京兆尹张公德政碑》，煌煌立在通衢（qú）大道边，每有过客都能一睹一代文豪王维酣畅淋漓的文采。
“德政碑”是当时的流行，百姓以此拍马屁，官员以此为政绩，好看不庸俗，堪称给官员的送礼良选。但是，李林甫最恨这样风雅的吹捧。曾经，国子监的学生也为李林甫立过一块碑：开元十四年（726年），李林甫做国子监司业，查老师教学质量，罚学生酗酒闹事，考试不及格的开除，学风大振。学生们悄悄在国学都堂前替他立了一块碑。释奠日大典礼，所有人到齐，学生隆重揭幕。李林甫看了，神色一厉，质问祭酒：“我有什么功德？谁教你们立碑的？”学生们吓得连夜琢灭碑文。
对于对他没用的人，李林甫根本没兴趣搭理。现在，他是中书令了，裁汰冗员，改革官员薪金制度首先就要找只会写诗发议论却不做实事的文化人开刀。
在他主持编写的《唐六典》里，李林甫详细记载了这次改革的成果：裁减门下省、殿中省、太常寺、光禄寺等部门一百多名官员。在外官当中，实行“年资考”。开元以来，年年开科取士，选拔出来的候补官员远远多于官职的岗位需要。进士们自恃才高，甚至曾经围堵考功员外郎，聚众闹事。为了解决冗员，李林甫推行年资，严格按照资历授官，有官职空缺，先论资排辈，从最老资格的官员开始递补，官职少而候补官员多的时候，资历浅的便只有等。
按照惯例，六品以下官一年一考，四考任满，有新的位置空出来则转迁；没有，则五考任满。王维便屡屡陷入在这样无休止的等待里，又不能弃官而去。十多年前，王维从长安去淇上赴任时经过苏门山，是西晋阮籍曾经拜访隐士孙登的名山。山高巍峨，林木葱郁，千年不变。竹林间，隐士当年与阮籍长啸歌咏的石台已经被当地人口耳相传成了名胜。阮籍的《咏怀诗》王维年轻时也读过，是技巧，是典范。但这样一个黄昏，站在古代诗人曾经登临的山顶，他切切感到阮籍和他同时代的人被紧紧困在里面的日常，那张翻覆无常的“世网”。作为王家的长子，他有不能逃开的理由：“小妹日成长，兄弟未有娶。家贫禄既薄，储蓄非有素。”
官做得无聊透顶，却依然要假笑着奉制为宫里画画，还要写诗祝贺修道教走火入魔的玄宗皇帝见到了老子真容，并与僚友互相吹捧。天宝四载（745年），王维做侍御史的第四年，他写诗给朝中新贵咸苑，赞扬他通梵语，有才华。苑咸回诗给王维说：您是当代诗匠，又精禅理，您对我是谬赞。只是您很久都没有升迁了，真是冯唐易老，李广难封，时运不好。苑咸是开元末制科出身，因为张九龄举荐才做了一个司经校书，论年资出身都是王维的晚辈。只是此时苑咸做中书舍人知制诰，与李林甫的私交很好，玄宗皇帝赐给李林甫的药、螃蟹、车螯、蛤蜊、甘露羹都由苑咸代李林甫起草答谢，很是得意。得意了，便可以毫无顾忌地写诗嘲笑王维“久不迁”。而王维，为了维持诗人的骄傲与朝官的体面，面对这样露骨的嘲讽，甚至不能露出一点儿不高兴。王维很快回了诗，“仙郎有意怜同舍，丞相无私断扫门”——谢谢你替我可惜，可惜丞相他不欢迎我。