叶向高的不安于位，是因为两件事，第一件是管理皇陵的工部屯田郎中万燝上疏痛诋魏忠贤，措辞犀利，十分痛快。引录其中精警的片段如下：
忠贤性狡而贪，胆粗而大，口衔天宪，手握王爵，所好生羽毛，所恶成疮痏。荫子弟则一世再世，赉厮养则千金万金，毒痡士庶，毙百余人；威加缙绅，空十数署。一切生杀予夺之权，尽为忠贤所窃，陛下犹不觉悟乎？
且忠贤固供事先帝者也，陛下之宠忠贤，亦以忠贤曾供事先帝也，乃于先帝陵工，略不厝念。臣尝屡请铜，靳不肯予。间过香山碧云寺，见忠贤自营坟墓，其规制弘敞，拟于陵寝，前列生祠，又前建佛宇，璇题耀日，珠网悬星，费金钱几百万。为己坟墓则如此，如先帝陵寝则如彼，可胜诛哉！今忠贤已尽窃陛下权，致内廷外朝止知有忠贤，不知有陛下，尚可一日留左右耶？
魏忠贤见疏大怒，矫旨廷杖一百，斥逐为民。叶向高等极力谏劝，要救万燝。魏忠贤不但不听，而且听了王体乾的话，用暴力立威，派一批东厂的太监到万燝家，把他拖了出来，一路拖，一路揍，拖到宫前，已经气息奄奄，一顿大杖，死而复苏。魏忠贤必欲置之死地而后快，叫太监轮流在万燝身上乱踩乱踢，等抬回家，怎么救也救不活了，拖了四天，终于一命呜呼。而身后还有灾祸，诬陷万燝曾受贿银三百两。万燝是个廉吏，他家悉索敝赋，变卖一切才凑足三百两银子，交了这项“赃款”。
在这样的情况之下，所谓“辅臣”已毫无作用，所以叶向高决意求去，连上了十余疏，没有下文，而另一个间接的打击却又发生了。
叶向高的外甥林汝翥，其时当巡城御史——这个职位的实权，到清朝还保持着。他的职责是维持京师的治安和宁静，又称巡街御史，出巡时极其威风，前面用两条“响鞭”在街面上打得“吧嗒”、“吧嗒”地响，小偷流氓，只一听见这清脆的响声，无不躲得远远的。有时达官贵人的车夫争道，相持不下，只要巡城御史将到，立时解围，否则就有当街被打屁股的可能。