随着时间的流逝，司马光好像真的忘记了天下国家、政坛纷争，他沉浸在自己的世界里，优哉游哉，自得其乐。他研究古典“投壶”游戏，亲自制定游戏规则，写文章论述游戏与个人修养之间的关系。他跟老朋友范镇书信往还，继续多年以前开始的礼乐讨论，你来我往，不亦乐乎。回到洛阳两年之后，熙宁六年（1073），司马光又在尊贤坊北面买下二十亩地，亲自设计、督造了一座小巧精致的花园别墅，取名为“独乐园”。独乐园中，既有“读书堂”以供骋思万卷，神交千古；又有“弄水轩”“钓鱼庵”可供“投竿取鱼”；复有“种竹斋”“浇花亭”，可以莳药草、灌名花、听竹赏雨；甚至还有一座高高的“见山台”，可以凭栏纵目、远眺群山。简直就是一处自给自足的桃花源。“明月时至，清风自来，行无所牵，止无所柅，耳目肺肠悉为己有，踽踽焉，洋洋焉，不知天壤之间复有何乐可以代此也？”远远望去，独乐园中的司马光，清闲自在恍若神仙。
“独乐”一词，出自《孟子·梁惠王下》。然而孟子的原意，却是反对独乐的：“独乐乐，不如与人乐乐；与少乐乐，不如与众乐乐！”“迂叟啊，你这迂腐的老头，为什么要独乐呢？”司马光自问自答说：“自乐恐不足，安能及人？”何况我这老头所乐的，“浅薄简陋粗野，皆世之所弃也。”即使捧着送去给人，人都不要，我又怎能勉强他们呢？若真的有人肯来与我同享此乐，我必定拜他两拜，把我的快乐捧着献给他，又怎敢独享呢？ 《孟子》又说“达则兼济天下，穷则独善其身”。司马光的独乐，是“兼济天下”的理想破灭之后的“退而求其次”，在无奈的穷途里保持着积极的态度，退到最后，还有自己，然而也只剩下自己。
在洛阳，除了《资治通鉴》这部大书，司马光还编著了一部小书—《书仪》。《书仪》的内容是对各种礼的仪式规定，包括公私文书和家信的格式，冠礼、婚礼以及与丧葬祭祀礼有关的仪式。《书仪》篇幅不大，内容琐细，在司马光的思想体系当中，却有着重要意义。文书家信是社会交往的书面表达方式，它既是人与人之间社会关系的体现，又是构建和维系社会关系的工具。冠礼即成年礼，是男性获得完全社会人身份的开始。婚礼通过一对男女的结合把两个家族联结在一起，构成更为广阔的社会网络。丧葬祭祀之礼连接生者与死者、现在与过去，慎终追远，让个人与家族获得了超越死亡、生生不息的意义。礼的核心是关系、等级和秩序，而仪式则是礼的外在表现形式。离开了仪式，礼就变成了空中楼阁，秩序亦将陷入混沌。而对秩序的尊重，是司马光思想的核心。司马光从来都不是一个食古不化的人，他所制定的各类仪式，皆斟酌古今，既力求与儒家经典相合，又能做到因时制宜、实用简朴。朱熹就认为司马光的“祭仪”“大概本《仪礼》而参以今之所可行者……是七分好”。
儒家讲究“修身、齐家、治国、平天下”，自“修身齐家”始，以“治国平天下”终。司马光二十岁中进士，五十三岁退归洛阳，这三十三年中，他人生的主要目标是辅助皇帝“治国平天下”。退归洛阳之后，“治国平天下”之理想已不能伸张，于是便退回来，退回到个人和家族。他所要“修”的，不止自身；所要“齐”的，不止自家；他希望影响社会，为宋王朝做“修身齐家”的建设。进则能治国平天下，退则能传播文化、发展思想，教化乡里。苏轼高度赞扬了司马光对民间社会的积极影响，他说司马光“退居洛阳，往来（故乡）陕州，陕州、洛阳之间的人都被他的道德感化，师法他的学问，效法他的简朴”。不能出而“治国平天下”则退而“修身齐家”，庙堂不可居则归乡行教化—到南宋，朱熹和他的同道与追随者又走上了同样的道路，当然，他们人数更众，成就也更大。
只是，这哪里是司马光真正想要的生活？
熙宁七年（1074）四月，在“以衰疾求闲官，不敢复预国家之议”整整四年之后，司马光再度上疏神宗，直指朝政缺失，对神宗和王安石的施政进行了激烈的批评。对于王安石当政六年以来的局面，司马光毫不客气地这样总结说：“六年之间，百度纷扰，士农工商四民失业，人民怨愤之声，让人不忍闻听；自然灾害之烈，古今罕有其比。”而造成这一切的罪魁祸首，司马光认为，正是王安石的独裁作风：
好人同己，恶人异己。……独任己意，恶人攻难。只要是跟他意见一致的，破格也要提拔；谁敢发表不同意见，灾祸羞辱随之而来。人之常情，谁愿抛弃福祉自取祸患，撇开荣耀甘就屈辱？于是天下急于富贵的官员纷纷来依附他，竞相劝说陛下增加对他的信任，听他的话，用严刑峻罚来杜绝异论。像这样的人，高官美差，唾手立得。几年下来，中央和地方掌握实权的职位上，就都是这一类人了。……
台谏官是天子耳目，其功能是规正朝政缺失，纠察大臣专权妄为，本应由陛下亲自选择，现在也交给宰相来选人了。而那宰相专门任用他的所亲所爱，对他稍有违背，就加以贬斥驱逐，来警告后来人，其目的就是要找出最能阿谀谄媚的人来，为他所用。这样一来，政事的错误差失，群臣的奸诈，下民的疾苦，远方的冤屈，陛下还能从哪里听到看到呢？
派到地方巡视调查新法实施利害的使者，也是他所亲所爱的人，都事先秉承了他的意旨，凭借他的气势，来逼迫州县官员。他们掌握着州县官员的评价，而这评价可以决定州县官员的升沉。那些州县官员，对他们奉迎顺承都还来不及，哪还有工夫讨论新法实施利害、跟他对着干呢？所以，使者回来报告，一定是说州县两级都认为新法利民利国，可以行之久远。陛下只看见他们交上来的报告粲然可观，就认为新法已臻至善，众人交口称赞，又怎么可能知道他们在外地的所作所为呢？
……（各级官员）不立即奉行新法，马上停职、换人。还有因为对新法不熟悉而误有违犯的，也会遭到停职处分，甚至遇到大赦也不予赦免。……如此一来，州县官员只好奉行文书，以求免于获罪遭罚，不再留心民间疾苦。
（为了封住批评者的口）又偷偷派出逻卒，到市场上去，到道路上去，偷听人们的闲谈，遇有谤议新法的，立即抓起来行刑。街头挂出了榜文，悬立赏格，鼓励告发诽谤朝政的人。
这就是司马光看到的，在王安石治下的朝廷国家的景象，重压之下，官僚群体万马齐喑，皇帝被蒙蔽，新政快速有效地推行，而它是否利民，却变得无关紧要。
司马光指出，想要走出当前困境，就必须从作风和政策两方面出发。一方面，必须改变政治作风，开放批评，打通信息渠道，以便了解和掌握真实情况。司马光给神宗讲了一个故事：春秋时期，子产在郑国执政，郑人聚集在乡校里议论纷纷，有人请求拆毁乡校。子产说：“为什么呢？……他们赞成的，我就继续推行；他们反对的，我就加以修改。乡校是我的老师啊，为什么要拆毁它呢？我听说用忠诚善行来减少抱怨，没听过利用威权来堵塞抱怨。威权之下，难道不是能立刻终止抱怨吗？但这就像是防洪，大规模决口，伤人必多，来不及挽救；不如先开小口疏导洪流。对待议论，与其拆毁乡校，不如把我们听到的当做药石。”“子产不毁乡校”的故事，四年前，司马光曾经在信里给王安石讲过，王安石没有听他的。那么，这一次，神宗会听他的吗？
另一方面，在政策层面，应当废除一切新法。司马光认为，王安石所推行的青苗、免役、市易、保甲、水利诸法，皆属“朝之阙政”，必须予以纠正，全盘废除。司马光还鼓励神宗“收威福之柄，悉从己出”，收回对王安石的信任，亲自主持政务，亲自选任台谏官，恢复批评纠错机制。
熙宁七年四月的这道奏疏，如金刚怒目，振聋发聩。闲居四年，已经安享独乐之乐的司马光，为什么会在此时忽然做此狮吼？
作为皇帝的忠臣，君臣秩序的忠实拥护者，司马光早就明白一切荣耀归于皇帝的道理，如果皇帝不支持，臣子就什么也做不成。所以，当皇帝倒向王安石，一切皆不可为时，司马光只能选择放弃，退出政坛。在司马光的思想图景中，没有第三条路可走。能够让司马光再度奋发、积极进言的，必然是神宗态度的转变。
熙宁七年（1074）三月二十八日，神宗颁布了一则充满悔疚的求言诏书：
朕道德修为不足，昧于致治，导致国家治理失衡，干犯阴阳和谐。去冬今春，旱灾肆虐，受灾区域广大。朕已下诏减撤日常菜品，避开正殿，希望以此承担罪责、消除灾变。可是时间过去这么久，还没有得到老天的正面回应，老百姓嗷嗷待哺，奄奄一息。朕夜半惊醒，恐惧不安，可是这问题究竟出在哪里呢？
诏书所遵循的逻辑，是早已被现代人所遗弃的“天人感应”学说。持续的旱灾代表着阴阳失和，而阴阳失和表明人间统治的失序，皇帝以个人生活的撙节谦抑向老天表达悔意，可是老天并没有原谅他。于是，皇帝害怕了，他知道自己所做的还不够，可是又不知道错在哪里。因此，他决定向“中外文武臣僚”开放言路，广纳批评。
变法之初，王安石曾经对神宗说过“灾异皆天数，非关人事得失所致”，如今却出现了这样一篇因为畏惧天变而自责的求言诏，这分明是对王安石路线的否定和背离。诏书出自韩维之手，然而，它所透露的，却毫无疑问是神宗在彼时彼刻的真实想法。神宗动摇了。对于王安石主政六年以来的国家状况，神宗感到了由衷的担心和恐惧。
诏书只提到了旱灾，而让神宗感到焦虑震恐的，却不止旱灾，还有财政困难与契丹的威胁。
旱灾的情况有多么严重呢？早在熙宁三、四年间（1070～1071），陕西、河北等广大的北方地区已经出现严重旱情。到了熙宁六年冬至七年春，遭遇旱灾的区域又扩大到两浙、江淮地区，朝廷不得不在这些地区开仓放粮、赈济灾民，而东南地区一直是帝国的粮仓。正常年景，每年通过汴河从东南地区运往开封的粮食高达600万石。这一年，真正抵达开封的粮食只有200万石。开封的米价暴涨至每斗150文，普通老百姓的生计大受影响，首善之区，辇毂繁华，竟然也有了饥荒之相，怎能不让神宗感到紧张？在“求言诏”颁布之前，神宗已经批示政府拿出220万斛存粮，以每斗100文、90文的价格面向首都市场出售，以平抑米价。15
让神宗感到担忧的第二件事是财政困难。熙宁四年，在王安石的支持下，军事天才王韶（1030～1081）开始主持西北战事。王韶的确是很能干的，他收服了青唐（青海西宁）地区势力最大的俞龙珂部，进而将宋朝的领土拓展到甘肃临洮、临夏、宕昌、岷县。熙宁六年夏秋之际，王韶发动攻势，“前后历时五十四日，军行一千八百里，收复五州，拓地两千里”。捷报传来，群臣拜贺，神宗异常欣喜，当场解下腰中所服的玉带赐给王安石，以“表朕与卿君臣一时相遇之美也”。
然而，西北用兵所造成的军费消耗显然也让神宗始料未及。熙宁六年八月，陕西永兴军的兵储“才支三季”。而储备不足显然不是永兴军一路的特殊状况。俗话说，“兵马未动，粮草先行”，如今兵马在外，后方的粮草却渐渐空虚，这怎能不让神宗感到紧张焦虑？陕西的兵那么少，怎么会花掉那么多钱呢？！神宗没有打过仗，也没有管过账，他百思不得其解，想来想去，觉得一定是转运使不得力。按照神宗思路走下去，转运使必然会成为替罪羊。还好王安石不糊涂，他劝解神宗说：“陕西财政用度不足，也恐怕不能只怪转运使，必是自有许多使处。比方说，熙州王韶那里用兵数也不多，可是所耗费的钱财物资却是如此之多。因为只要是打仗，钱粮物资的消耗必然是这样的。转运使的算计错误肯定是有的，但未必就能导致财用缺乏。”这番话显然未能完全说服神宗，他说：“一件事算计错了，恐怕就要导致几十万贯的损失啊。”
神宗的拓边行动是在巨大的财政压力下开展的，王安石的理财给了他一些底气，可是打仗竟然是这样的花钱，还是让神宗感到了心虚脚软。
让神宗感到担忧的第三件事是来自北方大国契丹的威胁。熙宁六年十一月，有情报表明契丹要来重新划分山西段的领土，神宗“深以为忧”；不久，神宗又接获谍报，说契丹打算来讨要关南地。关南地在河北，属于后晋石敬瑭割给契丹的土地，后来被周世宗收复。按照1005年订立的澶渊之盟，契丹已经承认了宋朝对关南地的领土主权。然而，这块地却成了契丹要挟宋朝的由头。仁宗朝宋与西夏交战正酣的时候，契丹曾经趁火打劫，遣使讨要关南地，最终逼迫宋朝增加岁币额度。如今宋朝拓边西北，兵力、财力、民力的投入重点都在西边，陕西军需已经捉襟见肘；而与此同时，宋朝还在湘西腹地展开了内陆拓疆行动，力图征服久居深山的“化外蛮夷”。当此之时，若契丹再从北边打过来，宋朝腹背受敌、三处用兵，当如何是好？“今河北都无备，奈何？”
神宗发生了严重动摇，他开始怀疑王安石的路线、政策是否真的出现了问题。“上与安石如一人”的神话出现了裂缝。三月二十八日的“求言诏”用了四个问句反思、检讨阴阳失和、上天降戾的原因：
意者朕之听纳不得于理欤？狱讼非其情欤？赋敛失其节欤？忠谋谠言郁于上闻，而阿谀壅蔽以成其私者众欤？
这四问当中，“狱讼非其情”—司法不公是任何时代都可以说的。其余三问，每一问都暗指王安石。“听纳不得于理”等于说是朕所听从、采纳的路线方法出了问题。皇帝听谁的？王安石！“赋敛失其节”，对民间财富的收取失去了节制，这不正是反对派对青苗、免役诸法的批评吗？皇帝的视听被蒙蔽，小人阿谀阻塞言路以谋私利，那么是谁蒙住了皇帝的双眼、堵住了皇帝的双耳？王安石！
在政策的具体实施层面，神宗与王安石出现了越来越多的分歧。比如，当发现陕西永兴军的兵储“才支三季”时，神宗立刻下令三司使薛向彻查。薛向于是派人赴陕西调取六年以来的钱谷、金银、匹帛出入细数两本—这是要查账了，查账的时间段，正好是王安石以新法理财以来的六年！ 这哪里是查陕西？分明是查王安石！最终，薛向的调查被王安石以“扰人至多”为名叫停。对于神宗没完没了的各种担忧，王安石很是不以为然，但是，他显然不能打消神宗的顾虑。
王安石目标明确，态度坚定，如山不动，而神宗却是忧形于色，“叹息恳恻”，想要取消部分新法了。神宗与王安石之间，裂痕在显露，在加深。
神宗还受到了来自皇族内部的压力。两位老太太—太皇太后曹氏和皇太后高氏常常对着神宗哭哭啼啼地抱怨新法。一天，神宗与二弟岐王颢一起到太皇太后宫中向曹氏请安，祖孙三人之间发生了一场激烈的言语交锋。
曹太皇太后说：“我听说民间被青苗、助役钱害苦了，为什么不取消它呢？”
神宗反对：“这些都是利民的政策，不是要害民的。”
神宗的话，曹太皇太后当然是不信的，她矛头一转，直指王安石的去留，说：“王安石的确有才学，可是抱怨他的人太多了，不如先把他调到外地去，过一年多再召回来。”太皇太后的意思，显然是为了神宗好，希望他与王安石适当切割，平息舆论，缓和矛盾。
神宗不领情，说：“群臣之中，只有王安石能横身为国家当事啊！”这个时候，一直沉默的岐王颢开口了：“太皇太后的话，是至理，说得对极了。陛下不可以不深思啊！”
岐王的话，还有他的表情、语调都让神宗再也遏制不住内心的愤怒与委屈，他大声喝道：“是我在败坏天下吗？‘汝自为之’，你自己来啊！”
“汝自为之”这样的话，皇帝对享有皇位继承权的宗室亲贵说，简直就是恶毒的诅咒。太宗皇帝曾经对太祖的长子德昭说过类似的话，而德昭回转身就自杀了。岐王颢闻言，顿时就哭出了声，边哭边说：“何至是也？”
一场意在表现天伦之乐的祖孙聚会不欢而散。
神宗还在试图维护王安石，他清醒地知道，要想大有作为，除了王安石，没有其他人可以依靠。然而，来自天地人各方的巨大压力却让神宗焦虑不堪、身心俱疲。“是我在败坏天下吗？”的反问，带着哭腔，流露出极度的委屈与不甘—他要做伟大的皇帝，他不要重蹈父亲英宗的覆辙！
熙宁七年（1074）四月十九日，神宗宣布，王安石罢相，出知江宁府。然而，我们却很难说司马光的狮子吼在其中起了什么直接作用。司马光奏札上报的时间是四月十八日，而他投书的地点在洛阳。也就是说，在司马光的奏札抵达神宗御览之前，王安石的罢相制就已经公布了。上天示警，来自官僚集团与皇室内部的压力如此之大，让神宗不得不罢免王安石以平息物议，与人、与天谋求和解。
那么，王安石罢相是否就等于神宗有意回到司马光路线？天章阁待制李师中（1013～1078）就作出了这样的判断。五月初一，他上疏建议神宗召还司马光、苏轼、苏辙，改弦易辙，放弃“富国强兵之事”，转求“代工熙载之事”。所谓“代工熙载”，即人臣辅佐君主，代行天命，建立天地人和的丰功伟业。李师中又毛遂自荐，自诩“天生微臣，盖为盛世，有臣如此，陛下其舍诸！”没想到神宗览奏大怒，吕惠卿又从旁添油加醋，故意歪曲，最终，李师中被一撸到底，押往和州监视居住。《宋史·李师中传》说他“好为大言，以故不容于时而屡遭贬谪”，其实，真正让神宗感到恼怒的，恐怕还不是李师中的大言炎炎，而是李师中对神宗—王安石富国强兵路线的彻底否定，他标榜自己“未尝有一言及钱谷甲兵者，盖知事君以道”，明确地把“事君”之“道”与“富国强兵”“钱谷甲兵”直接对立起来。殊不知，在神宗心中，讲求“钱谷甲兵”之术，以达到“富国强兵”的目的，却是“道”本身。
在明眼人看来，李师中是个彻头彻尾的糊涂人，完全看不清形势。神宗虽然不得已罢免了王安石，却给了王安石最优厚的待遇—级别一口气提高了九级；罢相制书中充满赞美眷恋之情，所用的罢相理由是王安石的恳辞。继任首相韩绛，出自王安石推荐，韩绛得到任命之后，随即向神宗提出要面见王安石，“有所咨询”，而神宗在给王安石的手诏中则殷切嘱咐“您要替朕把当今人情政事中的当务之急跟韩绛细细说道”。与韩绛的首相任命同时发布的，还有吕惠卿的参知政事任命，而吕惠卿是王安石一手提拔上来的。王安石最欣赏的人就是吕惠卿，他认为，吕惠卿的政策主张与自己“不异”，又有卓越的行政能力，是维护既定方针的不二人选。韩绛与吕惠卿，一个是王安石的“传法沙门”，一个是王安石的“护法善神”。有韩—吕组合在，王安石丝毫不担心他罢相之后的政策走向。至于司马光等人关于吕惠卿人品“真奸邪”的批评，王安石如春风过耳，略不萦怀。他所看重的，是政治主张，是执行能力。
王安石人离开了开封，但是，他的政策还在。