吴宓的日记成为了吴宓“反动”的罪证，据和吴宓一起蹲“牛棚”的西师中文系古典文学教授谭优学回忆说：1968年夏，两派斗争又紧张起来。“革命群众”突然对吴宓采取了一次“革命行动”。抄走了他的“反动日记”。这可惹下滔天大祸了。不但自讨苦吃，还连累到我们。他日记里说，叫中学生造反，等于拿小刀给孩子玩，没有不伤手的。“文化大革命”是毛主席“亲自发动亲自领导的”。这不是明目张胆地反对毛主席罪状之一。日记说“姚文元在江青卵翼之下”，是恶毒攻击中央“文革”和“江青同志”、姚文元。罪状之二。日记里有些地方对毛主席的文艺讲话，说了不全赞同的话，“狗胆包天”，竟敢“唱反调”，罪状之三。我们在“学习”中，监督有时不在，不免对两派的某些事有长短得失的议论，他也记在日记里，而且记下是“某君云”。“牛鬼蛇神想翻天了，那还了得”，于是我们被勒令于某日上午去某处集合。其他系的几条“辫子”挨了毒打，杀鸡给鹅看。我们挨了一顿毒骂。吴宓大概因为年老，免于挨揍，但被宣布为“现行反革命”，严加监管。还据说“两派同志都同意，公安部已批下来给吴宓戴这顶帽子”。这下真成为“不齿于人类的狗屎堆”了。
1968年6中旬，西南师范学院两派武斗再起，赶走了八三一的春雷造反兵团夺权后，召开批斗原党委书记张永青的大会，吴宓日记记载：包括他在内的“各类有罪之教职员（皆曾为张永青所尊礼、宠用、包庇者）共十六名，分列两侧，陪斗（同受斗争）。”在批斗大会上，吴宓不停挨打。学生们用竹条、树枝或扔小石子打他，在被押进会场时，“旁人则以竹条打击头肩背不休（此时最痛）”，在台前低头请罪听候大会批判发言中，“坐第一排之女生又频频以竹条打击宓等之头顶”。批斗会结束后，吴宓回到家中，“以所历简告唐昌敏（吴宓所雇家务女工）。视表，正夕5时。所历共只3～5两小时，而在台前曲躬俯立，则觉其长且久也！又按，宓自1904冬夜，为祖母痛打一次之后，一生未受鞭笞如今日者矣！”吴宓身边没有亲人，每次挨打后，他都只能向唐昌敏倾诉。次日：“唐昌敏以药敷宓伤处（左肩胛骨之下尖，肤色红肿，未破）。”
6月21日，吴宓再次在批斗会上被打伤。当天下着大雨，学生将他手上拿的遮雨草帽夺走扔掉。回家后，吴宓将情况告诉了唐昌敏：“唐昌敏导某邻童入大礼堂，寻取宓之草帽，未得。”“唐昌敏买白酒三两（二角四分）来，以酒浸药（药名红油克膏，治跌打损伤），为宓一再用棉巾拭洗伤处。”
1969年3月6日，吴宓与其他被打倒的教师一起被集中到西师李园，过“集体管制生活”，强迫他们交待罪行和揭发批判。4月24日，吴宓等人又被强行迁往梁平（西师分校）集中进行所谓“斗批改”。去梁平前，吴宓曾申请“年老衰弱留校劳动”，但未获批准。
5月9日，在梁平分校召开的中文系第二次批斗吴宓大会上，将吴宓押进会场的两个学生狠狠将他从高台上推下，致使他腿骨跌断。腿骨跌断的吴宓并没有得到及时救治，而是被迫跪坐地上接受“斗争凡历三小时”。大会结束后，吴宓被架回住处时“已成半死”。此后，吴宓“全身疼痛，在昏瞀之中，似两日未饮、未食，亦未大小便。”在这种情况下，他仍被强迫写交待材料，接受批判。直到6月21日，吴宓才随全体人员回到北碚，乘卡车（坐行李包上）于清晨7时出发，晚8时抵达西师校内，“得人扶掖，且背负至家”。
腿断后，吴宓只能爬着要几口水喝，几口饭吃。有时，连水、饭也没有。一次，他困在工棚里，对着窗外大喊：“给我水喝，我是吴宓教授。给我饭吃，我是吴宓教授。”当他断腿稍好一些后，他又被派做扫厕所、刷尿池、刮粪便一类的活儿。
1969年11月30日，吴宓在《上西师中文系群众工作组报告》中写道：“宓现在七十六岁垂暮之年，腿伤如此，不能站立，不能行步，即在室内爬行，偶一卧起转动，腿关节亦痛不可忍。故只有安居在此文化村二舍203室中，又需要女工唐昌敏服侍。”
11月28日，西师中文系师生又召开了批斗吴宓大会。“十二月四日，又十三日，两次抓宓到网球场和大操场，和其他的牛鬼蛇神受陪斗。两次均给宓（因伤腿）以极大之肉体痛苦。”
《吴宓的最后岁月》一文中叙述吴宓的遭遇：吴宓被关入黑房，昼夜审讯斗争，黑房外有红卫兵把守。吴宓关在黑暗牢房久了，全身脏痒难受，只好向把守的红卫兵请求洗个澡。红小将回答说：你这个老反革命想洗澡，这容易，我来侍候你。一会儿另一个红小将提一桶凉水来，两人合手合脚扒光他的衣服，把他从床上拉下来，站在泥水地上，高的一个拎着吴宓胳膊，另一个挥动刷大字报的毛刷，把凉水用搪瓷盆浇在吴宓身上，然后用刷打吴宓。那是寒冬的初春季节，凉水冻入心扉，吴宓浑身发抖，接着毛刷在他身上乱刷，直到吴宓跪下磕头求饶哭叫，红小将才将整桶凉水从头淋下来，说是为他“提壶灌顶”。吴宓哭着说红小将整他，红小将说这不是整，要整就要把他的耳朵、鼻子一样样割下来。他们问吴宓是不是想挨整，吴宓只好磕头求饶，并向红小将致谢，这才保住了耳鼻。
有一次吴宓躺在床上想绝食求死，红小将骂他，“绝食是向造反派、向文化大革命、向伟大领袖毛主席猖狂反扑……”随后，他叫来几个男女红卫兵，把吴宓按在床上，朝他鼻子里通往食道处塞一根胶管，然后灌入一大碗厨房丢弃的潲水，里面饭菜混合，把他的胃填得鼓胀、秽臭不堪，熏得他脑酸泪流、痛苦难当。红小将告诉他，这叫做“鼻饲”。经过四天“鼻饲”，吴宓是求生不能、求死不得，直到他同意自己掏钱去买饭菜吃，红卫兵们才停止了这种惨无人道的“鼻饲”……
走笔至此，惟有一声哀叹，两行清泪！
吴须曼在《回忆先兄吴宓教授》记录过吴宓那段时间的经历：
由于生活不能自理，只好请一个保姆，而他（吴宓）当时只有三十元生活费，拿什么付保姆费，同事之间，人各自危，谁还敢自讨罪责帮他，我只好在生活中节约，每月补助他二十元。残酷的迫害和摧残，使他的身体每况愈下。
1974年春天，我去重庆西南师院探望，兄妹相见泣不成声。见他连最低的生活水平都达不到，衣服只有两三套，被褥单薄，布证、棉花票一样也没有，惟一的财产就是布满书架和箱桌的中外书籍。一件蓝布面的棉袄，上面缝补有三十六处，可见年月之久，令人伤情。我回到泾阳后，即刻赶制了棉衣、棉裤、被子和毛衣寄往学院。
1975年夏天，我又去西南师院，他腿有残疾行走不便，一只眼睛患白内障而失明，生活更加困难，我决定劝他随我回家，但他坚持不同意，告诉我他保存的二十六本《吴宓诗集》不到半月曾被人“偷走”。尤其令人气愤的是，“十年动乱”中有人拿了他的书，知道他恢复工资后，送还一两本书就索费几十元，依这样的特高价收回一部分不能成套的书，每月工资即付一空。补发工资后，除还一部分外债和周济了几个困难的学生外，大部分就是花在赎回被人拿去的书上。残酷斗争，无情折磨，使他的神经近乎失去了控制。这些人就是掌握了他爱书如命的特点，才这样诈骗他。甚至他手上的一块价值几百元的进口表，也被重庆钢厂两个无赖用一只仅值六元钱的小闹钟“换”去。他动辄被骗走数十元乃至百余元。