随着玄瀞的死亡，“倡乱逆反”的人全部离世，官府对侯家的压力慢慢减轻了。
1653年，玄汸、玄泓兄弟和家眷结束了六年的颠沛流离，回到嘉定乡下，寻找一处安身之所。
龙江村里，侯家祖先建立的关帝庙依然香火鼎盛，只是和侯家没有了关联；侯家太初园内，假山几乎坍塌成平地，芙蓉池里只剩几枝残荷。自从侯家被官府严拿后，龙江村的族人陆续搬走，不愿离开的族人艰难地维护侯家的地位。年迈的侯鼎旸坚守在村里，生活拮据，却试图集资修桥，以恢复侯家的威望；侯兑旸的儿子侯嵃曾充任里正时，因村民受到“牙行”欺压，首倡官府勒碑监管，赢得了村民的敬意。
由于宅院和田地已被官府收缴，玄汸和妻儿无家可归，已经搬到朱家泾村的叔父侯岘曾收留了他们。
玄泓和妻儿起初住在厂头村，村里物是人非，后来他们搬到城内，寄居在友人徐时勉的金氏园里。徐时勉已经七十多岁了，自从1640年从陕西澄城县罢官回乡后，一直隐居在金氏园，专心研究毛氏注解的《诗经》。金氏园紧靠龚氏园，金氏园本是侯家的姻亲金德开家族的产业，龚氏园本属于侯家的姻亲龚氏家族，几大家族衰落后，龚氏园由徽州商人买下，改名秋霞圃，金氏园暂时为徐时勉居住。
玄汸、玄泓兄弟俩拖家带口，寄人篱下，期待能重回自己的家。他们打算赎回侯家在县城的宅邸。
自从嘉定城破、幸存的侯家人逃到乡下，到玄汸、玄泓逃难归来，整整过去了八年。八年里，侯家在县城的宅邸一直被官府占用，充当兵营。房子的前堂则被诋毁侯家的人上报官府，改建成神庙。当年籍没时，县城的整套宅邸估价为三千两银子。兄弟俩归来后，花了四年与官府交涉，前后耗资三百两银子打点县衙，最后以五百两银子的价格把整座宅邸赎回来了。
昔日的美宅破败不堪，原先的八进格局只剩六进。玄汸、玄泓费了巨大工夫，收回一部分散落的木料，将宅子修缮一新。原来的正堂仍贻堂用来接待宾客，寿宁堂改建成家庙。院子的前三进分给玄泓，后三进分给玄汸，侧面的藏书室拆改一番，供贫穷无依的妹妹侯蓁宜和龚元侃夫妇居住。此外，兄弟俩还接纳了另一个无依无靠的妹妹，即顾天逵的妻子及两个女儿。
侯蓁宜在明亡后遭受了娘家和婆家两大家族的倾覆，生活今非昔比。她的诗集《宜春阁草》早已毁于兵火，只剩一个孤零零的名字昭示着她在侯家宜春阁的青春岁月。她的丈夫龚元侃不擅长理财，又不能在新朝廷谋官，只能教书维持生计，还要处理家庭诉讼、培养弟弟读书、托举弟弟妹妹与名门望族结亲。他们的生活一直没能摆脱贫困。即便在最拮据的时候，他们的关系在儿子们看来依然是“相待如宾”。她三十三岁生日时，龚元侃写诗为她庆祝。她逐渐习惯了“麦饭葱汤”的简朴生活，坦然接受了镜中斑白的双鬓。欣慰的是，儿子们逐渐长大，一直用功读书。十年来，由于家贫买不起书，儿子们读的书都是侯蓁宜逐字逐句抄录的。丈夫时常在外教书，她每天晚上在灯下或纺织，或缝纫，身兼慈母与严父的角色，陪伴儿子读书到深夜。她期待儿子们走科举之路，有朝一日改变家境。儿子们也记住了父亲龚元侃的话：“吾家世清华五百余年，汝曹虽贫，勿改操也。”
侯家在城内的私家园林，也就是侯震旸开辟的侯氏东园，籍没时由官府卖给了寺院。玄汸、玄泓流亡在外时，侯家的亲戚李宜之把侯氏东园赎回——侯氏东园是明亡后李家遭难时侯家收留李宜之的地方。李宜之将东园改名寓园，并终老于此。玄汸归来后，收回东园，改名秬园，并以秬园为自己的号。
修整后的秬园，比四十年前侯震旸刚开辟时破落不少。用玄汸自己的话来说，就是“瓶无粟也，园无丁矣。沼无鱼也，门无宾矣。荷花桂树，自荣自落，凌霄之木，或出下矣，尚何有于园乎？”园子虽已凋敝，园内种植的松、柏、枫、槐、竹、桂、石榴、芭蕉、紫藤、海棠、枇杷、梧桐等花木加上蔬果，尚有五十余种，堪称一座植物园。春暖花开时，风光依旧动人。秬园内，用于接待客人的正厅称为明月堂。明月一词，寄托了侯家兄弟太多的追忆。虽然收回了宅子和园子，眼前的家产也只相当于侯家鼎盛时的十分之一。
玄汸在秬园定居后，很多学子慕名而来，拜师学习，称他秬园先生。他在明月堂授课，定下了八条“明月堂学规”，包括定心志、严课程、慎言语、善始终等，教导学生们读书是为了“做个天地间有用的人”。他回忆起年少时在侯氏家塾读书时，老师黄淳耀旁征博引、举一反三的教育方式，可当他把老师的教学法运用到眼前的学生中，能理解他的人寥寥无几，使他略感遗憾。
玄汸、玄泓归来的日子里，侯檠也回到母亲夏淑吉的身边。
对夏淑吉来说，儿子归来后的日子一定是她最幸福的时光。侯檠离开时才九岁，回来时已经十五岁。夏淑吉看到唯一的儿子初长成，与两位叔父参加文社，在江南颇有诗名，一定倍感欣慰。读书以待时变，侯檠成为侯家的新希望。
不幸的是，侯檠归来后的幸福没有持续太久。长年的颠沛流离、风餐露宿，早已让他年幼的身体孱弱不堪。又一波流行病袭来时，侯檠不幸染病，最终病亡，年仅十六岁。
亲朋好友无不为侯檠的死感到惋惜，最心痛的是失去儿子的母亲。
“吾数年来，将三百六十骨节交付太虚空，更无系恋矣。”侯檠的死，如同压倒骆驼的最后一根稻草，使夏淑吉对尘世再也没有牵挂。从此，她在龙江村闭门不出。
生活好转后，玄泓重修了侯氏东园里的岁寒亭。夏淑吉和姚妫俞、龚宛琼、盛韫贞搬离龙江村，一起入住岁寒亭。城内的生活条件比乡下好了一些，姚妫俞可以倚着柔软的靠垫，坐在黑色的羊皮几案前，在缭绕的熏香中一页页翻看佛经。翻罢佛经，她登楼眺望家乡苏州的方向，只能看到夕阳下寒鸦齐飞。尘世回不去，故乡回不去，“一段旅怀还磊落，百年心事付苍茫”，她的心情大概永远不会变好了。
侯檠的死，也让玄汸、玄泓把立长子的事再次提上议程。之前，玄瀞死时，玄汸、玄泓兄弟就意识到侯家的大宗——峒曾一支已经断绝了血脉，玄演和玄瀞没有孩子，玄洁只有一个小女儿。按照规矩，族人应该为峒曾一支延续香火。孙辈中年龄最大的侯檠本应过继给峒曾一支，但迟迟没决定下来。
这一次，经过商议，过继给大宗长支侯玄演的是玄汸的长子侯乘，也就是岐曾被害前刚出生的婴儿，此时已经七岁了。在一个良辰吉日，玄演的遗孀姚妫俞身披缁衣，走出岁寒亭，在侯家的家庙举行了过继仪式，纳侯乘为嗣子。
姚妫俞患病卧床时，侯乘按照父亲玄汸的教导，为姚妫俞尽孝，连续十四天在她床边守护，查询医书，有求必应。姚妫俞病好后，将婆婆李夫人当年造的一尊大悲佛像送给侯乘供奉，褒扬他的孝道。有了嗣子养老送终，姚妫俞倍感宽慰。更重要的是，这意味着侯峒曾一支有了子孙后代，并没有断绝香火。
夏淑吉的儿子侯檠病亡后，玄泓将儿子侯荣出嗣给她。侯荣幼年丧母，由夏淑吉抱养，与夏淑吉结下深厚的感情。
玄洁的遗孀龚宛琼也有了子嗣，名叫侯来宜，他的生母是玄汸的妻子宁若生。
侯家的孩子们继续拜陆元辅为师，在家塾中读书。
“十年往事不堪论，凭仗清樽减泪痕。独有云和楼上月，天涯还照几人存？”在家族陷入绝境、死亡率居高不下的年代，玄汸和玄泓兄弟艰难地延续着侯家的血脉，夏淑吉、章有渭、宁若生等女眷竭力辅助男人们维持侯家的尊严。
几年里，侯家人或许听说了外面的消息，尽管已经与他们的生活关系不大。
吴胜兆之乱，只是江南之乱的一个缩影。江南之乱，也只是全国范围内的乱象之一。吴胜兆反正失败后，各地的反清形势风起云涌。1648年之后的几年间，从北方的河南、山西、陕西、甘肃，到中部的湖北、湖南、江西，再到南部的广东、广西，几乎每个省都燃起了反清的战火。在鲁王政权和隆武皇帝先后覆灭后，遥远的西南边陲又出现了两个明室小朝廷，分别是广州的绍武帝和广西梧州的永历帝，只是力量弱小，不足以与清朝抗衡。
一波波反清风潮使清廷更加敏感，紧紧盯住已经归顺的汉族官员。在这种情况下，降清官员的日子并不好过。
先说与嘉定直接相关的两名官员——李成栋和土国宝。
对李成栋来说，1645年的嘉定屠城和之后的吴淞总兵一职只是他的人生插曲。
吴胜兆之乱结束后，李成栋奉清朝命令，出兵攻打尚未归顺的东南沿海，先打到福建，后进攻广东，拿下广州，担任广东提督。其间，他越来越不满现状。清廷的管束、同僚的排挤让他生出私心。1648年，江西总兵金声桓反清的消息传来，在属下的鼓动下，李成栋也在几个月后宣布反清，归顺偏安广西的永历皇帝。
随着金声桓、李成栋、大同总兵姜瓖的先后叛归，南明形势一度出现了好转。他们叛清多是出于个人原因，不过仍在广阔的南方一呼百应，激发了更多的反清义师。一年后，1649年，李成栋的队伍在赣南受到清兵的重创，他本人落水溺死。作为一个北方人，他大概没有想到自己有一天会死在南方的水中。
苏州巡抚土国宝在吴胜兆事件发生后，一度大规模搜捕东南文人，每天捕杀上百人，持续了半个多月。1648年，他改任江宁巡抚，在扬州广置豪宅，存储重金。他的外甥在他的掩护下，贩卖私盐和硝磺，获利颇丰，每月送他三百多两银子。土国宝在贪污之外，还以兵饷不足为由给皇帝上疏，请求向江南百姓加派粮饷，被清廷以“加派乃明季陋习，民穷盗起，大乱所由，我朝应运首革此弊”为由拒绝。1651年，土国宝受到江南巡按的弹劾，以纵蠹虐民、贪赃枉法等罪名被革职严讯，在狱中畏罪自杀。
在江浙沿海，隆武皇帝被清兵杀害、鲁王渡海投奔郑成功后，他们的属下也陷入了内部矛盾。鲁王的部下张名振等人联合火并黄斌卿部，最终杀死黄斌卿。黄斌卿的手下逃往陆地，投降了清朝，两年后为清军引路，帮助清朝一举攻下了舟山群岛。
最强大的反清势力是占据福建沿海的郑成功。隆武政权瓦解后，郑成功奉远在广西的永历皇帝为正朔，但并未实际参与永历朝廷。东南沿海贸易为他带来了巨额利润，为反清提供了坚实的经济基础。清朝的海上军事力量薄弱，让他获得更多的反击机会。他一次次攻打漳州，并策动清朝军官叛降，最终攻下漳州；他与张名振合兵北上，一度夺回崇明岛，寻找攻打浙江的机会。
不过，郑成功虽一意反清，他手下的队伍却出现了离心倾向。他一意孤行，驭兵极严，导致施琅等部将相继离他而去，转而投降了清朝。