然而，在如思成所描绘的“谁都难得来到的可诅咒的小镇”李庄，生活永远不会平静。1943年2月底，在逃难来的研究人员中间包括他们的妻子们在内，染上了一种最终导致争吵、愤怒、谩骂和友谊破裂的煽动性流言蜚语。正像徽因在信中所说的，“这是一个思想偏狭的小城镇居民群。最近，一些快乐的或者滑稽形式的争吵已在受过高等教育的人群中发展到一种完全不相称的程度。我很怀疑，是不是人们在一个孤岛上靠十分菲薄的供应生活，最终就会以这种小孩子的方式相互打起来。”
雪上加霜的是，营造学社的中国建筑历史文献研究负责人刘敦桢宣布他将离职。他已在营造学社干了十年以上，现在和思成一道担负着领导责任。
徽因说：“刘先生是一个非常能干、非常负责任的人。全部帐目以及思成力不能及的复杂的管理工作都托付给他。现在这些将要全部落在思成肩上了！”
“这还不算。如你所知，自从我们南迁以来，营造学社干活的人一共只有五个。现在刘先生一走，大家很可能作鸟兽散。”
从外边来的一位显要的来访者，使得单调的生活得以被打破，并把注意力从日常的争吵转移开。英国生物化学家李约瑟教授作为英国驻重庆大使馆的战时科学参赞来华亲自看到了中国的国土和人民。（后来在他回到剑桥大学以后，他的多卷本中国科技史的出版给他带来了世界声誉。）尽管在他整个访问期间徽因还在卧床休息，她还是写信给费正清描述了这一事件：
“李约瑟教授来过这里，受过煎鸭子的款待，已经离开。一开始人们喜欢彼此打赌，李教授在李庄逗留期间会不会笑一笑。我承认李庄不是一个特别使人兴奋的地方，但是作为一个中国早期科学的爱好者，又不辞辛劳在这样的战时来到中国，我们也有理由期待他会浅浅一笑。最后，这位著名的教授在梁先生和梁夫人（她在床上坐起来）的陪同下谈话时终于笑出了声。他说他很高兴，梁夫人说英语还带有爱尔兰口音。我从前真不知道英国人这么喜欢爱尔兰人。后来在他访问的最后一天下午，在国立博物馆的院子里，当茶和小饼干端上来的时候，据说李教授甚至显得很活泼。这就是英国人爱好喝茶的证明。”
许多人指出，梁思成由于成功地把陶孟和博士（中国高级社会学家、中研院社会研究所所长）和傅斯年博士（活跃的人文主义者、显赫的历史语言研究所所长）拉到一起十分友好地握手，应当得到诺贝尔和平奖金。这件事由于是在大庭广众之间做成而更具戏剧性，它刚好是在李教授在中央研究院大礼堂作讲演之前那一刻发生的。据报道，许多人暗自为这件事鼓了掌。李济博士走上前去和梁思成握了手，并且私下说要授给思成诺贝尔和平奖金。后来梁夫人写信给在重庆的费正清博士，叫他放心，人类总的来说还是大有希望。
“这次和解的准备工作还得归功于这么一点，有些人以深深卷入别人的每一桩个人事务的癖好而著称。
“在读过托尔斯泰关于1805～1812年在莫斯科和彼得堡之间的人类活动的浩繁记录之后，我必须承认，在李庄或重庆，在昆明或北平（北京）或上海，从1922年到1943年期间的人类活动同《战争与和平》中所描写的一个世纪以前发生在陌生的俄罗斯的事情是何等惊人地相似。因此为什么不干脆容忍这一切算了——我指的是一般意义上的生活和人。
“我所能做的最糟糕的事情莫过于让自己陷入仇恨。我生来是个女人，而这又是战时。我自己的母亲碰巧是个极其无能又爱管闲事的女人，而且她还是天下最没有耐性的人。刚才这又是为了女佣人。真正的问题在于我妈妈在不该和女佣人生气的时候生气，在不该惯着她的时候惯着她，还有就是过于没有耐性，让女佣人像钟表一样地做好日常工作但又必须告诫她改变我的指令，如此等等——直到任何人都不能做任何事情。我经常和妈妈争吵，但这完全是傻冒和自找苦吃。”
梁家越来越严重的困境使费正清只得写信给在昆明的老金问计。老金回信一开头就说“别为梁家的事烦心”，接着就叙述了他对他们面临的问题的看法。
“我认为，相对于调整人际关系的困难来说，住房问题就是小事一桩。最难适应的是妈妈。她属于完全不同的一代人，却又生活在一个比较现代的家庭中，她在这个家庭中主意很多，也有些能量，可是完全没有正经事可做，她做的只是偶尔落到她手中的事。她本人因为非常非常寂寞，迫切需要与人交流，她唯一能够与之交流的人就是徽因，但徽因由于全然不了解她的一般观念和感受，几乎不能和她交流。其结果是她和自己的女儿之间除了争吵以外别无接触。她们彼此相爱，但又相互不喜欢。我曾经多次建议她们分开，但从未被接受，现在要分开已不大可能。”
也许是费正清的一封家书的复印件，促使徽因以一种更加开放的心情写信给他：
“顺便说说，我最近的阅读范围很广，包括《战争与和平》、《通往印度》、《狄斯累利传》、《维多利亚女王传》、《元朝宫殿》（中文）、《清宫秘史》、《宋代堤堰和墓室建筑》、《洪氏年谱》、《安那托里·佛兰西外史》、《卡萨诺瓦回忆录》、《莎士比亚全集》、《安德烈·纪德全集》、塞缨尔·巴特勒的《品牌品牌品牌》、梁思成的手稿、小弟的作文和孩子们喜爱的《爱丽思漫游记》中文译本。”
孩子们，再冰（宝宝）和她的弟弟从诫——在家里仍然叫他的小名“小弟”，尽管在梁氏夫妇的生活中占有重要地位，但在她的书信中很少提到。有一封很生动的信简短地写到他们在十四岁和十一岁时的生活：
“再冰继承了思成的温和和我所具有的任何优点。她在学校里学习和交友成绩都非常出色。她容光焕发的笑容弥补了她承继自父母的缺少活力……另一方面，从诫现在已成长为一个晒得黝黑的乡村小伙子，脚上穿着草鞋。在和粗俗的本地同学打交道时口操地道的四川话。但他在家里倒是一个十足的小绅士，非常关心我的健康，专心致志地制作各种小玩意儿。
“我在继续扮演经济绝招的‘杂耍演员’，使得全家和一些亲戚和同事多多少少受到一点好的照顾。我必须为思成和两个孩子不断地缝补那些几乎补不了的小衣和袜子……当我们简直就是干不过来的时候，连小弟在星期天下午也得参加缝补。这比写整整一章关于宋、辽、清的建筑发展或者试图描绘宋朝首都还要费劲得多。这两件事我曾在思成忙着其他部分写作的时候高兴地和自愿地替他干过。宝宝的成绩还是很好，但她要走这么长的泥路去上学可真是难为她了，而且她中午老是吃不饱。”
思成曾把儿子带到重庆，孩子在那里考上了两所中学，他在两所当中选了他有朋友的南开中学。老金说，“他的智商很高，那个顽童已成长为一个勤奋的学生。”