这次全家离京，出乎预料，因而十分匆忙。忽有一天清早，决定返回南方，杨绛记得当时还在寓所的小院子里玩耍。
在去火车站的路上，杨绛遇见一个平素不怎么热络的同学，她恨不能叫这位同学捎句话给班上，说自己“回南了”，小杨绛的心里十分惆怅。
火车站月台上人头攒动，在杨绛眼里，为她父亲送行的“有一大堆人——不是一堆，是一大片人，谁也没有那么多人送行，我觉得自己的父亲与众不同，很有自豪感。火车快开了，父亲才上车”。这幕场景，时间虽然过去六十多年了，杨绛仍然记忆犹新。
这趟火车开了，唐须荌因为晕车，呕吐得厉害，只好由杨荫杭照料全家大小和许多行李。一家人到天津下车，住了一两天客栈，然后搭乘“新铭”号轮船到上海，再换“拖船”回无锡。所谓“拖船”就是由小火轮拖带的小船，一只火轮船可以拖带一大串小船。一路上劳顿不堪，母亲唐须荌反复叮咛小孩：“上海码头乱得很，‘老小’要听话。”
杨绛的父母在无锡沙巷预先租下房子，避免挤到老家去住。这时全家人除前几年二姐患副伤寒不治身亡外，还有大姐、三姐、两个弟弟和一个妹妹，共八口人。新租的房子的厨房外面有一座木桥，过了桥就是自己家的后门。杨绛觉得新奇得很，因为可以不出家门，就能站在桥上看来往的船只。
沙巷口有一座庙，叫大王庙。原先不知是祭祀什么大王的，后来改为学校，就叫大王庙小学。学校只有一间大教室，双人课桌四五直行，学校的四个班级都在这一间大教室里，男女学生大约有八十人。杨绛和两个弟弟是在学期半中间时插班进去的，她原是初小三年级，在这里就插入最高班。
大王庙小学的教职员只有两人：校长和一位姓孙的老师。孙老师剃一个光葫芦瓢似的头，学生背后称他“孙光头”。他拿着一条藤教鞭，动不动就打学生，而且最爱打脑袋。个个学生几乎都挨过他的打，不过他从来不打杨家的小孩子，可能觉得他们是“特殊”的学生吧，其实杨绛和她的弟弟不但是“做官”人家的子女，而且也十分乖巧。可是，其他同学却非常恨孙老师：在里面有个马桶的“女生间”的墙上，不知是谁画了一幅“孙光头”的像，大家都对着那幅画像拜拜，杨绛起初以为是讨好孙老师，可她们说，为的是要“钝”死他，“钝”在无锡方言中就是叫一个人倒霉的意思。
杨绛对大王庙小学的学生生涯曾有回忆，她说：“在大王庙读什么书，我全忘了，只记得国文教科书上有一部是：‘子曰，父母之年，不可不知也……’，‘孙光头’把‘子曰’解作‘儿子说’。念国文得朗声唱诵，称为‘啦’（上声）。我觉得发出这种怪声挺难为情的。”杨绛还记得她们在学校玩游戏的情形，十分有趣：
……我和女伴玩“官、打、捉、贼”（北京称为“官、打、巡、美”），我拈阄拈得“贼”，拔脚就跑。女伴以为我疯了，拉住我问我干什么。我急得说：
“我是贼呀！”
“嗨，快别响啊！是贼，怎么嚷出来呢？”
我这个笨“贼”急得直要挣脱身。我说：
“我是贼呀！得逃啊！”
她们只好耐心教我：“是贼，就悄悄儿坐着，别让人看出来。”
又有人说：“你要给人捉出来，就得挨打了。”
我告诉她们：“贼得乘早逃跑，要跑得快，不给捉住。”
她们说：“女老小姑则”（即“女孩子家”）不兴得“逃快快”。逃呀、追呀是“男老小”的事。
我委屈地问：“女孩子该怎么？”
一个说：“步步太阳”（就是古文的“负喧”，“负”读如“步”）。
一个说：“到‘女生间’去踢踢毯子。”
大庙东庑是“女生间”，里面有个马桶，女生在里面踢毽子。可是我只会跳绳、拍皮球，不会踢毯子，也不喜欢闷在又狭又小的“女生间”里玩。
诸如此类，留给杨绛的印象还是很深的。直到上世纪八十年代，她还时常提起：“我在大王庙上学不过半学期，可是留下的印象却分外生动。直到今天，有时候我还会感到自己仿佛在大王庙里。”