吴宓不到一岁生母李孺人即病逝。吴宓对于其母的音容笑貌毫无记忆，也无法想象，为此，他引为终身之恨。很多研究者认为：吴宓幼年母爱的缺失影响了他一生的情爱观。
吴宓因幼年丧母，祖母怕吴宓无人照顾，做主将3岁的吴宓出为其叔父吴建常（称仲旗公）的继嗣。仲旗公在1987年的陕西乡试中被录为副贡生，少年得志，弯弓骑射，西出阳关，欲在边塞建功立业。辛亥前后，仲旗公曾官至陕甘都督的参谋长兼秘书长、凉州副都统，辞官后赋闲沪上。吴宓对仲旗公的学问、修养、道德、行谊深为佩服，对仲旗公一生受女人爱慕的女人缘也羡慕不已。连仲旗公在沪涉足风月场中，引来名妓争相求宠、争风吃醋的风流行为，也为吴宓所称道。吴宓独遗憾仲旗公没有“早以女子之心理及恋爱之技术”传授给自己，致使自己在情场中追逐多年，却总是失意人。
吴宓成年成名后，他的同乡民国元老于右任在一首诗里这样写到他们父子：
泾阳吴老字仲旗，其子之名号陀曼。
父为大侠子学者，我亡命时蒙疏饭。
仲旗公远在西北边关求功名，所以吴宓的实际生活还是由父亲芷敬公及续弦雷孺人照料。祖母杨太淑人怕吴宓受后母虐待，便亲自照料吴宓。1905年冬，吴宓被送往三原县北城，师从泾阳王麟编读书。祖母随同吴宓移住三原，陪伴孙儿读书，直到第二年6月病逝。
吴宓在祖母的溺爱下生活了12年，但这对他来说并不是一份有益的赐予。晚年，吴宓曾在自编年谱中追忆祖母对自己的溺爱，反思这份溺爱对自己的影响：“（1）溺爱，纵容过甚。不但使全家人皆不服，且养成了宓之许多不良的性行、习惯。（2）宓一生感情，冲动甚强。往往以一时之感情所激，固执私见，孤行己意，不辨是非，不计利害（后乃悔悟）。又自己勤奋劳苦，而不知如何寻欢求乐，无逸豫之情，少怡悦之意。即是：能工作，不能休息。能紧张，不能纵逸。对人，则太多计较与责难——以上皆类似（杨太淑人）之个性，由不自觉（无意）的摹仿而来者。”
一次因为祖母和继母的矛盾，吴宓遭受了平生“只此一次”的体罚：
1904秋，某夜。宓读完《左传》中陈公子完奔齐一长篇，能背诵，杨太淑人始同宓寝，时已甚迟矣。中宵，杨太淑人忽起，将宓重责痛打一次，就炕铺上压宓俯卧，用两手力拧（扭，扯）宓臀、腿、臂等处之肌肉，至于红肿，宓大哭叫。芷敬公不敢来，雷孺人不便来。独有刘妈闻声驰至，涕泣抱宓于怀，极力救护，劝止。杨太淑人旋即放手，侧坐。泪如雨下。久之，杨太淑人自往外间堂屋正中椅上端坐，刘妈侧立，扶持宓跪于其前。杨太淑人坚持送宓至井边，命宓即投井死。刘妈苦谏，相持。其后各自静默，直至明晨，始各归，寝息。