陈寅恪曾说，吴宓本性浪漫，不过为旧礼教道德所“拘系”，感情不得舒发，积久而濒于破裂，因此“犹壶水受热而沸腾，揭盖以出汽，比之任壶炸裂，殊为胜过”。
1918年11月，在美国留学的吴宓接到清华同学陈烈勋的来信，向吴宓介绍自己的妹妹陈心一。陈心一毕业于杭州的浙江省女子师范学校完全科，现年24岁，在浙江定海县任小学教员，心气很高，择婿条件苛刻。陈烈勋在信中说，其妹多次听他谈及吴宓，在《益智杂志》、《清华周刊》中看到过吴宓的诗文，并见过《清华周刊》上刊登的吴宓的照片，对吴宓甚是仰慕，愿嫁吴宓，侍奉终身。吴宓收到信后，立即回信认可，同时让同学朱君毅托其未婚妻毛彦文考察陈心一。
毛彦文考察后告诉吴宓：“陈女士系一旧式女子，做贤妻良母最合适。皮肤稍黑，但不难看，中文清通，西文从未学过，性情似很温柔。倘若吴君想娶一位能治家的贤内助，陈女士很适合。如果想娶善交际、会英语的时髦女子，则应另行选择。”
1921年8月，刚回国不久的吴宓便匆匆赶往杭州，与陈心一见面。吴、陈一见如故，并在陈父的安排下泛舟西湖，相谈甚欢。第二天，二人再度早游西湖，吴宓在日记中写道：“是日之游，较昨日之游尤乐。家国身世友朋之事，随意所倾，无所不谈……此日之清福，为十余年来所未数得者矣。”13天以后，吴宓和陈心迅速“闪婚”。
吴宓婚后，与妻子育有三个女儿。陈心一“辛勤安恬”、“谦卑恭顺”，称得上一个贤妻良母，但吴宓不满足于此，他对她思维迟钝、不善辞令、拙于交际和缺乏文学造诣等深表不满。婚后，吴宓对在清华读书时就神交已久的毛彦文很是倾心。在经过了多番思虑考量后，吴宓终于决定和陈心一离婚，这段勉强维持了八年的婚姻也终于走到了尽头。
1929年，为了筹集离婚费用，吴宓四处借贷，八方求援，甚至还向吴芳吉索债。吴芳吉认为吴宓无情地遗弃陈心一和三个年幼的女儿，纯属不负责任的行为，劝解无效后，便故意拖欠债款不还。为此，吴宓竟差点与吴芳吉绝交。
吴宓自己对这段失败的婚姻曾这样总结道：“生平所遇女子，理想中最完美、最崇拜者，为异国仙姝（美国格布士女士），而爱之最深且久者，则为海伦。故妻陈心一，忠厚诚朴，人所共誉，然宓于婚前婚后，均不能爱之。余之离婚，只有道德之缺憾，而无情意之悲伤，此惟余自知之。彼当时诋余离婚，及事后劝余复合者，皆未知余者也。”
对于吴宓的离婚，毛彦文说：“吴脑中似乎有一幻想的女子，这个女子要像他一样中英文俱佳，又要有很深的文学造诣，能与他唱和诗词，还要善于词令，能在他的朋友、同事间周旋，能在他们当中谈古说今，这些都不是陈女士所专长，所以他们的婚姻终于破裂。”
离婚后，吴宓虽与陈心一分居，但吴宓仍负担陈的生活，他每月领到薪水后，必到陈的住处交与陈。姚文青中在《挚友吴宓先生轶事》写道：“宓于故妻陈心一女士，德性夙所钦佩，但敬而不爱，终致离婚，然至今仍书信往还。夫妇之谊虽绝，良友之情故在也。”毛彦文也回忆：“吴君是一位文人学者，心地善良，为人拘谨，有正义感，有浓厚的书生气质而兼有几分浪漫气息。他离婚后对于前妻仍备加关切，不仅担负她及他女儿的生活费及教育费，传闻有时还去探望陈女士，他决不是一个薄情者……”
吴宓对于和陈心一的婚事，曾多次表示悔恨。当陈烈勋敦劝时，吴宓对于这桩未曾谋面的婚事，颇多犹豫，允婚后又毁约，但最后又由于汤用彤的一言成婚。吴宓多年后，对于婚事“悔之不及”，当时他本应留学五年，却因婚事只留学三年而提前回国。
毛彦文是吴宓痴恋一生的女子。毛彦文是吴宓清华同窗朱君毅的表妹，也是他的未婚妻。毛彦文9岁时，其父就将他许配给一位方姓朋友之子。毛彦文浙江女子师范学校毕业时，方家催逼完婚。结婚当日，毛彦文成功逃婚。方家退婚后，毛彦文与表哥朱君毅正式订婚。朱君毅为毛彦文退婚之事曾向同学募捐，故吴宓早知有毛彦文此人，并对毛极为钦佩。朱君毅每次读完表妹的情书后，都会让好友吴宓过目。吴宓对毛彦文在信中流露出的才情至为欣赏，久而久之便对毛暗生情愫，但碍于同学之谊，只能将爱慕之情深深隐藏在了心底。
1921年，当吴宓到杭州与陈心一见面时，意外地见到了毛彦文。毛当时正要去北京求学，临行前来与闺中密友陈心一告别，与吴宓不期而遇。毛彦文活泼雅趣、大方得体，一副新派淑女风范，给吴宓留下了深刻的印象。
吴宓婚后不久，朱君毅移情别恋，并以近亲结婚有害下一代为由提出与毛彦文解除婚约。毛彦文无奈，只能求助于吴宓，请吴宓劝说朱。这次劝说，也让吴宓和毛彦文有了更进一步的接触，他深深爱上了毛彦文。朱、毛二人分手后，吴宓向毛彦文表白了自己的爱意，但毛彦文断然拒绝。令毛彦文更加反感的是，吴宓每次写给毛彦文的信中，都会不厌其烦地赘述自己从朱君毅处读到她的信而渐渐萌生爱意的心境。
起初，吴宓深恐毁婚之举有损清誉，准备娶毛彦文为外室，欲享齐人之福。当他将自己的想法告知陈寅恪时，陈道：“学、德不如人，此实吾之大耻。娶妻不如人，又何耻之有？娶妻仅生涯中之一事，小之又小者耳。轻描淡写，得便了之可也。不志于学问之大，而兢兢惟求得美妻，是谓愚谬！”此后，吴宓经历了离与不离得痛苦挣扎后，遂决定与陈心一离婚。吴宓离婚之举遭到朋友们的一致指责，吴父更是公开斥责吴宓：“无情无礼无法无天，以维持旧礼教者而倒行逆施。”
吴宓为毛彦文所拒后，并不气馁。他一边与陈心一离婚，一边更加锲而不舍地追求毛彦文。他表示愿意资助毛彦文出国留学，毛彦文拒绝后，他又以朋友张荫麟等人的名义给毛寄钱。在30年代的上海滩，吴宓教授单恋毛彦文女士的话题一时为小报津津乐道，而吴、毛之事经报纸好一番添油加醋的渲染，一时间人尽皆知。
吴宓的锲而不舍最终打动了毛彦文。但当二人谈婚论嫁时，吴宓却生出了一丝隐忧，既想和毛彦文结婚，又担心婚后会不和谐，两种截然不同的心情，让吴宓彷徨不已，患得患失。在此期间，他又对燕京大学女学生陈仰贤，西洋女子h女郎和m女士心生爱慕。
1931年3月，时在巴黎的吴宓急电在美国的毛彦文，措辞强硬地要求毛彦文放弃学业，迅速赶往欧洲，与之完婚，否则分手。有人说，他动辄向毛彦文发出最后通牒，用语十分恶毒。毛彦文赶到巴黎。吴宓又不想结婚了，改为订婚。毛彦文失望至极，她哭着说：“你总该为我想想，我一个30多岁的老姑娘，如何是好。难道我们出发点即是错误？”
吴宓不为所动，他说：“人时常受时空限制，心情改变，未有自主，无可如何。”对此，吴宓在日记中说：是晚彦虽哭泣，毫不足以动我心，徒使宓对彦憎厌，而更悔此前知人不明，用情失地耳！
吴宓转而又去羡慕鲁迅、许广平的同居生活，他说：“许广平夫人，乃一能干而细心之女子，善窥鲁迅之喜怒哀乐，而应付如式，即使鲁迅喜悦，亦甘受指挥。云云。呜呼，宓之所需何以异此？而宓之实际更胜过鲁迅多多，乃一生曾无美满之遇合，安得女子为许广平哉？念此悲伤。”
吴宓与毛彦文从欧洲回国后，毛彦文留在上海，一直在等待吴宓迎娶。毛彦文写信给吴宓说：“先生当记得我们俩在东北大学相处的日子，先生在东北大学任教，彦文若不是真心爱先生，会有到东北大学看望先生的那种一举一动吗？”“我把先生送出门外，先生离开了我，一直往前走去，没有再回头看我一眼。我一直站着，到看不见那消失了的先生的身影，才独自回来，把门关上。”
1933年8月，吴宓南下，但他的目的是去杭州向卢葆华女士求爱，如不成，再去上海，和毛继续讨论是否结婚。但吴宓的如意算盘却落了空。
毛彦文已经厌烦了吴宓的爱情游戏，她说自己准备终生不嫁，领养个小女孩，“归家与女孩玩笑对话，又善为打扮，推小车步行公园中，以为乐”。最后，33岁的毛彦文嫁给了66岁的熊希龄。毛彦文结婚时，曾邀请吴宓参加婚礼，吴宓以编诗话为由谢绝了。他在深陷绝望悲苦之中，作《吴宓先生之烦恼》，排遣内心的苦闷。
熊希龄病逝后，吴宓为毛彦文悲痛不已。“万感纷集，终宵不能成寐。”吴宓在枕上写诗一首，有“忏情已醒浮生梦”之句。这夜，吴宓思感缠绵，一夜无眠，东方破晓。“此空前大劫之国难1937遂于此终，觉地老天荒，一切都尽。彦嫁未满三载，得此结局！人生如小说戏剧，真到结尾收场时矣！”吴宓又开始追求毛彦文，毛彦文面对这个世事无常的重大变故，心如磐石。1949年，毛彦文离开大陆赴台，此后，吴宓再也没有了他心爱的毛彦文的消息。
吴宓对毛彦文的爱，持续了一生。吴宓对于自己对毛彦文的爱，从不避讳，甚至在课堂上与学生公开谈论，并写进自己的诗中。他经常与贺麟、浦江清等人谈他心中的遗憾与矛盾。吴宓的《诗集》中题下不少未注姓名的情诗，都是为毛彦文而写的。1943年8月20日，已是知天命之年的吴宓于昆明写下一首五言长诗《五十自寿》，此中仍表达对毛彦文的爱意：“平生爱海伦，临老亦眷恋。世里音书绝，梦中神影现。怜伊多苦悲，孀居成独善。孤舟泛黄流，群魔舞赤县。欢会今无时，未死思一面。吾情永付君，坚诚石莫转。相抱痛哭别，安心归佛殿。即此命亦悭，空有泪如霰。”
吴宓对毛彦文的爱是一种柏拉图式的爱情。1936年8月1日中，吴宓在日记中对自己的爱情进行了反省，他说：“盖中国一般人，其视爱皆为肉体之满足及争夺之技术，不知宓则以宗教之情感而言爱。……真正之爱者，皆情智超卓，道行高尚，上帝之宠儿，而人类之俊杰也。爱乃极纯洁、仁厚、明智、真诚之行事，故宓不但爱彦（指毛彦文）牺牲一切，终身不能摆脱，且视此为我一生道德最高、情感最真、奋斗最力、兴趣最浓之表现。他人视为可耻可笑之错误行为，我则自视为可歌可泣之光荣历史，回思恒有余味，而诗文之出产亦丰。我生若无此一段，则我生更平淡，而更郁郁愁烦，早丧其生矣。今年老情衰，并此而不能再，故益不胜其系恋也。”
上个世纪60年代初，吴宓请西南师范大学美术系的一位老师根据相片画了一幅毛彦文的肖像，挂在墙壁上，日日相对，夜夜相守。
然而，60代末，隐居台湾的毛彦文撰《往事》一书，在这本自传体回忆录中，她提及吴宓时，就如同一个交往不深的朋友，对于她和吴宓的爱情，更是只字未提。从书中的叙述来看，她不仅不爱吴宓，而且对他有些反感。
毛彦文在《往事》一书中仅用千余字的篇幅回忆了吴宓与陈心一的婚姻，也谈及自己拒绝吴宓求婚的因由：“自海伦（毛彦文）与朱（君毅）解除婚约后，她想尽方法，避免与朱有关的事或人接触，这是心理上一种无法解脱的情绪。吴为朱之至友，如何能令海伦接受他的追求？尤其令海伦不能忍受的，是吴几乎每次致海伦信中都要叙述自某年起，从朱处读到她的信及渐萌幻想等等，这不是更令海伦发生反感吗？”
据去过台湾而且有幸拜访了毛彦文女士的沈卫威先生撰文介绍，当他向毛彦文提及当年吴宓对她的深情厚爱时，已是102岁高龄的毛彦文女士语气平淡地表示：“他是单方面的，是书呆子。”再问下去，她便连说“无聊，无聊”。
吴宓多情，从他的日记看，自他早年开始，每逢遇到女人，必然在日记中品头论足。他表示过爱慕的女人有燕京大学的女学生陈仰贤、欧阳采薇、黎宪初、张敬（张清常之姐，名清徽）、在法国遇到的美国女学生H、代号为K的清华女生，还有他苦恋一生的女子毛彦文。吴宓对这些女子，均为精神上的倾慕。
清华大学女毕业生K，频频出现在吴宓三十年代的日记中，吴宓常常和她约会，一起吃饭、游览，鱼雁传书之余，频频电话传情，俨然一对恋人。这段时间吴宓日记中经常出现的另一个女人是绛珠。绛珠原名朱崇庆，天津人，30年代居北京，与寡母相依为命，家甚贫寒。因她喜着红衣，遂自字曰绛珠。1935年秋，绛珠从吴宓授课。抗战爆发之前，吴宓和这两位女性过从甚密。
吴宓与上文提及的卢葆华女士也曾有过长时间的亲密交往。卢葆华是一位遵义才女，吴宓很欣赏卢的文学才华，极力赞许卢葆华的新诗集《血泪》：“作者痛苦悲哀之际所发之号呼。真挚明显，极不易得”。后吴宓向卢葆华示爱，卢婉拒，许以兄妹相称；后卢转向吴求婚，吴亦坚持认为以兄妹相处为宜。两人曾有诗歌唱和，吴宓在《空轩诗》第10首中写下了“今天已许为兄妹，愿结来生伉俪盟”之句，卢葆华的《和雨兄原韵》第2首中，亦以“舟子弄潮如有信，浮游愿结海欧盟”相应。
曹聚仁在《胡子先生——吴宓》一文中记录了吴宓的一件趣事：在西南联大时，吴宓曾追求一位女生。一天，他照例去拜访该女生，恰巧该女生出去了，同室的女同学在，听见敲门声，便开口问道：“谁？”门外的吴宓学着小生的腔调回答道：“吴宓来也！”女同学闻言答道：“她不在家。”吴继续学小生的腔调说：“请转告她，明日再来，吴宓去也！”女同学很不客气地说：“讨厌，讨厌。”吴宓回道：“岂敢！岂敢！”
1953年6月，已近暮年的吴宓迎来了自己的第二次婚姻，他与原重庆大学法律系毕业生、20多岁的邹兰芳结为夫妻。
邹兰芳出生于地主家庭，她在重庆求学完全依靠两位供职原国民党川军的哥哥救助。解放后，两位兄长因参与武装叛乱，被共产党镇压，留下了几个无人照顾的遗孤。邹兰芳一力承担抚养兄长遗孤的重担。但由于她出身不好，而且患有严重的肺结核，处境很是艰难。
当邹兰芳看到了吴宓发表在《新华日报》上的“思想检讨”后，她主动写信给吴宓，声称自己佩服其道德文章，虔诚地崇拜他。吴宓回信后，邹兰芳便登门求教，此后经常以学生的身份为老师缝洗浆补，给了晚年的吴宓一些安慰。随后，吴宓与邹兰芳结婚。
谈到这次婚姻，吴宓曾对好友姚文青说：“非宓负初衷（他曾发誓：为爱毛彦文，终身不复娶），实此女强我，不得已而为之。以此女学识，则英文不懂，中文不通；以论容貌，不过如此。”
婚后，吴宓叫苦不迭，师生恋已令他抬不起头，加上邹兰芳身体极差，而吴宓还需要供养邹兰芳哥哥的遗属们。吴宓曾对朋友说，这哪是黄昏恋的爱情，实是在为兰芳治病，在养兰芳一家九口人。
婚后仅三年，邹兰芳因肺病不治，香消玉殒。吴宓很是伤心，吃饭时，饭桌上必多摆一副碗筷，不让亡妻在冥界当饿鬼；看电影时，也必买两张票，空出身边的座位，意中犹有亡妻相伴。
邹兰芳去世后，吴宓却没有摆脱了邹家的一大家子人，他继续用他工资的大半接济养育邹兰芳的几个侄儿、侄女。这种接济直到“文革”开始后吴宓自顾不暇时才中断。邹兰芳的一个侄儿，在她去世后，长期以照料吴宓为由，和吴宓住在一起，每天游手好闲，好吃懒做，剥削吴宓。西师一位教授实在看不惯了，力劝他辞掉这个食客。“文革”开始后，这个“食客”才自己走掉。当时西南师院的一个青年教师气愤地说：这十几年，一个二级教授的工资大都让一个大地主的女儿和几个国民党反动军官的龟儿子花了。
江勇振曾这么戏谑的评价吴宓的爱情：“吴宓谈恋爱，光说不练是意淫，像吴宓，只在日记、书信里演练他对女性的爱；又练又说，像徐志摩，是浸淫，是真恋爱；光练不说，像胡适，是真淫。”