赵元任“天性纯厚，道德风采，有修养，对人和蔼可亲，从不与人争长短，语言风趣”，是谦谦君子。杨步伟“天性豪爽而果断，思想灵敏，心直口快，无话不说”，二人性格迥异，却携手走过六十年。
赵元任和杨步伟婚后坐轮船赴美，百无聊赖的时候，两个人便下围棋解闷。他没有带围棋，便向船上要了两袋早晨吃的炒米和炒麦子，可以分黑白两种，当成棋子用。
杨步伟在美国住了三十多年，依然说不好英文，但赵元任从不以此为耻，他常在学术演讲时拿杨步伟的话来举例。1986年，赵元任在其著作《中国话的文法》前写道：“致献给我太太，因为她一不留神就说出些中国话的文法的绝好的例子。”但赵元任对自己却要求极为严格，一字一句都不能有错的。他曾试着改正杨步伟的文法错误，有时杨烦了，便大发脾气，赵元任只得作罢。所以赵元任批评杨步伟不但外国话没有说全的，连中国各种方言也无一处说完全的，杨步伟总回他，不要紧，我又不是方言家。杨步伟觉得她说的话才是代表全国的国语。
20年代旅欧的留学生们掀起一股离婚热潮，罗家伦曾开玩笑说：“有人看见赵元任和他母亲在街上走。”赵元任一笑了之，大有“女大三，抱金砖”之乐。
1946年，赵元任夫妇银婚纪念日（25周年）时，二人的证婚人胡适因故不能亲临祝贺，特寄来一首贺诗《贺银婚》曰：“蜜蜜甜甜二十年，人人都说好姻缘。新娘欠我香香礼，记得还时要利钱。”
1961年，在赵元任、杨步伟结婚40周年纪念会上，有人将赵元任做学问的求实精神比之《西游记》的唐僧玄奘，说玄奘之所以能成功，应归功于观世音菩萨的保护，杨步伟就是赵元任的观世音菩萨。
1971年，赵元任夫妇的金婚纪念日（50周年）上，二人又各写《金婚诗》一首，押当年胡适《贺银婚》的韵。杨步伟写道：“吵吵争争五十年，人人反说好因缘。元任欠我今生业，颠倒阴阳再团圆。”
赵元任和曰：“阴阳颠倒又团圆，犹似当年蜜蜜甜。男女平权新世纪，同偕造福为人间。”赵元任在诗后署名“妧妊”，表示自己来世要成为女性。
1973年6月，赵元任夫妇终于回到阔别三十多年的故土，周总理、郭沫若、竺可桢等人接见了他们。在和周恩来交谈的3小时里，杨步伟是主要的谈话人之一。事后，赵元任对周总理诙谐地说：“她既是我的内务部长，又是我的外交部长。”
赵元任惧内，杨步伟说：“夫妇俩争辩起来，要是两人理由不相上下的时候，那总是我赢！”赵元任有自知之明，从来不跟老婆争高低，他不否认自己“惧内”，往往以幽默的语言回答道：“与其说怕，不如说爱；爱有多深，怕有多深。”
花甲之年的杨步伟曾在自传《杂记赵家》中谈到一个重要问题，即平时在家里，杨步伟跟赵元任谁说了算？杨步伟说：“我在小家庭里有权，可是大事情还是让我丈夫决定。”但是后面幽默地补充一句：“不过大事情很少就是了。”
杨步伟的《杂记赵家》用英文出版，请丈夫翻译并写个前言。赵元任前言的第一句话便是：“我们家的‘结论’既然总归我老婆，那么‘序言’就归我了。”杨步伟说她先写自传，把好玩儿的事都写了，赵元任就说：“那我就写那些不好玩的吧。”和他们一起生活多年的杨步伟的侄儿说：“有时他俩多少也有一点争论，因为姑母嗓子大，性情也急些，姑父也就顺从不争了。”
晚年，杨步伟肩膀疼，赵元任便每天给她梳头发。他们出去散步，赵元任常开玩笑说：“有什么锅借什么锅。”意思是有什么街过什么街。
1981年，杨步伟先他而去，赵元任悲痛万分。他在致友人信中悲怆地写道：“韵卿去世，现在暂居小女如兰剑桥处，一时精神很乱，不敢即时回柏克莱，也不能说回‘家’了。”次年，赵元任即追杨步伟而去。