14岁那年，赵元任的大姑婆告诉他，他就要和一个姓陈的女孩订婚了，他在日记上记载说：“婚姻不自由，我至为伤心。”后来经过努力，赵元任终于解除了婚约，他高兴地说：“我和这个女孩订婚十多年，最后我终于得到自由。”赵元任拒婚的理由是“女方大两岁”，后来他却追求比他大三岁、性格迥异的杨步伟。
赵元任自小聪明、好学，从初中便开始坚持记日记。在南京求学期间，他一度沾染恶习：抽烟、嗜酒、手淫。但他后来努力改变恶习，并以父亲命名寓意告诫勉励自己：“元任，任重道远。”
赵元任在南京高等学堂预科读书时，与章元善同学，他们相互勉励，刻苦读书。因二人卧榻顶头相接，两人便将枕头以绳连接，先起床者拉动绳索，然后二人同时起床，到操场上练习英语发声。
1920年8月的一天，赵元任在南京一个朋友家认识了杨步伟，便爱上了她。当时赵元任正在为罗素的中国巡讲作翻译。一次罗素在师大讲演，赵元任迟到了，因为语言不通，罗素站在台上呆坐着，毫无办法。赵元任说：“看到我和女孩子进来，他低声对我说：‘坏人，坏人！’。”
1927年春天，赵元任曾到江、浙两省作吴语调查。他经常一天跑两、三个地方，边调查边记录，找不到旅馆就借宿在农民家中。一次，他和助手夜间由无锡赶火车去苏州，只买到硬板椅的四等车票。由于太疲乏，两人上车后便躺在长板座上睡着了。等醒来时，满车漆黑，往外一看，才知道前面几节车厢已开走，这节四等车厢被扔下了。助手问他怎么办？他说：“现在反正也找不到旅馆，就在车上睡到天亮吧！”助手见他身体虚弱，劝他每天少搞点调查，他诙谐地说：“搞调查就是要辛苦些，抓紧些，否则咱们不能早点回家呀！将来不是要更费时间，也更辛苦吗？”
赵元任无意于做官，他与杨步伟结婚时只对杨提出一个要求：别逼他做官。
赵元任也不愿做行政工作，清华曾让他担任校长，他断然拒绝，后罗家伦担任了清华校长。
一次，赵元任从欧洲到上海，当时东南大学正闹学潮，双方相持不下，都想让自己一方的人任校长，而赵与双方关系都不错，故双方都能接受他当校长。于是，杨杏佛和胡刚复二人日夜追着赵，请他出任东南大学校长。吓得赵元任连夜北上，逃到北京。
杨杏佛请赵元仁到中研院做研究员，赵同意了，但他和杨杏佛约定不任行政职务，杨杏佛则要求赵永不许辞职，赵元任笑说，若是你老兄不做了或情形变了，也不准我离去吗？没想到一语成谶，杨不久被人暗杀。
赵元仁到中研院，傅斯年说他在研究院一日，赵元任一日不能离院，他知道赵元任不做行政职务，不喜与人争权，所以屡次有人提议让赵元任做总干事，傅斯年总是阻止，以至于有人认为傅斯年嫉贤妒能，并且有些人设法离间二人。这件事杨步伟晚年写回忆录时记叙了下来，此时傅斯年已经去世。
1946年国民党政府教育部长朱家骅拍电报请赵元任出任南京中央大学校长。赵元任回电：“干不了。谢谢！”朱请杨步伟劝说赵，杨说：“我从来不要元任做行政事。”
赵元任很不喜欢穿礼服。赵元任婚后初到美国时，生活很是艰难。赵元任便到妇女俱乐部去演讲赚外快贴补家用。在美国演讲必须穿晚礼服，赵元任不管这些，直接穿着便服去演讲。俱乐部主席很是为难，在开讲前问赵要不要租件礼服换一下，赵元任说一定要换我就不讲了。主席只能将就他。不久，赵元任要到纽约去演讲，此次演讲必须穿礼服，他就只能在招待室等着，让朋友临时出去租了一套来换上。赵元任也一直反对穿晚礼服，只有在1946年代表联教组织到法国去开会，为了国家形象只能穿才同意穿了，其他时间能不穿时就不穿，自己也从来不购置。
赵元任生活朴素，最不讲究穿戴。他一直自己开车，买东西，做饭，补衣服，许多家务事都是他干。他钉扣子最有意思，用一根大针穿上四根线，把线的两端合起来打上结就成了八股线，只一针就把扣子钉上了。