赵元任的母亲擅昆曲，父亲擅奏笛，在家时常妇唱夫随。赵元任自幼便受到良好的音乐熏陶，在音乐上很有天赋。他曾选修音乐，师从著名的音乐学家，他专攻过和声学、作曲法，他教过音乐、音乐欣赏、中国音乐等课。他为同时代的诗人谱曲：刘半农《教我如何不想她》，徐志摩《海韵》，刘大白《卖布谣》，胡适《他》，陶行知《小先生歌》，施谊《西洋境歌》等。
赵元任少时，曾将牵牛花可以摘下当作号角吹，甚至曾试图以之吹奏乐曲。
赵元任节拍感绝佳，儿时曾看祖父升堂审案，打犯人板子，便弄通了衙役们计数的特别办法：有的数一拍，有的数半拍，有的数省略……他便留心听衙役们到底有没有作弊跳着数的事情。听了很多次，他发现衙役们没有一回数错，也没有一回数漏。他告诉大人此事，大人总说：“你一个小孩子懂得什么？”
赵元任在康奈尔大学读书期间，对音乐的兴趣越来越浓厚，他花220美元分期付款（分6年）买了一架旧钢琴，而当时他的留学官费每月才60美元。为了买到廉价的音乐票，他和爱好音乐的同学半夜起床去排队买票。一次，赵元任凌晨两点起床去替换早已在售票处排队的邹秉文，而到六点半，别的同学再来替换他。
赵元任从20年代到30年初所创作的歌曲的歌词，大部分系刘半农所作。1933年，刘半农因病逝世时，赵元任曾深情地献上挽联：“十载奏双簧，无词难成曲；数人弱一个，教我如何不想他！”
1920年，赵元任作歌曲《尽力中华》，采用了和尚放焰口（一种佛教法事）时唱的调子，稍加改编，并配以和声。
赵元任常随手取身边的小东西作乐器。一次在清华的同乐会上，赵元任取十多只茶杯，然后敲打倾听音调，七音调正后，他用茶杯奏出一首乐曲，四座皆惊。还有一次游西湖，在一家木鱼店内，赵元任在每个木鱼上敲一记，很快选出十几个小木鱼，以半音相间凑成一套乐器。他用这套“木鱼琴”，可以奏出各种乐曲。
一次，赵家宴客，饭后，赵元任不让把盘子、筷子和碗收走，他拿起一根筷子，一个一个的敲，从餐具中挑出do、re、mi、fa、so……的音来，但找来找去，就是差一个音怎么也找不到。赵元任抬头看见了玻璃灯罩，灵机一动，取下来敲了一下，说也巧，正好补上了这个缺的音，大家全乐了。
赵元任的孩子们学英文字母、国语罗马字、注音符号等，赵元任就教他们唱，歌学会了，字母拼音也跟着会了。杨步伟的侄女杨若宪小时候住在赵家，她第一个学会了国语罗马字，赵元任便奖给她一顶帽子。
赵元任不仅教孩子们唱字母拼音，还将九九乘法表谱上曲，让孩子们变唱边背。他还从女儿们的课本中调出课文，谱上曲，配上和声，教孩子们唱。
赵元任雅好音乐，一生创作过一百多件音乐作品，包括声乐和器乐。他和他的女儿们，有机会便聚在一起，组成一个家庭合唱团，分声部地练习演唱他的音乐作品。
在赵元任的音乐作品中，有相当一部分是为家庭创作的，他常为女儿写歌，并教她们演唱。连上邮局寄挂号信排队的时间，也不放过。他把许多歌曲写在小五线谱本子上，随身携带，一有灵感就进行创作修改。他的大女儿赵如兰说：“他的许多音乐作品，都是在剃胡子的时候创作的。”
1928年，赵元任出版了《新诗歌集》，萧友梅评价说：“这十年出版的音乐作品里头应该以赵元任先生所作的《新诗歌集》为最有价值。”“（他）虽然不是向来专门研究音乐的，但是他有音乐的天才，精细的头脑，微妙的听觉。他能够以研究物理学、语言学的余暇，作出这本Schubert派的艺术歌（Artsong）出来，替我国音乐界开一个新纪元。”萧还赞扬赵元任是“中国的舒伯特”。
抗战爆发后，赵元任一家随着历史语言研究所南迁，东奔西跑，钢琴丢了，天黑了也没有电灯，但他们的家庭合唱团却越唱越起劲。一到天黑，赵家的合唱团就开始唱起来了。赵元任的两个小女儿年纪小，嗓音尖，就唱女高音；赵元任则唱男低音；二女儿赵新那是女中音；大女儿赵如兰则补上第四部。