冯友兰晚年回忆说：“我于1920年，到美国哥伦比亚大学研究生院做研究生，同学中传言：哈佛大学的中国留学生中有一奇人陈寅恪，他性情孤僻，很少社交，所选功课大都是冷门，我心仪其人，但未之见。”
燕京大学的名教授洪业（畏莲），在回忆自己留学生活时，也曾提及一件小事，说的是某夏日在哈佛校园见一中国学生衬衣露在裤子外面，不知其人的来头，以为有神经病。当时的美国人多把衬衣的下半部系于腰带以内，呈贵族状摇头摆尾，故作潇洒。但陈寅恪却口诵诗歌，旁若无人，并不把周围投来的异样目光放在心上，依然我行我素。洪业见此人如此怪异，向其他同学一打听，答曰：“此乃哈佛有名之陈寅恪也。”这才倒吸一口凉气，另眼相看了。
陈寅恪初到清华，他的大侄子陈封怀（衡恪之子）已26岁，正在清华读书，得以经常与这位做了导师的叔父见面，星期天叔侄二人常到城中的商铺、书铺等地转转。陈寅恪由于长期伏案工作，极度缺少运动，因而体质很弱，其薪金一多半用来购书，一部分买药。陈氏只相信西医，常到药房买各国治疗肠胃病和心脏病的药物。据陈封怀说：一次到西单一家药店去买胃药，“当时西药店的药品绝大部分是洋货，店员取出几种胃药，其中有德国货、美国货和日本货，没有中文说明书。他把每个瓶上的说明以及盒内的说明书都仔细看过，然后选购了一种。店员以为他是精神病患者，我在旁边连忙解释说‘他懂各国洋文’，使所有在场的人立即向他投以‘奇怪’的眼光”。
在联大就读的学生周法高回忆：“研究生住在三楼两间大房里面，加外两小间，一间住的是陈寅恪先生，一间住的是汤用彤先生。……他（陈寅恪）的脾气也真不小，可能是由于健康不佳的关系吧！我们和他同住在三楼，彼此从不交谈。有一次大概他午睡的时候，有一个客人慕名来看他，他一直打恭作揖把那个人赶下楼去。又有一次，二楼罗常培先生的房里研究生满座，闹哄哄的，那时大概九十点钟吧，听到楼上陈先生用手杖重重地把楼板敲了几下，罗先生吓得赶快偃旗息鼓。”
新中国成立后，政府对陈寅恪礼遇有加，而他的孤傲个性仍一如既往。吴宓1961年8月30日的日记中曾有记录：“寅恪兄说明宁居中山大学较康乐便适（生活、图书），政府于是特别尊礼，毫不系于苏联学者之请问也！此后政府再三敦请，寅恪兄决计不离开中山大学而入京：以义命自持，坚卧不动，不见来访之宾客，尤坚决不见任何外国人士，不谈政治，不评时事政策，不臧否人物……决不从时俗为转移。”