1949年，钱穆离开大陆，避难港岛，虽然避免了被“思想改造”的劫难，但同时也付出了远离故土、抛妻弃子的代价。
据余英时回忆，钱穆初到香港时，曾经与余英时一家观看一场有关亲子之情的电影，向来能够“以理驭情”的钱穆，禁不住想起在大陆的儿女，悄然泪下。中国传统文化甚重父子之情，而此时已中年并且毕生信仰中国传统文化的钱穆，其落寞可想而知。
余英时回忆：有一年的暑假，香港奇热，他（钱穆）又犯了严重的胃溃疡，一个人孤零零地躺在一间空教室的地上养病。我去看他，心里真感到为他难受。我问他，有什么事要我帮你做吗？他说：我想读王阳明的文集。我便去商务印书馆给他买了一部来。我回来的时候，他仍然是一个人躺在教室的地上，似乎新亚书院全是空的。
钱穆高呼“对历史的温情与敬意”，近乎偏激地为传统文化辩护，为各种激进势力所不容。故当时的共产主义者与自由主义者都视之为封建余孽，不约而同的攻击与封杀他。于是，就有了建国后钱穆著作被禁直到改革开放，就有了向来标榜“宽容”的自由主义者胡适生前封杀钱穆进入“中研院”的举动。另外，即使是钱穆的拥趸，大多也并非他理想中的读者，因为钱穆毕生辛勤著述，是为故国招魂，是培养对中华传统文化抱有信仰的读者，但现实中大多数读者，离信仰中国文化还很遥远。故而作为保守主义者，钱穆注定要落寞。所以钱穆的余英时也不无叹息的说“钱先生无疑是带着很深的失望离开这个世界的”。
1978年，钱穆因黄斑变性症眼疾剧烈发作，无法正常视物看书，前后开了三次刀，静养半年后，并无显着成效。后在妻子胡美琦的帮助下，钱穆先生开始用口述录音的方法写作。视力受损后，在胡美琦协助下，钱穆仍先后出版《历史与文化论丛》、《从中国历史来看中国民族性及中国文化》、《中国通史参考资料》、《八十忆双亲》、《师友杂忆》、《宋代理学三书随札》等著作。
钱穆晚年数度轻微中风，加上年事已高，不适宜出国旅行，因此殷切期盼在清华大学教书的大女儿钱易能去台探望。1987年底梁实秋去世，长女梁文茜不能去送别父亲的遗憾激起民愤，台湾于1988年11月公布探亲奔丧办法。办法公布时，人在荷兰阿姆斯特丹进行学术访问的钱易，当月即申请赴台，成为两岸分隔四十年来第一位赴台探亲的大陆人士。能和女儿在外双溪共聚天伦，让钱穆激动而欣慰。只是当年迈的钱穆听到女儿细数家乡景色的变迁，不由得黯然地说：“此生恐怕是回不去了。”
钱穆曾说希望女儿赴台是趟单纯安静的旅程，然而民进党却揭发钱易赴台申请时掩饰了其具有共产党员等官方身份，要求国民党政府立刻处理；还以钱易在国立大学教书为由，检举她参加台湾方面定义的“叛乱组织”。陈水扁更具状控告钱易曾是共青团员，引发轩然大波。虽然钱穆父女都说以平常心看待这些不实在的说法，但树欲静而风不止，素书楼风波连连，还有人要告钱穆“知匪不报”，连串风波让钱家不得安宁。虽然台湾“高检署”在1988年底即对各相关控告处以不起诉决定，但钱易只能黯然离开台湾，希望争议到此为止。垂垂老矣的钱穆哀伤地说：“这些人已经完全抛弃了中国文化传统，不承认父女间的亲情，更不能理解他的女儿为何会从这么远的地方来看望父亲。”
后因陈水扁等人指责钱穆居住的素书楼产权一事，钱穆愤然搬离素书楼。眼疾缠身的钱穆，搬家时已不太能出门，也不太肯多讲话进食，记忆力明显减退，仅希望子女能在他生前去台一聚。但天不从人愿，在度过九十六岁的寿诞后，也就是迁出素书楼才三个多月，1990年8月30日，一代国学大师钱穆逝世于杭州南路新寓所。