1949年8月，毛泽东针对美国国务院关于中美关系的白皮书以及艾奇逊国务卿给杜鲁门总统的信，写了5篇评论，揭露了美国对华政策的帝国主义本质，批评了国内一部分资产阶级知识分子对于美帝国主义的幻想。很不幸的是，在第一篇评论中，钱穆就被点了名。
钱穆在接到华侨大学聘函决定暂避之时，江南大学创办人、无锡商人荣德生劝他不要走。钱穆对荣的为人十分敬佩，即便如此，钱穆并没有听从荣德生的劝告。钱基博双胞胎的弟弟钱基厚也劝钱穆不要离去。钱穆坚拒。
为了避免争论，钱穆临走之时只说乘春假去旅行，为了给大家留下这样的印象，学校里他的床铺、书籍都原封不动。像《庄子纂笺》、《湖上闲思录》等书稿，也准备到达香港后，再让同住的学生寄过去。钱穆南渡没有携妻带子，是否也因为行动机密不得而知。
钱穆路过上海，江南大学同事、也是无锡同乡许思远知道他要离去，说，你暂时去避一避也好，等到秋天时局稳定下来，我们再在这里相见。
到了广州，钱穆在街头遇到了老朋友张晓峰，张告诉他准备去香港办一所学校，已经约好了谢幼伟、崔书琴。这次偶遇，钱穆恐怕根本没有想到，竟是他抛妻弃子、永离故土的开端。
之后，钱穆先去岭南大学访陈寅恪，邀请他赴港任教，遭到拒绝。又去乡间访熊十力，十力亦无意离开大陆。又给在重庆的梁漱溟去信邀请赴港，梁没有回复。再到中山大学见杨树达，但是杨决定离粤返湘。无奈之下，钱穆于当年秋随侨大迁回香港，同行者仅侨大同事赵冰夫妇。
避居香江的钱穆未能因此避开政治纷扰，毛泽东在《丢掉幻想、准备斗争》一文中，点名批判钱穆、胡适和傅斯年为“帝国主义及其走狗所能控制的极少数人”。
钱穆作为一名将中国传统文化奉为圭臬的儒者，对于发源苏俄的马列主义理论极为排斥，因此远走他乡。但同时，他对国家仍抱有深沉的爱，他所热爱的，是那个具有千年文明的故国，而非此一新国。