1967年钱穆偕夫人迁居台北，之后他们选择在山清水秀的外双溪自建屋舍，胡美琦女士亲自设计绘制了屋舍图样。蒋经国先生听闻此事，就要去图纸交阳明山管理局办理施工。第二年，钱穆夫妇搬入新居，自那时起，钱先生在此居住了20多年。
之所以选择落脚外双溪，钱穆表示，住在外双溪台北“故宫博物院”附近，可以就近利用故宫图书馆，看到世界上最丰富、珍贵的善本书。
“素书楼”之名源于钱穆无锡七房桥五世同堂故居中第二大厅的名称。先人取名来源已不可考，钱穆尝自解，或脱衍自《中庸》所记：“素贫贱，行乎贫贱；素夷狄，行乎夷狄；素患难，行乎患难；君子无入而不自得焉。”胡美琦指出，钱穆年幼患伤寒，又服错药，性命怠危，全赖母亲日夜陪他在故居素书堂养病而得痊愈，钱穆为纪念母亲生养之恩，因此命名。
素书楼不大，兴建时周边是一片荒凉的墓地，杂草丛生，产权为阳明山管理局所有。为表达对大师的敬重，台湾当局将素书楼无偿全权交给钱穆夫妇打理。房舍由胡美琦亲自设计，楼内一砖一石、一草一木都是主人多年心血照顾而来；步道两旁的枫树、房舍后方的竹子、四棵苍劲的古松，更是素书楼知名的景观。向来崇尚朱熹理学的钱穆，在素书楼藏有一座朱熹的木刻像，又将朱熹所言“静神养气”、“立修齐志，读圣贤书”写成对联，张贴楼中。后来客厅又增添了1974年钱穆八十寿诞时蒋介石题赠的红“寿”字轴等（注：贺寿过“九”不过“十”，实为79岁生日）。
从搬入素书楼开始，有18年的时间，钱穆先生在家授课，客厅成了教室。钱先生的门生中，有人坚持18年连续听课，从学生听成教授，又带着学生来听课，学生按辈分或与先生同桌，或坐在厅内一隅。钱穆一口无锡官话，神采飞扬，从不带课本。正式修课的研究生依惯例坐在钱穆身旁的圆桌边，旁听者自行觅座。讲课固定每周一下午4时至6时，但总是提前半小时开讲，延后结束，座无虚席，成为台北重要的文史沙龙。
1986年钱穆生辰那天，他在素书楼里为弟子们上了“最后一课”，并留下最后的赠言：你是中国人，不要忘记了中国！从此告别杏坛。当年大师向围坐身边的弟子作最后赠言的感人一幕，如今已经成为黑白影像，永远定格在客厅的墙上。
1990年6月1日，95岁高龄的钱穆先生不愿时任“立法委员”的陈水扁指控他霸占公产，毅然搬离了素书楼。当时中央日报刊文指钱穆搬出“素书楼”，是“国家和社会不尊重知识分子”（裴普贤语）。后素书楼改为钱穆纪念馆，钱夫人曾感叹：“宁为死人办纪念馆，也不给活人住。”1998年5月22日，想要竞选连任台北市长的陈水扁跑到素书楼参观，并声称要向钱穆夫人说抱歉。对此，台湾舆论认为，陈水扁有心要说抱歉早该说了，何必等这么多年，何况大师已乘黄鹤去，再说抱歉又有何用？