顺江而下，李白去了当涂，与他在当涂做官的族叔李阳冰住在一起。
当涂有一条伸入长江中的岬角叫牛渚矶（更普遍的名字是“采石矶”），这里江面变窄，两岸绝壁乱石，是军事要地。李白很爱这个地方，来过许多次。在更早远的时空，他喜欢的谢家人也常来此处。谢朓的曾曾叔祖谢尚镇守牛渚，在秋夜泛舟赏月，月色明亮，枫叶鲜艳。他听见江上的小船里，有人在吟诗，是袁宏在吟诵自己写的《咏史》。谢尚很喜欢，便去结交，而后成就一段相知的佳话。从前许多个在牛渚矶江边游荡，胡思乱想的夜里，李白写过一首《夜泊牛渚怀古》记下这个典故：
牛渚西江夜，青天无片云。
登舟望秋月，空忆谢将军。
余亦能高咏，斯人不可闻。
明朝挂帆席，枫叶落纷纷。
许多年过去，李白又来牛渚。当时人多半认为他神经兮兮，颠三倒四，任性妄为。为了做官，就没脸没皮地自我吹捧，干谒求人，当道士，拜道箓，跟皇帝与公主套近乎，最后他孤注一掷地吹捧“反贼”永王李璘。他知道，不在乎，冷冷写过：“世人见我恒殊调，闻余大言皆冷笑。”他不自我辩白，但暗地里也会怅惘——怎就没有一个人能像谢尚理解袁宏一样理解我呢？
李白的希望与失望火焰一样此起彼伏，大多数时候，他有意选择向别人展示高亢明亮，但面对自己的时候，他不得不诚实面对孤独。他有许多朋友，也有他们永不能触及的角落。
他只身面对一轮月亮的时候，是“花间一壶酒，独酌无相亲。举杯邀明月，对饮成三人”。
他与敬亭山默默对坐的时候，是“众鸟高飞尽，孤云独去闲。相看两不厌，只有敬亭山”。
对未来的希望是一道阀门，拦住他的失望、寂寞。但是年龄是阀门上的胶皮圈，慢慢地，年轻时熊熊燃烧的热望渐渐冷却松弛，现在他要面对的不是希望、失望的交替，而是最终的熄灭。
他这具躯体诚实地记录了在人间行走的磋磨。他生病。躺着躺着，春天到了。出去走走，也写了一首诗：
沦老卧江海，再欢天地清。
病闲久寂寞，岁物徒芬荣。
借君西池游，聊以散我情。
扫雪松下去，扪萝石道行。
谢公池塘上，春草飒已生。
花枝拂人来，山鸟向我鸣。
田家有美酒，落日与之倾。
醉罢弄归月，遥欣稚子迎。
——《游谢氏山亭》
还是他喜爱的谢公山，山南有谢朓故宅，宅后山道，路极险峻。山上有池，是谢朓喜欢的西池，水冷味甘，盛夏来就好了。山顶有亭，名“谢公亭”。他大概缓缓地又游了一遍：扫雪松下，葛藤爬上石道。花枝拂人，山鸟鸣叫。旧岁还有痕迹，但春气已经蓬勃。他看见两百年前谢朓家的池塘上，已经生出青青春草。
既不是李白式的奇崛，也不是李白式的浪漫的寂寞。六十一岁了，他的行动开始迟缓，但是眼睛、耳朵却因此格外贪婪。等不得，追不上，新的将无可避免地掩埋旧的岁月。这是自然的轮回，也是人类的规律。在一系列的新旧对比里，他与他崇拜的谢朓也在逐渐接近——当他们都成腐土，都会退隐到时间的幕布后去。那时候，时间的距离将不再被计算，他可以自由地到达他想去的任何时代，任何人的身边。他崇拜过建功立业的鲁仲连、诸葛亮，但最后，他还是最想停留在谢朓曾经居住过的地方。谢朓因为不愿参与谋反而被诬告谋反，三十五岁上死在狱中。倚靠着与他一样的失败者，李白竟然有一种滑稽的归宿感。你看，现在李白甚至不再谈论他津津乐道的修道大业了。
后世的笔记小说家为他创造过许多明亮任性的故事：
传说他在长安时参加玄宗的宴会，写诗之前，先要高力士脱靴，杨贵妃倒酒。
传说他年轻时游并州，曾经搭救过犯法的郭子仪。李白下狱时，郭子仪正领兵对抗安史叛军，收复长安，听到消息愿意以官爵赎李白，才由死罪改流放。
《唐摭言》说他死于一场模糊了记忆、诗意与现实的醉酒：那夜他乘船渡牛渚矶，江中明月皎皎，如他童年时最爱的白玉盘。他在梦里乘舟经过太阳，现在，又为什么不能去水里捞月？便兴高采烈一跃，沉入水中。
在他们热爱的眼光里，李白不该受到人间规则的束缚，他是传说本身。但实际上，他挣扎得用力至怪诞，因为他承受最紧的束缚。宝应元年（762年）十一月，在当涂住了没多久，李白就死了。没有传说里那么明亮任性，相反，也许只是平淡但必然地，病死了。
后来他一个朋友的儿子范传正做宣歙（shè）池等州观察使，专门去当涂一带访求李白的后代，想要照顾。只找到他的两个孙女。两个女孩都嫁为农妇，衣饰粗糙，面目村俗。她们说，父亲伯禽无官而卒，一个哥哥远游十二年，不知所踪。并非不知织布，但没有田养蚕种桑；并非不能耕地，但没有田产，只能草草嫁了当地农民，糊口饭吃。李白的孙女们拒绝范传正要为她们寻个更好人家的许诺，但告诉了范传正一件事：李白晚年因为心里喜欢谢公山，一直盘桓于当涂，想要死后葬在这里，但因为种种原因，现在葬在龙山东麓。这并不是他的本意。
范传正便为李白改葬，北倚谢公山，南抵驿路三百步。