建中靖国元年（1101）元宵节前两三天，苏轼一家人都到了虔州。
果然赣江水涸，不能通航。苏轼只得寄家于虔县的水南，等待江涨。
虔守霍汉英（子侔）、监郡许朝奉（名不详）邀宴于郁孤台。和诗中有“扬雄未有宅，王粲且登楼。老景无多日，归心梦几州”这几句话，正是苏轼此时最大的心事。
他拖带着三房子媳孙儿，飘泊道途，已经七八个月了。幸而不必远征湖南，但还不知去何处做归止。是风土美好的安徽舒州，还是“缘在东南”的常州或杭州，还是到河南许昌去与老弟同居，一直都还不能决定。
筹思再三，还是常州最便，因为有点田产在那地方，可以就田而活。又听自虔守霍汉英说，常州东门外有一裴家的宅子要卖，便写信托钱世雄派人去探问产价。书言：
已到虔州，二月十日间方离此。此行决往常州居住，不知郡中有屋可僦可典买者否？如无可居，即欲往舒州、真州皆可。如闻常州东门外有裴氏宅出卖（虔守霍子侔大夫言），告公令一干事人问。倘若果可居，为问其值几何？度力所及，即径往议之。俟至金陵，当别遣人咨禀也。
苏轼寓居水南，长日无事，每天都携带一个药囊到郡城或山寮野市去，遇有病人，他就赠药，并开药方，教他如何调治。走过寺庙道观，也必进去玩玩。好事者和僧道之流，预先探听他行游之所，就在该地设案，案上堆置佳纸和笔墨，每张纸尾写上姓名，自己则拱立以待。苏轼进来了，看到那个案子，笑笑，不问一句话，就抓起笔来随意挥洒，将写好的纸，随手付与求者。看看剩下的纸，如还有很多，一时写不完，就笑语大家道：
“天色晚了，纸还写不尽，哪个要写斋名或佛偈的，请即告我。”
到他归去时，人人都已有了满足的收获，欢跃而散。
苏轼很喜欢沐浴，海南苦无浴器，至以鸡和马自比，现在则可痛快淋漓地浴于寺观了（宋代浴室为寺院专业）。他常去赣城东南的慈云寺洗澡。慈云长老明鉴，长得非常魁梧，很像世传画像中的慈恩菩萨，但丛林中人都推崇他是一个很有道行的和尚。苏轼作《戏赠虔州慈云寺鉴老》诗，则是泗州浴诗外的又一章：
居士无尘堪洗沐，道人有句借宣扬。
窗间但见蝇钻纸，门外惟闻佛放光。
遍界难藏真薄相，一丝不挂且逢场。
却须重说圆通偈，千眼熏笼是法王。
苏轼新从南华来，头脑里充满了机智的禅门言语。在虔州写诗，就很自然地借用禅语来表达他自己的心意，如《虔州景德寺荣师湛然堂》《次韵阳行先》《乞数珠赠南禅湜老》等先后四首均是。后世的诗论家认为苏轼这些禅语诗不是纯诗，为苏集中一大疵病，固然不错；但如前举那首“戏作”，自称道人，明言借句，苏轼也并不以禅门中人自居，却很欣赏禅门超脱的了悟。静观窗前来去飞动的苍蝇，冲着透明的窗纸，磕头碰脑，只想钻到明亮的窗外去，不知中间却还隔着一重障碍。冷眼观照尘世里多少徒然的人生，岂不就是钻纸的飞蝇？苏轼不得不致其无限的悯怜。
研究阴阳五行生克之理的术数，盛行于唐宋。唐朝的李虚中是星命学的始祖。至宋朝，陈希夷创紫微斗数，徐居易创子平术，邵康节创河洛理数（即铁板神数）。这些人胸罗星斗，明彻内外，所谓吉凶趋避，实意则在劝人“盈者知所足，进者知所止”，使人行所当行，止所当止，不失“易”的本旨，不能纯以迷信目之。
虔州有个术士谢晋臣，算命很有名，苏轼也去访他。苏轼一向以为自己的生辰八字与韩愈相似，韩是身宫落在斗牛间，苏是命宫宿直于此。吉凶晦吝，到底有何分别，要托他从头到尾逐年细算一番。赠以一诗：
属国新从海外归，君平且莫下帘帷。
前生恐是卢行者，后学过呼韩退之。
死后人传戒定慧，生时宿直斗牛箕。
凭君为算行年看，便数生时到死时。
苏轼生于宋景祐三年（1036）十二月十九日卯时，干支是丙子、辛丑、癸亥、乙卯，照命理推论：“时落卯时，命宫磨蝎，主所至多被谤诬。”王宗稷《东坡先生年谱》说：“丙子（年）癸亥（月），水向东流，故才汗漫而澄清；子卯相刑，晚年多难。”
辑《苏诗编注集成》，而深谙命理的王文诰说：“日主癸，乘北垣；年月丙辛，真化。秉天地正气，不纳浊流，此性刚多忤也。至于文章经济，皆摅泄于乙卯之时。”
依五行论命，生克化合，有一定的界说，不能随便解释的，则人之秉性、品格、才能与祸福，莫非竟是生来即已命定？真是不可思议。
苏轼北归，有人问他迁谪中艰苦如何？苏轼说，这是骨相招来的灾难。少年初到京师时，有个看相的人说：“一双学士眼，半个配军头。他日文章虽当名世，但有迁徙不测之祸。”苏轼眼形秀挺，炯炯有光，即使在画像中也还看得出来；“配军头”者，犯人被断“配”而隶军籍。审诸东坡一生的命运，术者所言不虚。
上了年纪的人，都好怀旧，关念故人的后辈，但于这些年轻一代人的身上，则又不免产生生死存亡的悲戚。
老苏生前，曾游虔州，所以苏轼到此，就很留心探访他父亲交往的遗迹。久知此地有个钟斐（子翼），博学笃行，为江南之秀，对老苏甚是敬重，现在当已下世。但却访得他的三个儿子，见面时“相持而泣”，为作《钟子翼哀词》。
与画家宋子房（汉杰）重遇于赣州。谈起四十年前，苏轼初仕凤翔，而他的父亲宋选正做凤翔太守，对他非常照顾，苏轼感念于心，则曰：
……话及畴昔，良复慨然，三十余年矣，如隔晨耳。而前人凋丧略尽，仆亦仅能生还。人世一大梦，俯仰百变，无足怪者。……（《与宋汉杰书》）
故人孙立节（介夫）之子，远道来谒，为作《刚说》。世人都说“刚者易折”，苏轼说：“折不折，是天命。作此说者，只是患得患失之徒。”生气依然凛凛如昔。
在南华寺，苏坚因为他的儿子生病，所以先走。现在来信说，苏庠（养直）的病已经好了，并且把他的新作寄给苏轼看。苏轼见过养直，印象很深，读了他这篇“属玉双飞水满塘，菰蒲深处浴鸳鸯。白蘋满棹归来晚，秋着芦花一岸霜。……”的诗，大喜道：“若将此篇置于《太白集》中，谁复疑其不是？不知是乃吾宗养直所作之《清江曲》。”苏轼固好奖掖后进，时复不免过誉；但于苏庠，竟是慧眼特识，养直后来果为南宋的一大名士——隐逸诗人后湖居士。
当苏轼到虔未久，即建中靖国元年之正月十四日，先已手书还政的向太后，忽崩于慈政殿。她是宋代三贤后之一，惜乎得年只有五十六岁。向太后之崩逝，使左相韩忠彦突然失却支持，右相曾布乘此开始跋扈起来，不像以前那样恭顺了。这是一个非常重要的关键，随后就发生曾布专政，绍述之说重炽的变局。
在章惇绝对报复的政策下，被流窜南荒诸人中，处分最重的，一是苏轼，一是刘安世（器之）。
刘安世三贬而至英州，章惇、蔡京又起同文馆狱，再徙梅州，几已遍历宋代甲令所载每一远恶州郡，而且两次阴谋刺杀，都未成功。至刘贵妃被立为后，章惇、蔡卞又提出宫内向外间寻觅乳媪那重旧案，诏令孙鼛将刘安世收囚在槛车里，命他亲自押赴京师。行未数驿，哲宗崩，徽宗即位，赦至而还。
这两个命不该绝的同难者，放还也在最后。所以，此时遂能相遇到虔州。
苏、刘二人，政治上不是同道，私人关系上也算不得是朋友。元祐初曾在中书省共事，但是两人处事态度不同，苏轼很不喜欢他，骂他“把上”（乡下佬）。
然而，时过境迁，现在他们同是北归的异乡人，虔州邂逅，便成了很好的旅伴。
同时，原任虔守的霍汉英，奉调赴太和听命，江公著（晦叔）来代。公著与苏轼在杭州同官时，以好茶出名，器之酒量甚豪，但自南迁，为避瘴毒，就全家戒酒。因此，轼作《次韵江晦叔兼呈器之》诗，一联是“归来又见颠茶陆，多病仍逢止酒陶”。
寒食节，与器之同游南塔寺寂照堂。器之甚好谈禅，但不喜欢游山。山中新笋出土，苏轼想上山吃笋，怕他不肯同去，骗说邀他同参玉版和尚。器之听说有禅可参，欣然从行。到了光孝寺的廉泉，先坐下来烧笋共食。
器之觉得笋味鲜美，便问：“此何名？”苏轼答曰：“名玉版。此老僧善说法，要令人得禅悦之味。”
器之这才恍然大悟，被苏轼骗了。苏轼大为高兴。全用禅语作诗曰：
丛林真百丈，法嗣有横枝。
不怕石头路，来参玉版师。
聊凭柏树子，与问箨龙儿。
瓦砾犹能说，此君那不知。
三月中旬，始闻章惇被贬雷州司户参军的消息，苏轼为之惊叹累日。他怕被人误会，自然不能直接往慰他的家属，虽然惇子章援还是他的门生。想到黄箨的母亲是章惇的胞姊，所以立刻写寄《与黄师是书》：
子厚得雷，闻之惊叹弥日。海康地虽远，无瘴疠，舍弟居之一年，甚安稳。望以此开譬太夫人也。
章惇到了雷州，第一件事，立刻要找个住处，但却遭到报应，当地百姓说：
“从前苏（轼）公到这儿来，租住民屋，章丞相几乎破了我们的家。现在概不租售。”
苏轼于正月元宵节前到虔州，寄寓水南，等候赣江涨水通航。本地雇不到船，又只好访人到外县市去找。二月抵边，与苏坚书说：“某留虔州已四十日，虽得舟，犹在赣外，劳费百端。又到此长少卧病，幸而皆愈。仆卒死者六人，可骇。”他的“河鱼之疾”，没再说起，大约经过休息、治疗，已经好了。
继续等了快一个月，外雇的船才到。苏轼一家人便于三月二十四、二十五日间，与刘器之同发虔州，他们在此羁留已七十余日。
苏轼将离虔州，有《次韵江晦叔二首》之作，其一云：
钟鼓江南岸，归来梦自惊。
浮云世事改，孤月此心明。
雨已倾盆落，诗仍翻水成。
二江争送客，木杪看桥横。
苏轼历劫归来，最大的庆幸，是他平生一片刚直的孤忠，而今大白于世，一切诬蔑和猜忌的浮云已经吹散，则天上一轮孤月，也当为人所共见了。
称此诗“语意高妙”者很多，究竟只能看到有限的“文学的东坡”。王应麟经术湛深，是个学者，所以能跳出辞章之外，看得苏轼自明心志的大处，将“历史的苏轼”，举与司马光并论。《困学纪闻》曰：
“更无柳絮随风起，惟有葵花向日倾——见司马公之心。浮云世事改，孤月此心明——见东坡公之心。”
又云：
“坡公晚年，所造深矣。”
开船当天夜间，江水大涨，赣石三百里之险，一夕尽没。第二天，就到了庐陵。谢举廉来见，苏轼高兴地对他道：“舟行江涨，遂不知有赣石，此吾龙光诗谶也。”
盖指“竹中一滴曹溪水，涨起西江十八滩”句。
此行与刘器之并船前进，甚不寂寞。苏轼佩服器之历劫不磨、临危不乱的精神力量，称之“铁人”；器之则对人道：“浮华豪习尽去，非昔日子瞻矣。”