刘曜攻入长安的时候，关东的石勒正在攻打并州的乐平，乐平太守向晋阳的刘琨求救。由于代王拓跋猗卢死后国中大乱，刘琨得到了昔日拓跋猗卢军队的支援，刘琨自感士气旺盛，便决定出兵，岂料被石勒先算一着（估计又是张宾的计谋），刘琨的援兵遭到石勒伏兵攻击，几乎全军覆没。并州城内又逢大旱，刘琨简直陷入了绝望境地。此时盘踞幽州一带的辽东鲜卑段匹邀请刘琨到幽州共谋大事，刘琨在万般窘迫之下只好放弃晋阳，带着身边不多的士兵投奔幽州。石勒进入并州，至此，石勒基本上控制了东北中国的所有州郡。投入鲜卑部的刘琨已经不能作为独立的晋军力量存在，整个北方唯一为晋朝保留了一州之地的，竟然是偏处在凉州，后来建立了前凉政权的西北张氏。
多年以前，长安一带曾经流传过这样一首童谣：
秦川中，血没腕，
唯有凉州倚柱观。
在当时，童谣和图谶一样，也具有传说中神秘的东方式预言的“魔力”。凉州究竟有何独特之处，没有人能说得清。早在永宁元年（公元301年），时任散骑常侍的安定人张轨向西晋朝廷上书，请赴凉州平乱。张轨以凉州刺史的身份来到姑臧，他讨伐当地的鲜卑反叛，打击盗贼流寇，安定了社会；接着他又发展生产，兴办学校，恢复了当地的经济。十年间，张氏在凉州的威望稳步提高。建兴二年（公元314年），张轨去世，凉州人推举其子张寔继任刺史。晋愍帝出降汉军的前一天，密派手下人前往凉州，拜张寔为大都督、凉州牧，承制凉州一切大小事务。
长安失陷的第二年，张寔决定以攻代守，先发制人，派司马韩璞和将军张阆以步骑兵一万进攻刚刚攻占长安，还未在整个雍州站稳脚跟的汉军。韩璞的军队在南安一带被当地的羌兵截断退路，两方相持一百多天，弹尽粮绝。
韩璞亲自宰杀驾车的牛犒劳军士，一边吃着牛肉，一边激动地问道：
“大伙儿想念家中的父母么？”
大家齐声说：“想念！”
韩璞又问：“想念妻子儿女吗？”
大家又齐声高叫：“想念！”
“那你们想要活着回去么？”
“当然想了！”
“那你们听从我的命令么？”
“誓死听从！”
韩璞于是擂起战鼓，指挥将士们奋力拼杀，正巧碰上张阆的军队也杀到，两军夹击羌兵，大获全胜。
虽然没有获得对汉军的决定性胜利，但汉军向凉州方向的进攻却受到了有效的阻挠，加上凉州地处西北，汉军的主力也一时鞭长莫及。从而在张氏政权的经营下，凉州得以暂时避免中原一带的战乱，真的成了一块可以“倚柱观”的“净土”。对于汉国而言，面对小小的凉州，卷土重来并不是没有可能，但其内部潜藏的危机正在步步升级，一场政变以及紧跟着的一场大乱，似乎已经在所难免。
政变的起因还是那位生活极度荒淫的汉国皇帝刘聪。尽管妃子越立越多，刘聪依然觉得不过瘾。他把中护军靳准的两个女儿月光、月华纳入后宫，封月光为上皇后，月华为右皇后，原先的皇后刘娥则为左皇后，于是刘聪的后宫出现了三个皇后并存的咄咄怪事。陈元达极力进谏，指出此举的非礼之处，刘聪很不高兴。不久后陈元达查出上皇后月光的丑行，向刘聪奏明，这才迫使刘聪废掉了月光。月光因此羞愧自杀，刘聪从此也开始暗暗愤恨这位敢于直谏的大臣。只过了一年，依然执迷不悟的他又看中原先张皇后的侍婢樊氏，将她立为上皇后，填补月光死后留下的“空缺”。
由于长时间深居内宫，刘聪又开始宠幸身边的太监王沈、郭猗等人。（宠幸太监似乎是自古以来昏君最大的“罪状”之一。皇帝也有“先天不足”，那就是与外界接触过少，乃至整天接触的人除了宫妃就是太监。）一切政事都交给他的儿子，相国刘粲处理。这样一来，野心家们开始行动了。
首先是郭猗和国丈靳准与皇太弟刘乂（刘聪当初即位前就想让刘乂为帝，自己算是代摄其政而已，因此他的打算是将来将帝位传给刘乂。由于刘乂身边的大臣劝刘乂谋反，先被人告发，此时正被刘聪派兵软禁中。）之间有私人恩怨，郭猗便瞄准了对帝位觊觎已久的相国刘粲。一个报私仇，一个争皇位，两帮人一拍即合。双方决定一方面注意刘乂本人的行动，一方面慢慢除掉支持刘乂、反对王沈等人的大臣。
在王沈、郭猗等人屡进谗言的情况下，一大批与宦官矛盾甚深的大臣被刘聪下令诛杀。
大臣王易、陈元达等人上表苦谏，这回刘聪是谁的话也听不进去了，还把上表交给太监们看，笑着说：“陈元达这帮人简直成呆子了。”
王易直谏受阻，忧郁而死，陈元达为此大哭，叹道：“我既然再也不能说话了，为何还在这世上苟且偷生呢？”随即就自杀了。
（呜呼，陈元达这位出身匈奴部族的知识分子，见证了匈奴汉国兴起的蓬勃，也见证了统治者腐化所导致的帝国的迅速衰败，眼见得一个刚刚建立的国家因为不能吸取前朝失败的教训，仅仅几年后就重蹈覆辙。敢于直谏、善于直谏的大臣因不能再谏而死，天下痛苦，莫过于此。）
刘粲利用太监的力量扫除了宫中的异己力量，就把目标转向了皇太弟刘乂。他派人向刘乂假传诏书，说京师将有兵变，要穿戴盔甲以防不测，刘乂果然上当。刘粲将消息告知靳准等人。靳准马上向刘聪进言：“刘乂欲谋反，都已经准备好盔甲了！”刘聪大惊，派兵赶往东宫，果然如此。刘聪当然大怒，将尚不知情的刘乂废为北海王，王沈等人乘机将与自己有怨的人大杀一批，刘乂最终也被刘粲、靳准合谋杀害。
经过一番折腾，刘粲被立为皇太子，而靳准也掌握了国中大权，博取了刘聪的充分信任。汉麟嘉三年（公元318年），刘聪病死，临终前他想召手握重兵的刘曜和石勒到国都平阳辅政，两人当然是“固辞不受”。刘粲继位，当然重用靳准，靳准又一次利用刘粲之手铲除刘氏宗族中的异己分子，大杀在朝中任职的刘氏诸王。刘粲的荒唐程度，一点不亚于其老子，靳准很快就得到了军国大事的决策权。
仅仅一个月后，靳准领兵进入皇宫，将刘粲杀死，同时将刘氏一族不分老幼全部处斩，连刘聪的尸体也没逃过此劫，被挖出来斩成两段。（刘聪生前生活糜烂，死后落得尸首糜烂的下场，真是报应不爽。刘渊一族，下场如此之惨，与十六国时期深深的民族矛盾是分不开的。石勒大杀晋朝宗亲是一次，而这一回又是一次，在整个十六国时期，这样的大杀戮还会有很多次。）靳准自称大将军、汉天王，他觉得自己作为汉人，消灭了胡人的政权，定会得到汉人政权晋的支持，于是又向晋称藩。
靳准经过宫中的一番争斗后终于获胜，但却将自己变成众矢之的，而他好像还没意识到自己在军事上根本抵挡不住他的对手。正当靳准在宫中大肆杀戮的时候，两支精锐的部队正由刘曜和石勒率领，分别从长安和襄国，向平阳进发。