王浚在幽州可以说是自取灭亡，像他这样的庸人加蠢货如果能在十六国时期的政治舞台上存在很长时间，那才真是一个“奇迹”。并州刘琨和石勒打的交道可不算少，他不出兵救幽州，并不是因为真的相信了石勒所谓讨王浚谢罪的骗术（他原先也希望石勒真的是谢罪，但很快就知道了石勒真正的意图），他也只是看到了王浚的必然灭亡，自己不愿徒费兵力，另一方面他在晋阳方面也已经有些顾不过来了，确实有点鞭长莫及。但当石勒灭掉王浚的势力之后，回头一看，晋朝留在关东的势力，就只剩下刘琨了。这时他的东面是石勒的军队，南面是刘聪的军队，形势非常危急。
不过刘琨的信心很足，他给晋愍帝的奏章中说得可是慷慨激昂，很有气魄。他说：“自东北八州，勒灭其七，先朝所授，存者唯臣。是以勒朝夕谋虑，以图臣为计，窥伺间隙，寇抄相寻，戎士不得解甲，百姓不得在野。天网虽张，灵泽未及，唯臣孑然与寇为伍。自守则稽聪之诛，进讨则勒袭其后，进退唯谷，首尾狼狈。徒怀愤踊，力不从愿，惭怖征营，痛心疾首，形留所在，神驰寇庭（刘琨地处汉国的主力和石勒的势力之间，虽是攻守的要地，却无法同时面对两大强敌，所以才发出这样“有心杀敌，无力回天，鞠躬尽瘁，死而后已”的感慨）。秋谷既登，胡马已肥，前锋诸军并有至者，臣当首启戎行，身先士卒。臣与二虏，势不并立，聪、勒不枭，臣无归志，庶凭陛下威灵，使微意获展，然后陨首谢国，没而无恨。”
刘琨以胡制胡的策略依然奏效，汉国的匈奴军好像特别怕鲜卑人似的。其中有一次，刘琨派遣一支鲜卑骑兵救援长安，因为道路不通而返，回军路上与正在追击晋军的汉兵相遇。鲜卑骑兵于是进攻汉兵，没想到原先还感觉声势浩大的汉军一看见鲜卑人来了，立刻就不战而退——要知道那可只是五百鲜卑骑兵。（这其中的原因的确说不清，同是骑兵，在中原大地上相遇，如若一战，很难说谁胜谁负。我想大概匈奴人患有“恐鲜卑症”吧。）刘琨为了进一步拉拢拓跋鲜卑部，又上表请求朝廷封拓跋猗卢为代王，这个“代”就是后来那个代国的起源。（可不要小看这个代国，我想在当时大概谁也不会想到最终结束北方割据局面的竟然会是这一支拓跋鲜卑。）
当然刘琨终究只是晋朝一将，真正处境艰难的其实是在长安摇摇欲坠的晋愍帝司马邺。自他即位以来，汉将刘曜的军队几乎每年都要进犯长安，尽管屡屡被击退，但形势却在一点点地变坏。当时在长安以南的是已经占据了汉中一带的李雄的成国。关东大部落入石勒之手，汉国又控制了离长安较近的山西南部和洛阳附近的地区，远在江南的琅邪王的力量是既不可即，也不愿即。
司马睿心里明白，长安危在旦夕，皇帝的位子早晚是他的，救长安的提案即使可行，也很快会被否决掉。不过江南的晋朝人倒是有不少主张北伐的，刘琨年轻时的好友祖逖就是其中一位。可是要知道，祖逖当年北伐出兵时的景况有多寒碜，他苦口婆心地劝说司马睿北伐，哪知道这位晋室宗亲根本没有什么大志，只是想着偏安一隅，以求半壁江山的统治。司马睿想来想去，就给祖逖封了个豫州刺史的职位——这无非是给开个空头支票而已，要知道当时豫州还在石勒的铁骑之下。司马睿言下之意就是：“这支票能否兑现，你自己看着办吧。”——司马睿给的物质资助不过是千人的粮食，三千匹布，连武器都不给他。
祖逖在亲王那里几乎招了白眼，却不屈不挠，还真把这北伐当回事，所以才有“祖逖中流击楫”的故事，他当时说的话可真和刘琨像是一个模子铸出来的（不愧是“闻鸡起舞”的好兄弟）：“祖逖若不能扫平中原，决不再渡过这条大江！”
祖逖渡过长江后，在江阴一带休整，收编了二千多士兵，并修铸了武器，力量逐渐强大。
这时石勒的力量主要在以襄国为中心的冀州及以北的并州、幽州，祖逖面临的豫州正是其力量薄弱地带，当地一些强豪坞主纷纷聚集武装力量，在自己的势力圈内各自为大。其中谯城（今安徽亳州）一带有两个坞主势力较强，一个是张平，一个是樊雅。晋朝的中央政府根本管不到这里，即使是曾在三台抵抗石勒的北中郎将刘演也无暇顾及河南的这块土地，于是做了顺水人情，将这两家一个封为豫州刺史，一个封为谯郡太守，其他小势力均归这两家节制统领，你想那些手下多少也有几百个兵的小军阀们岂肯真心服从？祖逖探知其中情况，就暗暗派人买通其中谢浮统率的一部，让他约张平出来会面，乘机将其斩杀，献于祖逖。樊雅得到消息，要为张平报仇，前来攻打祖逖。祖逖又向附近的蓬陂坞主陈川求援，反攻樊雅，终于攻克了谯城。
祖逖以谯城为根据地，又得到了晋朝的南中郎将王含的资助，附近的一些坞主多来依附，从而收复了河南的大片失地，也算是部分兑现了司马睿给开的支票。然而石勒、石虎的骑兵实力雄厚，无法撼动，他也只能在黄河以南与其对峙，收复关东遥遥无期，更不要说逼近关中地区了。
司马邺在没有援兵的情况下，几乎是在长安坐以待毙。汉国的中山王刘曜花了三年的工夫，终于扫清了长安的外围。建兴四年（公元316年）七月，刘曜攻下渭北重镇泾阳，渭北诸城望风而溃，刘曜兵进逼长安。三个月后，刘曜攻陷长安的外城，晋朝的守军被冲散，退到距离长安较远的城中据守。于是汉兵将长安城团团包围，断绝了城内城外的一切联系。长安城内的饥民不断增多，百姓饿得没办法，只好杀了别人来吃，饿死者不计其数。整整熬了将近一个月，连皇帝都没什么东西吃了。司马邺无奈之下，大哭一通，开城投降。至此，统治北方五十二年，统治中国只有三十六年的西晋王朝宣告灭亡，晋王朝的另一段历史在远离长安千里之外的建康继续展开。汉人可以重建一个政权仍然叫“晋”，从而把所谓的“正统”带到南方，但却无法带走北方的大片土地。在接下来的数百年中，续写北中国历史的权力，就被留给了北方的五个少数民族。这五个民族分别是：匈奴、羯、氐、鲜卑和羌。