高欢起兵的消息传到晋阳，尔朱兆才意识到自己被骗了。他调起两万步骑兵，从井陉出太行山，夺回了殷州。兖州的尔朱仲远也陈兵阳平（今河北馆陶），准备会战高欢。
倒霉的尔朱兆仍然避免不了被高欢耍的命运。高欢派人施反间计，一面说“尔朱世隆兄弟要杀尔朱兆”，一面又说“尔朱兆和高欢合谋算计增兵北上的尔朱仲远”，搞得尔朱兆与尔朱仲远相互猜忌，不敢轻易进攻。
高欢乘机以轻骑兵突袭广阿（今河北隆尧东），大败尔朱兆，俘虏五千人，然后引兵南下，用地道焚柱战术（所谓地道焚柱，是从城外往城楼下挖掘地道，同时用柱子作为支撑，完成地道后，放火焚烧柱子，使地层下陷，城楼倒塌。袁绍曾用这种方法攻破公孙瓒的幽州，而高欢也很擅长用此计攻城），攻破了邺城。一年前拒绝借粮给高欢的相州刺史刘诞，做了高欢的阶下囚。
邺城的失守令洛阳的尔朱世隆着了慌。他手下的骠骑大将军斛斯椿看不惯尔朱氏的作为，认为这是把尔朱氏一网打尽的好时机，就向尔朱世隆自告奋勇，去关中请尔朱天光出关。
尔朱天光在关中大权在握，过得很爽，不想去捣关东的浑水。斛斯椿说：“高欢作乱，关东那些人都是废物，王爷不出马可平定不了！”
斛斯椿的话说到了尔朱天光的心坎里，他也不听贺拔岳固守关中的劝告，留下弟弟尔朱显寿镇守长安，得意扬扬地领军前往邺城。
贺拔岳料知尔朱天光必败，便与宇文泰商量对策。宇文泰建议，说服秦州刺史侯莫陈悦出兵，乘虚袭取长安，并亲自到侯莫陈悦军中做思想工作。侯莫陈悦果然被宇文泰说动，与贺拔岳一同攻下长安，捉了尔朱显寿。贺拔岳兵不血刃得了关中，对宇文泰倍加器重。他自任关西大行台，任命宇文泰为行台左丞，事无巨细都交由宇文泰处理。
尔朱兆与各路尔朱氏军队齐集邺城外，号称大军二十万。四年前尔朱荣在这里灭了葛荣，尔朱兆自然想重温一下叔叔的战绩。可敌兵虽然还是葛荣的六镇兵，敌将却比葛荣高了好几个档次，更何况他自己也不是擅长战术的尔朱荣。
高欢留下封隆之守邺城，亲率步骑兵三万多，出城迎敌。这支军队里除了以镇兵为主的鲜卑骑兵外，最显眼的就数高敖曹的三千汉兵。
这三千汉兵是高敖曹在冀州乡里精挑细选和长期操练出来的，每个人都练就一套好身手，不亚于鲜卑士兵。高欢原本担心汉兵的战斗力，想把鲜卑兵编入高敖曹军中，听了高敖曹的解释后，大为赞叹，便把高敖曹部安排在大军的左翼，又命堂弟高岳率部为右翼，在邺城南面的韩陵山（今河南安阳东北）下，摆开圆形的阵势，并用牛驴等牲畜自绝退路，以示与将士们一起以死相拼的决心。
尔朱兆远远望见高欢，大声斥责道：“我与你誓为兄弟，你却要反我？是何道理？”
高欢冷冷答道：“不错，我本想与你戮力同心，共辅朝政。可如今天子在何处？”
尔朱兆自知理屈：“永安皇帝（即孝庄帝）枉杀天柱将军，我只是想报仇而已。”
高欢哼了一声，说道：“当年天柱将军想做皇帝，我是亲眼所见，亲耳所闻，你当时就在帐下，难道还不算造反么？何况皇帝杀大臣，报的哪门子仇？今日我与你恩断义绝！”（高欢的狡猾之处，在于他既有自己的主见，又知道见什么人说什么话。尔朱荣想称帝的事，本有他一份“功劳”，现在反过来变成批判尔朱兆的罪行了。而在尔朱兆理亏的场合，支持高欢的人是很少会去计较高欢以前的所作所为的。）
尔朱兆怒不可遏，挥师杀向高欢。两军相持，高欢人少，被迫向后撤退。尔朱兆乘势猛追，两翼高岳和高敖曹的骑兵一个从前方，一个从中间，突然发动冲击。尔朱兆的军队人多，首尾难以呼应，被高敖曹的汉兵拦腰截断，混乱不堪。高欢回军发动反攻，尔朱兆大败，逃往晋阳。贺拔胜等人临阵投降。
观望多时的斛斯椿见尔朱氏战败，便与部下先一步回到洛阳，杀了尔朱世隆、尔朱彦伯兄弟，又抓了狼狈逃到河桥一带的尔朱天光等人，向高欢献城。高欢大军开进洛阳，尽杀城中的尔朱氏及其党羽。只有跑得最快的尔朱仲远投奔了梁国，才幸免一死。
高欢手上有了两个傀儡皇帝，天无二日，按理得废掉一个。以血缘论，节闵帝是皇族近亲，高欢立的元朗是远亲，继续扶持节闵帝是可以的。但高欢顾忌到节闵帝年纪较长，不容易操纵，便派人从孝文帝的后代中物色皇帝人选。看来看去，广平王元怀的三子平阳王元修不错，年龄二十出头，又少言寡语，适合做个好傀儡。（人不可貌相，高欢失算了。）
中兴二年（公元532年）四月，高欢立元修为帝，改元太昌，之后又改元永熙，这就是北魏末代皇帝——魏孝武帝。高欢被封为大丞相、天柱大将军、太师，尔朱荣的头衔统统拿到，年仅十二岁的长子高澄被封为侍中、骠骑大将军。之后，高欢便接连毒杀了节闵帝与另外两个废帝元晔和元朗。（尔朱氏虽然废了元晔，却并没有杀他，就这点而言还算厚道。高欢则很像刘裕，从最底层好不容易爬到了一人之下的位置上，对于“皇帝”这个东西是最不能信任的，凡戴过皇冠的，全在可杀之列。这三个皇帝中，节闵帝的死因稍有争议，史载为孝武帝所杀，但我个人认为高欢至少是参与者之一。不管是杀了二帝还是三帝，高欢都拉开了北朝末年杀皇帝比赛的大幕。惨……）
跟随尔朱荣这几年，高欢从尔朱荣身上总结了许多利弊得失。他好比是个改进版的尔朱荣，以尔朱荣为模板，又能有所变通。他处死了背叛尔朱氏、主动来降的乔宁、张子期等将领，给自己的部下敲了一声警钟。他又把大女儿嫁给孝武帝做皇后，牢牢控制了皇帝的耳目。
高欢安定了朝中事务，引兵与大都督厍狄干分别从滏口和井陉进入并州，击溃尔朱兆，攻占晋阳。尔朱兆北逃秀容，高欢命都督窦泰为先锋，率领精骑兵日夜兼行，很快追上了尔朱兆的残兵败将。尔朱兆穷途末路之下，自缢而死。尔朱氏的势力在北魏前后称雄五年多，终于覆灭。
慕容绍宗带着尔朱兆的家室及余部，到高欢军中请降。高欢爱惜他的才干，又钦佩他对尔朱氏的忠诚，赦免了他的罪过。从此，高欢有了一条不成文的惯例：越是卑躬屈膝、背信忘义的叛将，他越是要杀；而那些忠心耿耿，最后一刻才被迫来投的人，他反倒格外优待。
高欢对易守难攻的晋阳情有独钟，下令在晋阳建造丞相府，把办公地点搬到那里，像尔朱荣一样遥控朝廷。（他或许没想到这办公地点一直到死再没改变）
关东到手，高欢却时时惦记着关中这块肥肉。贺拔岳名义上向洛阳称臣，实际上独据一方，难以驾驭。他征召贺拔岳做冀州刺史，想把这枚眼中钉按在眼皮子底下。贺拔岳手下的行台右丞薛孝通认为关中才是保全自身的根本，去了关东必将受制于人。贺拔岳依计回绝了高欢的征召，而高欢究竟是想做霍光还是曹操，他仍然心存疑惑。为难之际，宇文泰提出前往并州，为贺拔岳一探虚实。
于是，宇文泰以贺拔岳使者的名义，到并州去见高欢。将来战场上的对手第一次在晋阳会面了。不过，这是一次下级与上级的会面，宇文泰认识高欢，高欢却不认识宇文泰（至多听过名字而已）。他从未注意到贺拔岳手下还有这么一位年轻有为、品貌不凡的将军。高欢问起关中的军事，宇文泰对答如流。谈着谈着，高欢起了爱才之心，要把宇文泰留在军中。宇文泰婉言拒绝了高欢的“好意”，星夜西归。高欢后悔（该悔到肠子里去了），派人一直追到潼关，终究没能追上。
宇文泰回到关中，对贺拔岳分析道：“高欢绝非人臣，目前还忌惮明公兄弟，不敢擅行篡逆。侯莫陈悦是个庸才，只需防备，不难对付。我们不如移军西进，降伏河西流民，收取氐、羌等部，然后还军长安，与高欢对抗，必能匡扶社稷，成就盖世伟业。”
贺拔岳大喜，开始着手经营关中，又派宇文泰与孝武帝秘密接洽。北魏分裂的苗头隐隐出现了。