不久，高欢上书尔朱兆，表说山西霜旱灾多，兵士没有粮食，请求移师山东，解决军粮问题。高欢本意是远离尔朱兆，摆脱他的威胁和控制。尔朱兆军中长史慕容绍宗见书立即劝道：“不可！现在四方乱起，人怀异望。高公雄才盖世，又握兵于外，正如借蛟龙以云雨，再也不能控制他了。”尔朱兆有勇无谋，解释说自己和高欢是拜过把子的兄弟。慕荣绍宗说：“亲兄弟尚不可信，何况是把兄弟！”尔朱兆大怒，把慕容绍宗关进牢房，下令高欢移军山东。
高欢率军自晋阳出发，中途遇见尔朱荣的老婆带着大车小车的财物从洛阳返山西，又有好马三百匹，就派兵把马匹全都抢为己有。尔朱兆听了丢马láng狈回来的嫂子哭泣陈诉后大怒，又忙把慕容绍宗放出来问计。慕容绍宗说：“高欢现在还跑不掉。”于是尔朱兆自己亲率军队追赶。追至襄垣，恰值漳水bào涨，高欢隔河拜谢：“我借公主马（尔朱荣的老婆获封为北乡长公主，不是魏朝宗室女）是为了用来抵御山东盗贼。如果您相信公主的谗言，我就过河受死，只怕您把我杀了，我属下这些人马上就叛亡而去。”尔朱兆胆大无脑，策马渡水，与高欢在营帐间坐定，抽出佩刀给高欢，伸出脖子让高欢砍（很像是天津混混不怕死的劲头）。高欢大哭，诉说尔朱家族对自己的恩惠，再表自己的忠心。于是两个人欢饮极醉，又杀白马盟誓。夜间，高欢属下尉景埋伏壮士要杀掉尔朱兆，高欢马上阻止：“现在杀了尔朱兆，他的党羽一定奔归聚结报仇，我们马少兵饥，不能相敌，如果有英雄趁机而起，将成大祸。尔朱兆凶悍无谋，还是放了他好。”
第二天早晨，尔朱兆归营，又下令让高欢渡水过到他的大营。高欢也想壮着英雄胆过去，被部将孙滕劝止。尔朱兆隔河破口大骂，无奈河水奔涌大军又过不去，只得驰还晋阳。高欢回营，到了军中统管兵士家属的念贤那里假意寒暄。念贤是尔朱兆安插在高欢营中的心腹，用以监视高欢。高欢坐下后就夸念贤腰中宝刀漂亮，取来观看。念贤不知是计，递刀与高欢。高欢随手一刀，拔掉了尔朱兆在军中最后一个钉子。
高欢到山东后，严肃军纪，秋毫无犯，每过麦地，自己下马拉住缰绳，当地人民非常欢喜，受到拥戴（这和《三国演义》中曹操的表演同出一辙。）毕竟受尔朱家族恩多，高欢也不知自己属下对尔朱兆控制的魏朝有多么忠心，他还不敢挑明和尔朱兆决裂。为了让属下军人无路可退，和他一道起兵，他想出一计——他派手下人伪造尔朱兆的军令，下令高欢所率六镇降兵全部要回山西，作为契胡军人的部曲去攻打稽胡。本来六镇降兵就一直饱受尔朱氏契胡兵的欺凌，现在要被征发去当契胡人的奴兵，都有生不如死的感觉。高欢假装军命严急，从军中简选万余兵士，马上催促出发。部将孙滕和尉景也假装为士兵请命，宽缓五日。士兵又忧又惧，高欢接着又假意再宽缓五日行期。
待到六镇军士的惊恐酝酿得差不多，火候正好，高欢作为统帅，与这支万余人的先遣军举行告别式，他自己也泪落如雨，做出一副万般无奈的样子。即将踏上去山西之路的士兵一片嚎哭之声，悲从中来，惊天动地。高欢叹息一声，说：“我和你们都是镇户出身，一家人呵。现在西去打仗，肯定得死！迟误军期，到目的地后也得死；发配给契胡人当部曲，还得死！总之，都是死路一条。我们该怎么办呢？”士兵们马上齐呼：“只有造反！”高欢很焦急的样子：“造反是不得已的事情，谁能带头呢？”将士雀呼，共推高欢。高欢一副万不得已，为众担罪的样子。踌躇再三，他对六镇降兵说：“你们这些人乡里乡亲很难统驭。想想看，葛荣有百万之众，就是没有军规战纪，散漫无制，最后难逃败亡。如果你们推我为领军，就不能再像从前一样，不能随意欺负汉人（六镇降兵多为鲜卑人），不能违犯军令。不然的话，我可不和你们一起造反。”“生死由您做主！”万余军士同声呐喊。于是高欢杀牛宰羊，犒赏士兵，在信都起兵。
为了名正言顺，高欢与属下拎出魏朝宗室、渤海太守元朗为帝。532年，高欢初次与尔朱兆jiāo锋，以少胜多，在广河大败尔朱兆，俘获五千多人。尔朱兆、尔朱世隆等人在尔朱荣死后兴兵，杀入洛阳后缢死魏庄帝，立节闵帝，宰制天下。后来一家人窝里斗，各怀异心，相互猜阻。忽然之中生出高欢这么个共同的敌人，反而一条心联合起来。尔朱天光从长安出发，尔朱兆从晋阳举兵，尔朱度律发自洛阳，尔朱仲远从东郡赶赴，四路大军共二十万人在邺城汇集，夹洹水列阵，准备和高欢决战，想一举攻灭这个“忘恩负义”的“贼子”和他手下六镇降附兵士。
高欢派封隆之留守邺城，亲自率兵马屯兵紫陌。其时，高欢战马不满两千，兵不过三万，而敌兵有二十万之众。众寡不敌情势之下，高欢用牛驴连系在一起堵塞自家军队的退路，在韩陵一带摆成圆阵，兵无退路，都有必死之心。两军jiāo战在即，尔朱兆立马于阵前责骂高欢反叛尔朱氏。高欢此刻理不亏辞不穷：“本来我们是想一起共同辅佐皇帝，现今天子何在？”尔朱兆策马言道：“永安王（被杀的孝庄帝即位前的封号）枉杀太原王（尔朱荣），我为报仇才做出这样的事。”高欢大声叱责：“从前我们一同在尔朱荣帐下，你劝他造反的事我都清楚。况且，帝王杀大臣，何报之有！今天我和你恩义断绝！”言毕，两军jiāo战。高欢自领中军前突，大将高敖曹将左军，高欢堂弟高岳将右军。高欢中军迎战不利，被bī后退。尔朱兆军直扑而来。高岳率五百骑兵突前迎敌兵，高欢另外一个将领斛律敦将败退四散的兵士重整旗鼓从尔朱兆后面又扑上去，大将高敖曹自率一千多骑兵横击而入阵中，尔朱兆军大败。败逃之际，尔朱兆对慕容绍宗捶胸大叫：“不用公言，以至于此。”
慕容家族四散奔逃。本来就首鼠两端的大都督斛斯椿等人抢先一步回到洛阳，尽杀留守的尔朱氏党羽。尔朱世隆、尔朱度律、尔朱天光相继被俘斩。为尔朱氏所立的节闵帝派人慰劳高欢。高欢此刻觉得从前所立为帝的安定王枝属疏远，就派属下魏兰根前去观察节闵帝为人如何，准备重新迎立他。魏兰根认为节闵帝神采高明，恐怕日后难以挟制。高乾兄弟及其他手下也劝高欢说节闵帝是尔朱氏所立，其名不正，劝高欢废掉他。高欢就把节闵帝幽禁在寺庙中。拣来挑来，选中平阳王元修。当时元修正躲藏在和他关系不错的散骑侍郎王思政那里，突然见到王思政带高欢人马来找他，吓得面无人色：“您是把我出卖了吧？”思政说不是。又问：“能保我一命吗？”思政答：“世事变化无常，我真的说不准。”元修被四百骑兵拥夹在中间，到高欢大帐中。高欢下拜陈述衷由，泪下沾襟，元修回拜，表示不敢。王爷这时才知道不是要杀他，而是要立他为帝。安定王手写的禅位表已经递到他手中，于是签字同意。元修成为皇帝，是为北魏孝武帝。