国民革命失败后，中国处于四分五裂的状态。蒋介石的南京政府、汪精卫的武汉政府和张作霖的北京安国军政府各霸一方，互相对峙。冯玉祥则控制着陕西、甘肃、河南三省。山西的阎锡山，云南的龙云，四川的刘湘、刘文辉，广东的李济深等，都各占一方，处于实际独立状态。经过清党后的国民党，已不再是工人、农民、小资产阶级和民族资产阶级的联盟，而成为大地主大资产阶级的政党，并分裂为许多派系，各派系在反共态度方面虽然一致，但在争夺党权、政权、军权方面却互不相让。
1927年9月，南京政府以李宗仁为首的桂系联合汪精卫集团，逼迫蒋介石下野。武汉政府宣布并入南京政府。南京、上海和武汉的国民党各派系合组中央特别委员会，改组南京政府，以谭延闿、汪精卫、胡汉民、蔡元培、李烈钧为国民政府常务委员。但蒋介石依靠其掌握的军事实力，于1928年1月东山再起。通过国民党二届四中全会，蒋介石出任中央政治会议主席、军事委员会主席。谭延闿为国民政府主席。蒋介石虽然掌握了中央政权，但还没有力量控制地方，不得不于广州、武汉、开封、太原设立四个政治分会，分别由李济深、李宗仁、冯玉祥、阎锡山担任主席，表示承认地方实力派的地位。
当南方政局陷入混乱之际，盘踞北方的张作霖及孙传芳乘机反攻，对国民党实力派构成严重威胁。因此，南京国民政府决定继续北伐。蒋介石担任国民革命军总司令兼第一集团军总司令。第二、三、四集团军总司令分别由冯玉祥、阎锡山、李宗仁担任。1928年4月，北伐军沿津浦、京汉两铁路向北推进。张作霖的安国军节节败退。5月3日，北伐军攻入济南，日本军队悍然进行武装干涉，制造惨案。北伐军绕道北进，6月初逼近京津，张作霖见大势已去，便退回关外，北伐军进入北京。张作霖于撤退途中被日军炸死，其子张学良继任“东北保安司令”。经过半年的谈判，张学良于12月29日通电服从南京国民政府，改易旗帜。至此，中国南北实现了形式上的统一。
南京国民政府在内政、外交各方面采取一系列的措施，以巩固其统治。蒋介石以实现孙中山的《建国大纲》为名，颁布“训政纲领”，推行“以党治国”：由国民党“领导国民行使政权，国民政府总揽治权”。政府由司法、立法、行政、考试、监察五院组成。蒋介石担任国民政府主席兼陆海空军总司令。1929年3月，蒋介石通过国民党第三次全国代表大会，使汪精卫的改组派等一切反蒋派别都受到打击和削弱，蒋进一步控制了党权。为了加强对中国共产党的镇压和对其内部的控制，蒋介石授意陈立夫、陈果夫、贺衷寒、戴笠等人建立特务组织，于20世纪20年代末组成CC集团，于30年代初组成“力行社”（其外围组织称“中华民族复兴社”）。这两个组织后来分别改组为“国民党中央执行委员会调查统计局”（简称中统）和“军事委员会调查统计局”（简称军统）。同时还在各省市推行保甲制度，加强对城乡人民的控制和压迫。
为了取得帝国主义列强的支持，国民政府声明对北洋政府遗留下来的外债，一般均予承认。在关于帝国主义炮击南京事件和济南“五三”惨案的交涉中，采取了“忍让”的方针。同时，国民政府外交部发表了“关于重订新条约之宣言”，否认列强协定关税和领事裁判权的合法性。经过谈判，列强承认了中国关税自主，但仍附有一些不平等条件。
得到江浙一带大资产阶级支持的南京国民政府，采取了一些有利于资本主义经济发展的政策和财政措施，以促使经济发展和增加政府收入。由于连年用兵，政府财政支出不断增加，军费占财政支出的一半以上。为了增加收入，稳定财政，在先后担任财政部长的宋子文和孔祥熙主持下，提高了关税，对盐税大加整顿，又裁撤厘金，对工业产品统一征收统税。关税、盐税和统税逐年增加，在国民党统治初期，约占中央财政收入的一半以上。同时整理金融外债，成立了中央银行，享有经营国库、发行钞票和办理内外债的特权。此外，进行币制改革，统一全国货币，逐步确立了政府对金融的垄断地位。随着国民政府一系列经济措施的实行，到30年代，中国开始出现蒋、宋、孔、陈四大家族官僚资本。
南京国民政府初期，最重视的是军事。整顿财政、增加税收的主要目的，是为了支持蒋介石掌握的军事实力。1929年初，蒋介石召开“编遣会议”，企图裁减冯玉祥、阎锡山和李宗仁的军队。这就激化了他与地方实力派之间的矛盾。同年3月，首先爆发的是蒋桂战争，以桂系失败告终。接着发生蒋冯战争、第二次蒋桂战争和蒋唐（生智）战争。以国民政府名义下“讨伐令”的蒋介石在这次战争中都取得了胜利。1930年发生的蒋阎冯大战，历时七个月，双方死伤三十多万人，这是民国史上最大的一次军阀混战。战争期间，国民党改组派、西山会议派等反蒋派别在北平（今北京）联合召开了国民党中央党部扩大会议，成立了以阎锡山为首的国民政府。随着阎、冯在战场上的失败，张学良指挥东北军入关支持蒋介石，阎、冯和桂系反蒋联合战线倾刻瓦解了。蒋阎冯大战结束后，蒋介石提出召开国民会议，制定《中华民国训政时期约法》，企图以此来巩固自己的统治地位。蒋的主张遭到立法院长胡汉民的激烈抨击。蒋于1931年2月将胡扣押，并于5月在南京召开“国民会议”，通过了《中华民国训政时期约法》。于是，国民党各派要人集中到广州召开非常会议，通电要求释放胡汉民、罢免蒋介石，并于5月28日成立了国民政府，推汪精卫担任主席，与南京国民政府对抗。陈济棠指挥粤军北上，宁粤战争爆发。正当此时，日本帝国主义发动“九一八”事变，全国各阶层人民要求抗日，国民党各派系也不得不停止混战。12月，蒋介石被迫辞职。宁、沪、粤三方国民党中央执行委员会和监察委员会在南京联合召开会议，改组南京政府，以林森为国民政府主席，孙科为行政院长。广州政府虽然宣布取消，但孙科无力应付日益混乱的局面和财政危机，于次年1月辞职。蒋介石重新上台，出任军事委员会委员长兼军事参谋部参谋长，汪精卫担任行政院长，从此开始蒋汪合作的局面。
当国民党新军阀混战的时候，共产党领导的土地革命战争在南方农村蓬勃展开。为了反击国民党背叛革命和对工农的屠杀政策，中国共产党领导的军队两万余人，由周恩来、贺龙、叶挺、朱德等指挥，于1927年8月1日举行南昌起义。8月7日，中共中央在汉口召开紧急会议，纠正和结束了陈独秀右倾投降主义路线，并决定在湘、鄂、赣、粤四省趁秋收时节发动农民暴动。毛泽东以中央特派员的身份到湖南领导湘赣边界秋收起义。12月，张太雷、叶挺等发动广州起义。由于国民党当局的残酷镇压，各地起义均遭失败。毛泽东率领秋收起义的队伍撤退到井冈山，创立了第一个农村革命根据地，为中国革命开辟了农村包围城市的道路。此后，朱德、陈毅率领南昌起义保留下来的部队，彭德怀率领平江起义部队先后到达井冈山，壮大了革命队伍。1928年夏，中国共产党在莫斯科召开了第六次代表大会，决议展开土地革命，创建工农红军，建立苏维埃政权，以武装斗争推翻国民党统治。此后，工农红军和革命根据地都有很大发展。以毛泽东、朱德率领的红四军主力，开辟了中央革命根据地，包括湘赣、赣南、闽西、湘鄂赣和闽浙赣等几个地区。此外，还有鄂豫皖、湘鄂西、左右江、陕北等十几块根据地。各根据地先后开展了土地革命，打土豪，分田地，变封建地主所有制为农民的土地所有制，使红色政权获得深厚的群众基础。1931年11月，中华苏维埃共和国临时中央政府在江西瑞金成立，毛泽东任主席。
对中国共产党人的革命斗争，特别是红色根据地的发展，国民党十分恐慌。从1930年蒋阎冯大战结束后，一方面在其统治区内加强对文化教育事业的控制，发动新生活运动，对进步文化实行文化“围剿”；一方面抽调庞大兵力，由蒋介石指挥，对革命根据地连续发动四次军事“围剿”。工农红军打破了蒋介石的四次军事“围剿”，发展到三十万人，成为国内举足轻重的一支力量。
1931年，日本帝国主义制造“九一八”事变，侵占中国东北三省。蒋介石下令不抵抗，张学良的东北军不战而退。1932年1月28日，日军进攻上海，驻守上海的十九路军奋起抗战，国民政府与日本侵略者签订《淞沪停战协定》，将十九路军调往江西、福建反共战场。同年2～3月，日本公然以清废帝溥仪为傀儡，于长春成立“满洲国”。日本侵略军于1933年上半年大举进攻热河。驻守长城一线的国民党驻军奋起抵抗，在喜峰口、冷口及古北口等处，屡败日军。冯玉祥同共产党人合作在张家口组织察哈尔民众抗日同盟军，对日作战，收复察哈尔失地。11月，十九路军在福建发动反蒋抗日，成立了“中华共和国人民革命政府”。这些抗日活动先后被南京国民政府取消或镇压。国民政府与日本签订《塘沽协定》，中国军队被迫从察北和冀东撤退。1934年，日本侵略势力深入华北，收买汉奸，制造“冀东防共自治政府”，策划“华北五省自治”，国民政府军事委员会北平分会代理委员长何应钦接受日本驻屯军司令梅津美治郎提出的种种苛刻要求（即“何梅协定”），取消河北、北平、天津的国民党党部，禁止人民“排日”，撤退在河北境内的中央军。1935年11月，国民政府又屈从日本的压力，撤销北平军分会，成立“冀察政务委员会”，指派宋哲元为委员长，使冀、察两省特殊化。
1931年9月18日，日本关东军突袭沈阳，发动“九一八”事变，最终东北三省全部沦陷。图为1931年9月19日，侵占沈阳市区的日本关东军。
对日本侵略者奉行退让政策的蒋介石，对共产党领导下的革命根据地却不断发动军事“围剿”。1933年7月，他在庐山举办军官训练团，聘请德国军事顾问和教官，训练了大批军事人员；并于9月集中了一百万军队、两百架飞机，向革命根据地发动了第五次军事“围剿”。其中用于进攻中央革命根据地的兵力就有五十万。当时，由于共产党内“左”倾冒险主义在中央占了统治地位，致使国民党统治区的共产党组织遭到严重破坏。1933年初，中共临时中央局被迫由上海迁入中央革命根据地。为了全面推行“左”倾错误路线，他们开展“反右倾机会主义”的斗争，借此排斥毛泽东所代表的正确路线，终于导致第五次反“围剿”战争的失败。1934年10月，中央红军主力及中央机关共八万余人，从福建长汀、宁化和江西瑞金出发，开始长征。同时长征的还有鄂豫皖的红四方面军。1936年7月，湘西的二方面军也开始长征。1935年1月中央红军攻占贵州遵义城，召开了中央政治局扩大会议，结束了“左”倾冒险主义在中央的统治，开始确立了以毛泽东为代表的正确领导。在毛泽东、周恩来等的指挥下，中央红军于1935年10月抵达陕北根据地的吴起镇。1936年10月，中央红军与二、四方面军在甘肃会宁会师，从而彻底粉碎了国民党数十万军队的围追堵截，胜利地结束了二万五千里长征。
由于日本帝国主义加紧对华北实行军事扩张，引起了中国国内阶级关系的巨大变化。同时共产国际针对世界法西斯势力扩张的情况，号召建立国际反法西斯统一战线。因此，中国共产党于1935年8月1日发表了《八一宣言》，提出抗日民族统一战线的主张。12月，在中国共产党的领导下，从北平开始的“一二·九”运动，使抗日救亡的呼声响彻全国。国民党各派系在对日问题上进一步分化。在1935年底召开的国民党第五次代表大会上，以蒋介石为代表的亲英美势力坚持不承认“满洲国”的立场，对日态度转趋强硬。中日谈判陷入僵局。国民政府在经济和军事方面开始作了一些抗日准备，但对内仍坚持反共方针。当时奉命在西北“围剿”红军的是张学良的东北军和杨虎城的西北军。他们对蒋介石的内战政策不满，并同共产党建立了抗日合作关系。1936年12月12日他们在西安扣留了蒋介石，实行“兵谏”，这就是震惊中外的西安事变。中国共产党提出了和平解决西安事变的方针。经过谈判，蒋介石答应停止内战、共同抗日后被释放。他一回到南京就扣押了张学良，并将东北军和西北军调离西北。但迫于全国要求抗日的政治形势，他不得不在实际上改变十年来的内战政策，开始与共产党谈判。西安事变的和平解决是国共两党重新合作和民族和解的起点。