元代以游牧民族入主中原，对统治手段本无一套成规，于是就沿袭各个被征服政权的现成制度而混合之。加之蒙元帝国南下征服过程长达七八十年之久，一些在战争中施行的临时措施，也渐渐变成永久性的制度。有了这两个原因，就使元代行政区划层级形成了两个基本特点，一是层级多，二是层级之间存在复式的统辖关系。
层级多，是由于把被征服政权的几种临时的和永久的区划都叠加起来，因此最复杂的地区层级可达到五级之多，即省—路—府—州—县。最简单的只有两级，如省一路。而大多数地区实行的是三级和四级制。复式的层级统辖关系是从辽代学来而有所发展。北宋以前，行政区划层级都是单式的统辖关系，二级就是二级，三级就是三级。但辽代已出现复式关系，即二级制与三级制并存，如南京析津府(今北京)既直辖11个县，又统六州，州以下又各辖县，形成如下的关系：
这样，县既可以是第二级政区，也可以是第三级政区。元代的路、府情况与辽相似，也是除直辖县外，同时又可通过属州再辖县。
元代政区层级既多，又采用复式统辖关系，因此而形成一套复杂而繁琐的行政区划体系，其各层次之间的关系略如下所示：
元代的行省是向金朝学来的。省本来是官署的名称，其来源可以追溯到魏晋时期。当时的中央政府权力机构分成门下、中书、尚书三省。如果地方有事，中央政府派出部分官员前去处理，组成行台省，表明是中央的行动机构。这一制度唐初也曾运用，而到金代末年，这一制度运用最为广泛。本来金灭北宋以后，继承了宋代分路的体制，只是将路的区域划得更小一些。金代后期，边境内地都不安宁，路的长官不能专擅一方，因此就经常派出行台省的机构前去应付，这一做法，延续了数十年之久。
蒙元在征服北部中国的过程中，学习了金代这一制度，作为战时措施，以行中书省(有时是行尚书省)作为管辖新征服地区的行政机构，久而久之，这个机构所管理的地域范围也挂上了行中书省的名称，简称行省或省。同时作为中央政权机构的中书省本身也直辖包括首都在内的一大片地区。元代省的地域十分辽阔，加之置于金、宋两朝原有的路府州县之上，所以形成多层次的行政区划体系(图7)。
图7 元代分省图
宋代的府本来与州同级，只是表示地位尊崇。首都、陪都及与皇帝相关的纪念地都称为府。辽代的府则为州以上的政区。元代学辽制，将府置于州之上，在一般情况下与路同级，在个别情况下又比路低一级。元代的州比宋代更小，许多州只辖一县或不辖县，江南有些县则因户口多，而上升为州，所以州县近似同级。因此从基本结构看来，元代的行政区划层级大致也只有三级，即省—路(府)—(州)县。五级齐全的区划只有一个特例，即中书省(约今华北各省区及山东、河南北部)—上都路(今河北北部、内蒙古一部分)—顺宁府(今河北涞源至宣化一带及山西灵丘等县)下辖保安、蔚(今河北涿鹿、蔚县一带)两州，州下分别辖一县与五县。二级制的情况也很少，而且都是边远地区的特例，如岭北行省(约今内蒙古大部、蒙古人民共和国及以北俄罗斯地)只辖和宁路(今蒙古人民共和国中部及其南内蒙古地)，路下再不设府州。
元代层次复杂繁琐的政区体制，一方面是长期战争时期综合各种制度而成；另一方面也是少数民族统治中原的一种手段。元代民族矛盾尖锐，为了“镇抚”地方，行省与中央一样置有丞相、平章等高级官员，负有军政、民政、财政方面的全部权力，成为中央机构的分治区域。所以元代文献称省的作用是镇抚，而不是牧民。也就是说，省的实质是行政型的军区，省以下各级区划的官员都只能层层向上奏事，不准越级上诉，控制十分严密。
由于是异族入主中原实行统治，每级政区首长都是由蒙古人或色目人担任，所以分层虽多，并不削弱控制力量，而是加强层级间的监督。当然对于行政管理而言，层级越多，效率越差，上下阻隔太甚，影响地方发展。但统治者的最高目的是在求地方安宁，而不是求地方发展，在安宁的前提下能取得发展固然很好，若两者发生矛盾，则宁舍后者而取前者。
当然，军政大权的过分集中，毕竟存在产生割据的危险，因此元代后期行省权力有所削弱，重大事情都要报中书批准。更重要的是在行省的区划方面实行犬牙相入(即犬牙交错)的策略，不使任何一省具有完整的形胜之区，这一方面将在第五章中再详加叙述。
元代行政区划层次的繁复还有一个重要的原因，那就是元帝国疆域过于广袤，而作为第一级政区的省，地域范围区划得过大。行省区划太大，意味着省以下的政区管理幅度也大，若不增加层次，则无法维持合适的管理幅度。明清两代随着行省划小，政区层级也逐步简化。
元代行省数目太少，初期只有六个行省和一个中书省，中期也一共只有11省。以强大的中央集权政府而只管10个左右行政单位，幅度显然太小；另一方面，以一州而只辖一县或不辖县也不明智。至于二级制的存在，以省领路、领府或领州，以下再不设基层政区，当然也不合理。因此元亡明兴以后，减少行政区划层级自然成为首要的任务。其具体措施是，取消五级制和二级制的特例，撤销路的建置，改路为府，将州分为直隶州与属州(也称散州)两层，于是形成以下的层级关系：
其中府与直隶州同为第二级，州为第三级，只有县或为第三级或为第四级。这种简化提高了行政管理效率，也是明代行省幅员划小的直接后果。明代把大约相当于元代岭北、辽阳(约今东北及其北俄罗斯地)以外的九省版图分成两京13布政使司(俗称15省)，如中书省就分成京师、山东、山西三省。幅员缩小，管理幅度减少，层次也就相应简化(图8)。
图8 明代分省图
明代学习宋朝的办法，将最高一级的地方权力分在都指挥使司、布政使司和按察使司手中，将布政使司作为第一级地方行政区划的名称。都布按三司的区划基本一致，但也有些出入，如东北地区设有辽东都司，却不置布政使司，同时山东按察使司则兼管山东布政使司和辽东都司。这种复式的区划显然也是宋代的遗风。明代三司分立以及各司区划的不完全一致，起了遏制地方分权过大的作用。虽然三司的权力比宋代诸监司的权力为大，但在处理地方事务时仍无足够专制一方的权力，因此后来又有巡抚总督制度的产生。
巡抚、总督是由中央派出的官员，在一定的时期内可以集中节制一省部分地区或全省的权力，也可兼制数省，尤其是对各省交界地区的治安更起重要作用。明代后期地方多事，巡抚、总督渐渐变为常制，甚至凌驾于原来行政区划之上，成为一套新的督抚辖区。
清代将总督、巡抚变为固定官职，将督抚辖区调整到与省的范围相一致。康熙时又将明代的15省析置为18省，雍正时进一步将明代复式的三四级政区层次完全简化为单式的三级制，即：省—府—县。与府同级的除直隶州外又有直隶厅，与县同级的则是散州和散厅。这样，从元代开始的复式层级关系的行政区划又回到单一整齐的形态。但是清代是统一的多民族大帝国，疆域辽阔，人口众多，比汉唐时期已大不相同，行政区划层级也只能简化到三级为止，进一步的简化已不可能。不但如此，三级制的层级在管理幅度上仍嫌过大，因此省以下还分设巡道和守道，作为省的派出机构，以分管诸府、直隶州(图9)。
图9 清代分省图
中华民国建立之初，一改清代之制，裁府撤州，以道作为省县之间的一级政区，成为省——道——县三级制。但是民国初年的道并未真正起到行政区划的作用，只是省县之间的公文承转机构，而且每省只分成三四道、四五道而已，没有实际的区划意义。因此南京国民政府成立以后，干脆把道一级也取消了，完全恢复到与秦代郡县制类似的省县二级制。这显然是加强中央集权的措施。于是从元代开始至20世纪20年代，行政区划层级走过了从多级制到二级制的简化历程，恰与前面两个从二级制向三级制繁化的循环完全相反。
但是民国初年的形势已与2000年前的秦代完全不一样了。省的数目只有秦郡的3/5，而县的数目已达秦县的一倍。每省所直辖的县有数十上百，管理幅度显然过大，于是在二三十年代之交，随着“剿共”的政治需要，国民党政府在江西省首先分区设行政督察专员，不久各省照此办理，形成省—专区—县的虚三级制，这一体制为中华人民共和国所继承，后来又改专区为地区，但这种分区始终不作为一级正式政区。