对于行政区划的层级变化过去很少进行深入的探讨。各级行政区也未有固定的指称，通常都按序数称作第一级政区，第二级政区，第三级政区，等等。但这样称呼无法体现各级政区的特点。如同为郡级政区，在秦汉为第一级，在魏晋南北朝却是第二级。而且如前所述，元代政区虽然实行了多级制，但从各级政区对县的统辖关系看来，可以只划分为三个层次。通观2000年政区层级变化的过程，也可将其归纳为三个层级，即县级政区、统县政区与高层政区。
县级政区也可称为基层政区。皇帝直接任命的地方官员到这一层为止。县是直接管理百姓的一级政区，在幅员、数目与名称方面变化起伏最小。统县政区也可称郡级政区，即直接辖县的政区，如秦汉的郡，隋唐五代宋辽金的州，元代的路、府、州，明清的府、直隶州，民国初年的道。高层政区即不直接辖县的地区，亦即统县政区的上一级政区，在魏晋南北朝为州，在唐宋为道、路，在元明清和民国初年为省。按照三个层级的划分可将历代行政区划的变化纳为下表：
表中括弧内外的名称为互称或等称。如隋唐时期，大部分时间统县政区叫作州，其中两度短期改称郡(隋大业三年至十四年，唐天宝元年至至德二年，共28年)，郡、州性质一样，故为互称。唐代后期采访使兼节度使，道与方镇合为一体，故称道或称方镇均无不可，是为等称。明代布政使司是正式名称，但俗称为省，两者也是等称。又如表中辽、元、明三栏的统县政区有几种类型，中间以短线隔开，表示它们除统县的共同特点外，相互之间还可以有统属关系，如明代的府可直接统县，也可经过属州再统县。不用短线隔开的则都是同一层级的不同类型政区，如宋代的府、州、军、监同为统县政区。
层级变化的规律主要有两条，一是由高降低，再是由虚入实。
由高降低
所有高层政区都随着历史的进展，幅员渐次缩减，数目次第增多，级别逐层下降，最后归于消亡。这一点以州最为明显。州在东汉末年只有13个，作为高层政区，大者如当今两三省之地，小者也有半省规模。到隋初，州数达到300多，幅员只有数县大小，级别已降为统县政区。至元明时期，大部分州已降与县相当，清代的散州则完全与县同级，民国初年进而废州为县，于是州从行政区划体系中消失了。中华人民共和国成立后，才又采用来作为第二级民族地方自治区域的名称。
道在唐朝前期作为州以上的监察区出现，后期与方镇结合而成为高层政区，但幅员已大大缩小。宋初的道后来被路所代替，到元代又用作省以下的监察区，明清沿袭元制，也在省与府之间设道，但幅员也大为减缩。民国初年改道为省县之间的一级政区，20世纪20年代废道以后，道就消亡了。
路的演变也相近似，只是沿用时间短。北宋的路只有20多个，作为高层政区，其幅员大约相当今天的半省一省之地。到元代降而为统县政区，幅员也缩小到今天一两个地区大小，明代废路为府，路也消亡了。
省的幅员从元代到民国逐步减少，20年代以后降为统县政区。至今名义上还是统县政区，虽然在省县之间还有地区和管县的市这一虚级。
作为统县政区的郡和府，与高层政区不同，虽然幅员也逐渐缩小，但并不降低级别，而是直接消亡。郡的幅员到南北朝末期已经缩小到二三县的范围，所以隋初就被取消了。后来虽然在隋后期及唐中期两度短时间恢复，最终仍不免于消亡。但是郡县制的称呼却一直保留下来，以代表与封建制不同的行政制度，因此一切统县政区，隋唐宋的州，元明清的府都可以称为郡级政区，事实上，古人也一直把州府当作郡来看，州刺史和知府也往往雅称为郡太守。
不但如此，宋代更在每州的州名之外，还要附有郡号。许多人读《宋史·地理志》有“沧州、上，景城郡”，“福州，大都督府，长乐郡”等记载，就以为宋代还存在郡称，其实不然。这里的郡称只是个号，如同人的字号和本名的区别一样。郡号长乐，就是用福州在唐时的郡名。宋代的州大都由郡改名而来，因此郡号也大都现成。一些新置的州没有郡号，则由皇帝颁赐，如河东路丰州，就赐名宁丰郡。
府在明代成为普遍的统县政区，幅员较大，如山东只分为六府，比今天的地区还要大。清代府境明显缩小，民国初年则废府存道，府也消亡了。
由虚入实
历代高层政区都是由非行政区，即监察区或军区演变而来，政区长官也由中央官员转变而来，此谓由虚入实。
秦代的监察区与行政区相一致。秦始皇分天下为36郡，郡置守、尉、监。守、尉是郡的长官，监则是中央官员，每一郡成一监察区。汉代情况变化，郡的幅员缩小，郡数增加，于是在郡之上设州作为监察区。由于监察的对象是吏治而不是民政，事务较简，无须每郡设一监察区。但是州既作为一级区域划出，与郡县相分离，就构成了以后转变为行政区划的地理基础，待到东汉末年州牧掌握辟官、(艹下泣)政、理财、治军四权之后，州就自然转化为行政区了。
唐后期的道(方镇)则由两条线演变而来。一条是魏晋南北朝的都督区。这是以都督为军事长官，统辖数州的军务督理区。都督又例兼所驻州的刺史，实际上形成了州以上一级准行政区。唐代沿用这一制度，都督又因加节而称为节度使。另一条线是唐初按“山川形便”设置的道，后来也成为正式的监察区，道的长官是采访使。这两条线结合起来，以节度使兼采访使，就使方镇和道重叠而成为州以上的一级行政区。
元代行省近取金朝行尚书省的制度。在中原用兵之时，也以中央大员率领部分政府成员在地方上设立行尚书省，这本来只是中央政府的派出机构，但久而久之其所管辖的地域就成了行政区划，这是另一种由虚入实的形式。金朝的行尚书省溯其渊源则远学六朝隋唐的行台尚书省。当时“省”是中央官署之名，行台尚书省或某处行台省都是从中央派出的临时行动机构，以处理地方事务，事毕行台省即予取消，千年以后的元代却将它变成固定机构。后来，元代的行尚书省又随中央政府机构改名中书省而改称行中书省，简称行省。
中国历史上的四种高层政区，州、道(方镇)、路、行省，只有路完全出自宋人的独创，其他三种都由监察区、军区或临时行动机构演变而来。但是路的出现亦非完全无本之木，也是将唐代转运使这一临时职务加以固定，并使之有一定的施政范围而形成的，同样是由虚入实。此外，明代的督、抚辖区在明清之际几乎变成新的一级政区，后来经清初二三十年的调整，还是回到布政使司(行省)的框架之中，只是督、抚成了布政使之上的省区一级最高长官。