中央官制理顺了，隋文帝做的第二件大事是改革地方制度。这次改革主要体现在两个方向。
第一，改革原来的州、郡、县三级行政体制，实行州、县两级制。
第二，改变高门大姓把持地方的局面，地方佐官由中央任命。
先看第一项措施。为什么改三级制为两级制？因为当时的地方行政区实在是太多了。举一个数字。西汉的时候，全国一共一百零三个郡，一千五百八十七个县。可是到了隋朝建立之时，别看领土少了江南一大块，行政区倒多起来了。州有二百一十一个，郡有五百零八个，县则有一千一百二十四个。平均一个州才管两个半郡，一个郡管两个多一点县。这也太不合理了！
为什么隋初的行政区这么多？很简单，因为隋朝继承的是北周和北齐的行政设置，北周和北齐的行政区本来就多。当年北齐和北周分裂的时候，争相用官职笼络人才。现有官职不够，就增加地方行政设置。原来一个郡的地方，分成三个郡，就可以多安排几个官员。
你这样笼络人才，我也这样笼络人才，这样一来，无论是北齐还是北周，行政区都越划越小，官也越来越多。后来，北周吞并北齐，地方基本没做变动，就照单全收了，而隋朝又篡了北周的天下，这个问题依然没有解决。
问题是，这么多的行政区，这么多的官，不仅仅意味着人浮于事，行政效率低下，还涉及一个行政成本的问题。要知道，所有官员都得老百姓来养，官员多了，老百姓就苦了。在这种情况下，改革地方行政体制就提到议事日程上来了。
开皇三年（583），有一个叫杨尚希的官员，给隋文帝上了一个奏章，说：“窃见当今郡县，倍多于古。或地无百里，数县并置；或户不满千，二郡分领。具僚已众，资费日多；吏卒增培，租调岁减；民少官多，十羊九牧。今存要去闲，并小为大，国家则不亏粟帛，选举则易得贤良。”
这份奏章把问题说得非常清楚，但是，解决办法并不理想。什么叫存要去闲，并小为大？闲和要到底怎么区分，小和大的界限在哪里？还有，如果这样搞的话，是不是三个层级都要大动干戈？隋文帝觉得这太不好操作，干脆，直接省掉一个行政层级算了！省掉哪一级？只能省中间层。
开皇三年（583），随着隋文帝一声令下，马上，全国五百零八个郡全部撤销，这样一来，实行了好几百年的州、郡、县三级制变成了州、县两级制，行政层级减少，十羊九牧的局面大大缓解，地方行政开支也大幅度下降，对老百姓而言，可真是一件大好事。
再看第二项措施。地方佐官由中央任命，这可是一项大改革。要知道，从秦汉以来，中央只任命州刺史、郡太守、县令这样的主要长官，而长官下属的官吏，也就是佐官，都由长官自行辟召。地方长官都辟召什么样的人？当然首选当地的高门大族。因为他们对地方的情况比较清楚，而且关系网发达，有能力摆平各种局面，那些中央空投过来的地方官还得依靠他们站稳脚跟。这就跟《红楼梦》中贾雨村当官，先要抄一张当地的护官符一样。这样一来，虽然地方的主要长官是中央任命，但是，地方的实际行政往往把握在当地豪门手里。
东汉的时候就有这样的歌谣：“南阳太守岑公孝，弘农成瑨但坐啸。”什么意思？当时的南阳太守是弘农人，叫成瑨，他到南阳做官后，就辟召了当地的名士岑公孝，让他当功曹。结果，岑公孝把政事打理得清清楚楚，根本不用成瑨操心。成瑨每天只需要找个清静地方吹口哨玩就可以了。所以，人们说，真正的南阳太守是岑公孝，弘农来的成瑨不过是坐在那里吹口哨罢了。问题是，这样的地方设置大大加大了世家大族把持地方的能力，并不利于中央集权。中国从东汉末年到隋朝近三百年分裂，贵族把持地方也是主要原因之一。
还是在开皇三年（583），隋文帝规定，原来由长官辟召的佐官统统下岗，担任乡官，只管教化风俗，不管行政事务。那空出来的行政职务由谁担当？文帝下令，从今以后，地方佐官一律由中央任命，而且一年一小考，四年一大考，依据考核情况决定去留。
这样一来，地方官吏的任免权就被中央牢牢地抓在了手里，中央和地方的步调高度一致，世家大族再想横行乡里、左右地方政治、闹分裂、搞割据就难了，这样就加强了中央集权。