公元581年，北周外戚杨坚代周自立，建立隋朝。开皇九年(公元589年)灭陈，从而结束了东汉末年以来近400年十五大分裂，重新统一了中国。隋炀帝杨广即位后，骄奢淫逸，大兴土木，穷兵黩武，引起阶级矛盾的激化。公元618年，隋朝在农民起义的大风暴中很快覆灭，代之而起的是李唐王朝。
隋朝建国虽短，但它在政治、经济、军事方面进行的一些改革，却给唐代甚至以后各代都带来了深刻影响。隋文帝杨坚在建国之初，为加强中央集权，在中央建立了三省六部制，实行科举制度，军事上则对北周的府兵制加以改革，从而使这一制度更趋完善。
隋初府兵制，沿袭北周制度，从强壮的农民中挑选士兵，免除他本身的徭役，平时从事生产，农闲时则从事军事训练。无论平时战时，都由各级军官督率，而且单立军籍。隋初规定，18岁以上为丁，60岁以上为老。服役从成丁开始，至老始免。役龄内的府兵，轮番服现役。未服现役的府兵，由管理军户的军场场主或乡团团主管理，平时定期集中训练，有事则应召从军出征。开皇三年服役的年龄又改为21岁，推迟三年。
杨坚取代北周之初，为维持稳定，一切制度都未作变动，但为了更好地控制军队，也采取了一些措施。其一，恢复旧姓。将西魏宇文泰为相时赐给军官和兵士的鲜卑姓全部恢复为本姓，杨坚自己也废用普六茹氏，恢复杨姓。这一措施的本质在于清除私兵和部族兵的痕迹，提高汉族地位。其二，利用宗族。杨坚代周前后，杨氏宗族组成宗室兵3000人，由杨希尚率领，扼守潼关，抵御北周将领尉迟迥。杨坚将这支队伍命名为“宗团骠骑”。其三，整顿乡兵。隋灭陈之前，在原北齐统治区和与陈接壤地域出现过不少乡兵组织，杨坚曾对其进行整顿和利用。如寄居广陵(今扬州)的来护儿领有乡兵，杨坚授以大都督衔，使之参与灭陈之战，并立有战功。陈灭后，江南大地主起兵作乱，杨坚利用庐江陈棱，准其开府，领乡兵，会同其父陈岘〔xian现〕为隋平叛，后官至骠骑将军。
开皇十一年(公元590年)，全国统一刚刚完成，为适应新的形势需要，隋文帝杨坚发布诏令：“魏末丧乱，军人权置坊府，南征北伐，居处无定，家无完堵，地罕包桑，朕甚愍〔min敏〕之。可悉属州县垦田，籍帐一与民同。军府统领，宜依旧式。罢山东、河南及北方缘边之地新置军府。”对兵役制度进行了重大改革。
这一改革的核心内容是把军户编入民户。在此之前的府兵，家属随营居住，频繁的战争使府兵家庭难以安定下来，生产不能正常进行，生活非常困难。军户编入民户后，改属州县管理，可依均田令受田，家属也得到解放，即使士兵上番，家属也可和一般民户一样从事生产。军户不再存在，但军人军籍依旧，与军府的关系也没有改变。无论在役、在军或在家，凡属军役范围内的事，都归军府管理。这次改革的实质是变兵民分离为兵民合一。从此，魏晋以来形成的世兵制开始为普遍征发(在兵府内)所代替。
隋朝这种兵民合一的制度，与它的均田制和租庸调制是联系在一起的。隋朝规定，一夫受田百亩，20亩为永业田，归受田者所有；80亩为露田，死后交给国家。妇女和奴婢受露田40亩，丁牛一头受田60亩。一夫一妇(一床)年交租粟三石，绢三丈。丁男每年服兵役一个月，服役时的衣粮装备由个人负责。丁男服役期间，租调全免。由此可见，隋府兵制的基础是它的均田制。
隋朝的军权集中在中央，军队由皇帝亲自统帅。尚书省内的兵部是皇帝在军事方面的办事机构。兵部设尚书一人，下设兵部侍郎、职方侍郎、驾部侍郎、库部侍郎等，分管军队事务。
全国设12卫府，分统全国军队，其中既包括禁卫军，也包括分布在各地的军府。各卫府的最高长官为大将军，直接听命于皇帝。各卫府大将军以下，设将军二人，长史、司马、录事、功、仓、兵、骑等曹参军各一人。这12卫府是：左右卫府、左右武卫府、左右武侯府、左右领军府、左右领左右府、左右监门府。左右卫是皇帝的内卫，负责宫廷禁卫。左右武卫主要负责宫廷外禁卫。左右武侯主要负责皇帝护从，担任前卫、后卫、昼夜巡查等。左右领军府负责12军的籍帐、差科、辞讼等事。左右领左右府负责侍卫皇帝左右、供御兵仗。左右监门府负责宫殿门禁、警卫。各府下辖若干军府(骠骑府和车骑府，长官为骠骑将军和车骑将军)。军府的军士称侍官。除12卫府外，还有东宫十率。
府兵的这种编组，把12卫府兵力统一在禁卫军系统内，使皇帝能更集中地控制兵权。另外，禁卫军中又有内卫和外卫之分。服内卫的称内军，服外卫的称外军。左右卫所属亲卫、勋卫、翊卫三卫所属各骠骑府、车骑府，都是内军；12卫府所属的其他骠骑府、车骑府为外军。皇帝利用内、外军，互相牵制。
骠骑府受大将军(正三品)直接指挥。骠骑将军(正四品)下辖车骑将军(正五品)、大都督(正六品)、帅都督(从六品)、都督(正七品)。和北周相比，主帅的品级降低了(北周大将军为正九命，相当于隋正一品)，而人数却从北周的八个柱国大将军增加到12个卫府大将军，军权有所分散，而皇帝却更便于集中军权。
府兵不服役时，归军府所在地保、闾、族、里、党等各级组织管辖。
在加强中央军的同时，隋文帝对地方部队也作了整顿。隋在边境及内地重要的州设总管，负责该地区的军事。隋文帝时期，设总管的共52个，计为：延、庆、原、夏、灵、云、丰、秦、兰、廓、凉、金、叠、岷、宕、扶、利、会、遂、信、益、泸、洛、西防、晋、隰〔xi习〕、代、朔、并、幽、玄、营、青、徐、扬、寿、蓟、吴、杭、洪、广、循、桂、崖、荆、襄、安、黄、江、潭、永。此后时有变更。
隋初将州、郡、县三级制改为州县两级制，以便于控制和推行府兵制。隋炀帝杨广改为郡县两级制，在郡设都尉、副都尉，掌一郡兵马。
隋炀帝即位后，为了加强军事力量，对12卫府进行改革。左右卫改为左右翊卫，左右领军改为左右屯卫，左右武侯改为左右侯卫，左右领左右府改为左右备身府，左右武卫、左右监门卫名称依旧，另外增置左右骁卫和左右御卫，共16卫府(其中左右备身、左右监门不领府兵)。各府原辖的骠骑府、车骑府改为鹰扬府，并在府前冠以该府所在地名。改骠骑将军为鹰扬郎将，车骑将军为鹰扬副郎将，大都督为校尉，帅都督为旅帅，都督为队正等。改左右卫三卫(亲卫、勋卫、翊卫)为三侍。为了使农民乐于服役，又给12卫府军士冠以荣誉称号。左右翊卫军士为“骁骑”，左右骁卫军士为“豹骑”，左右武卫军士为“熊渠”，左右屯卫军士名“羽林”，左右御卫军士名“射声”，左右侯卫军士名“佽〔ci次〕飞”，并改府兵的侍官称号，总称为卫士。
东宫十率也有调整。左右卫率改为左右侍率，左右宗卫率改为左右武侍率，左右虞侯开府改为左右虞侯率，左右监门率改为宫门将，左右内率依旧。
大业九年(公元613年)，置左右雄武府，隶属于左右备身府，招募百姓为“骁果”。这个府不领府兵，但仍属皇帝禁卫，而且在所有皇帝禁卫军中占有特殊重要的地位。大业十四年(公元618年)，宇文化及就是利用骁果发动兵变，杀死隋炀帝杨广的。
由于隋炀帝好大喜功，不断扩充军队，增置军府，使社会生产遭到极大破坏，正常的兵役制度也无法实行，当时的情况据史书记载是扫地为兵，丁男不够役使，又转而役使妇人。所以在隋炀帝统治的最后几年，府兵制实际上遭到了破坏。
隋军在大的军事行动中，由皇帝指派的行军元帅为最高指挥官，负责一个地区的指挥官为总管。灭陈之战中，曾以杨广、杨素并为行军元帅，并以杨广为淮南道行台尚书令的名义统一指挥全盘军事。史书记载隋灭陈大军“合总管九十，兵五十一万八千，皆受晋王(杨广)节度，东接沧海，西拒巴蜀，旌旗舟楫，横亘数千里”的盛况，从一个侧面反映了当时军队的编组情况。
大业八年(公元612年)隋进攻高丽，杨广率百万大军亲征。当时的编制情况是：全军分左右各12军，凡113万，“每军大将、亚将各一人，骑兵四十队，队百人，十队为团；步卒八十队，分为四团，团各有偏将一人；其铠胄、缨拂、旗幡每团异色；受降使者一人，承诏慰抚，不受大将节制；其辎重散兵等亦为四团，使步卒挟之而行；进止立营，皆有次序仪法。”(《资治通鉴》卷一八一，大业八年)从上述记载可知，步兵和骑兵编制不完全一样。骑兵是10队为一团，步兵是20队为一团。