1206年，成吉思汗(公元1162—1227年)统一蒙古各部，在蒙古高原上建立了蒙古国。在统一蒙古各部和后来频繁的对外战争中，蒙古国逐渐形成了一套具有自己特色的兵制。
蒙古军的最高统帅是大汗。大汗下面有宗王、万户长(蒙古语称作“土绵那颜”，“那颜”意为“官人”)、千户长(蒙古语称作“敏罕那颜”)、百户长(蒙古语称作“札温那颜”)、五十户长(蒙古语称作“塔宾那颜”)、十夫长(又称牌子头，蒙古语称“阿儿班那颜”)等各级指挥官。
蒙古国军队主要由蒙古军和汉军两大类组成。蒙古军按十进制编组成十户、百户、千户。千户是蒙古军的基本编制单位。一部分千户分属于宗王(成吉思汗家族成员)，其他千户分编成左右两翼军，由左右翼万户长分掌。在战争中陆续被蒙古征服的中亚各族人(统称“色目人”)后来也编入蒙古军中。
蒙古军平时分布在草原放牧，战时集中。但战争的发展，需要有一支军队戍守在已占领地区，于是从各千户中签发部分士兵，组成专用于镇戍的军队，称为探马赤军。由于蒙古人大多不愿意远离草原长期在生活环境不适应的地区作战和镇戍，所以在选调探马赤军时，各千户往往以隶属于蒙古军籍或沦为私属人口的外族人充任，造成了探马赤军复杂的民族成份。探马赤军被派出镇戍后，仍与蒙古各千户保持着密切关系，属于蒙古军系统。
为了保卫大汗安全，成吉思汗还从各千户中选调了一万名精兵组成大汗卫队，蒙古语称为Kesig，汉语译为怯薛。怯薛士兵分编成宿卫千户、箭筒士千户和散班八千户，平时分四班轮流宿卫大汗营帐(称四怯薛)，战时则随皇帝出征，是全军的中坚力量。
汉军是蒙古进入中原地区以后招集中原各族人民编成的军队，主要来自以下几个渠道：(1)金朝末年中原地区出现的守土自保的地方武装，陆续在首脑人物率领下投附蒙古政权；(2)蒙金战争中投降蒙古的各种军队，如中都(今北京)的糺军、北京(今辽宁宁城县西)的契丹军等；(3)自窝阔台汗朝(公元1229—1241年)时起，蒙古在中原汉人民户中签发的士兵，数量在10万人以上。此外，汉军中还有一部分降附于蒙古的南宋军队。到蒙古国后期，汉军的总数约在30万人左右，大大多于蒙古军的数量。
汉军的编制也编为千户和万户。各汉军万户所统人数不等(蒙古千户也是如此)，大者五六万，小者不下二三万。汉军的万户长由蒙古大汗指定。汉军万户长之上设立统军都元帅，由探马赤军将领担任。蒙古大军出征，都元帅要接受大汗指定的蒙古亲王、万户长、千户长等前线指挥官的调遣。
蒙古国在蒙古地区实行的是全民皆兵的兵役制度。蒙古各部成年男子(15岁到70岁)都有服兵役的义务，不管其贵贱，也不论家中人口多少。他们平时进行牧业生产和其他活动，一旦有战争，就要根据大汗的需要，或者“空营帐而出”，举国皆兵，或者抽调其中一部分人出征，被抽调者的奴仆也要随军行动。15岁以下的少年有时也要从军，以使其从小熟悉征战。蒙古语称这些少年战士为“怯困都军”(意为渐长成丁军)。
汉人地区则实行指定一部分人户当兵的征兵制度，后来变为世兵制，凡列入军籍的人户要世代当兵。
蒙古军的后勤管理制度主要是设立“奥鲁”。奥鲁是蒙古语Aurug的音译，原意为“老小营”、“营盘”，既指军属，又指管理军属的人。奥鲁的职责是保证出征军队的食宿供应和管理军人家属。蒙古军(包括探马赤军在内)出征时，都在统兵官下设置奥鲁官，管理随军出征的军人家属。汉军万户后来也设奥鲁官，管理军人家属及为出征军队准备武器粮草。
蒙古建国后，成吉思汗为巩固统治，颁布了一系列法令(蒙古语称为“札撒”)，其中不少是关于军事的内容，包括万户长、千户长、百户长的选用条件和职责范围，也有战场纪律的规定和军队组织的约束。违反军法的人有三种处理办法，一是以财产抵罪；二是罚作敢死队，以战功抵罪；三是即时处死。
忽必烈(元世祖，公元1260—1294年在位)在1260年即大汗位，开始采用汉族地主阶级的统治方法，并在1271年正式改国号为元，1279年灭南宋统一中国。元朝建立后，忽必烈进行了军政制度改革，建立了一套比较完备的军事制度。
忽必烈即位后，为加强中央集权，改变了蒙古国时期大汗、宗王、万户长、千户长等一统到底和都元帅节制汉军的领导体制，在中央设枢密院，负责调发和管理全国军队、筹划军事部署和铨选武官，以及为军队提供后勤保障。中书省设立兵部，负责马政和军事通讯。另外还实行宗王出镇制度。
枢密院初设于中统四年(公元1263年)，置枢密使、副使、佥〔qian千〕书枢密院事等职。后来增设知枢密院事、同知枢密院事等职。枢密使一般由皇太子兼任，知枢密院事(简称知院)则是枢密院实际最高长官。知院和同知必须由蒙古人和色目人担任，副使以下才参用汉人。
枢密院向皇帝奏报军情要务，一般情况下不经过中书省。重大的军事决策，皇帝要召集中书省和御史台等中枢机构官员与枢密院官员一同商议。元朝皇帝每年夏季赴上都(今内蒙古正蓝旗东闪电北岸)避暑，枢密院官员大都随行，只留副使或佥院一二员于大都(今北京)，暂管枢密院事务。重要公文和军情报告都要转送上都，由跟随皇帝的院官处置。如果发生突然事变，留守大都的院官可以调动军队和采取紧急措施。
为了保证驻在漠北草原上的各部分蒙古部落的军政统一，忽必烈取消了蒙古左右翼万户长，各蒙古部落的千户长直接听命于枢密院。中央派一名知院长年坐镇漠北，就地处理军务。
元朝还实行宗王出镇制度。蒙古国时期分封的蒙古宗王，都有直属的蒙古千户和封地。忽必烈对此加以改革，将几个儿子分派到漠北、陕西、云南、吐蕃等地为出镇宗王，不再封给他们蒙古千户和土地，只授予节制当地军队的权力，战时作为当地军队的最高指挥官。出镇漠北的宗王，地位在坐镇漠北的知院之上。元朝中期，在鄂州和扬州等地也有宗王出镇。
元朝的地方指挥系统。在对南宋作战中，忽必烈设置了行枢密院和行中书省，负责指挥军队作战和镇戍地方。全国统一后，行枢密院相继撤销，在全国设立河南江北、江浙、湖广、江西、四川、云南、陕西、甘肃、辽阳、岭北10个行省。各行省设平章二人，负责一省的军政事务。平章一般由蒙古人充任，有时也用色目人，汉人不得充当。行省下设万户府、元帅府等军事机构。在远离行省中心的地区或少数民族聚居地区，设立宣慰司都元帅府，掌军政和民政。各行省军队的调动，必须有枢密院传旨。如果发生战乱，先由枢密院传旨所在行省平章，派兵镇压，如一省力量不够，则传令附近行省发兵会剿。有时，也在战事频繁的地区设立行枢密院，临时提调从各省调来的军队，战争结束则撤销。
元朝军队分中央宿卫部队和地方镇戍部队两部分。宿卫军由侍卫亲军和怯薛组成。侍卫亲军组织始建于中统元年(公元1260年)。第一个卫军组织称为武卫军，兵员三万人左右，来自中原各汉军万户属下的军队。以后又改名为左、右翼侍卫亲军，左、右、中三卫。至元十六年(公元1279年)，南宋灭亡，忽必烈调整军队部署，增加侍卫亲军兵力，将三卫军扩充为前、后、左、右、中五卫，后又增设武卫、虎贲卫、忠翊卫、海口侍卫等卫军机构，以汉军为主体，称为汉人卫军；将原来隶属于蒙古军籍的色目“诸国人之勇悍者聚为亲军宿卫”，先后设立了唐兀、钦察、贵赤、西域(又称阿尔浑)、阿速、隆镇、龙翊、斡罗斯等卫军机构，称为色目卫军。部分蒙古探马赤军人和从草原上流散出来的蒙古人口，也被编入侍卫亲军组织，设立蒙古侍卫与宗仁卫等机构，称为蒙古卫军。此外，还在东宫之下(后转给后宫或枢密院)设立了几个卫军机构。到元文宗时，卫军的总人数在20—30万之间，汉军上兵约占2/3。
侍卫亲军由卫都指挥使司掌管，除东宫卫军外，均隶属于枢密院。
怯薛由怯薛长掌管，负责皇帝安全，一般不出征作战。侍卫亲军既要负责上都、大都两个都城的安全和“腹里”(中书省直辖的地区，包括今河北、山东、山西及内蒙古部分地区)的镇戍，又要随时准备出征或镇压人民起义。由于侍卫亲军的士兵多是各军中选来的精锐，所以侍卫亲军的战斗力较强，是元朝军队的核心，代替了蒙古国时期怯薛的地位。
地方镇戍军由驻牧在草原上的蒙古军和分散在全国各地的探马赤军、汉军和新附军(原南宋军队)构成。蒙古军和探马赤军以骑兵为主，汉军和新附军以步兵为主。另外还有炮军和水军。
蒙古军仍然保持着有战事传檄集合，平时散归各部的习惯。千户组织还是蒙古军的基本组织形式。南宋灭亡后，参战的探马赤军除部分被编入侍卫亲军组织外，都被元朝分派到山东、河南、陕西、四川军事要地屯驻。探马赤军人的家属也陆续从草原迁往中原驻地。从至元二十一年(公元1284年)开始，元陆续设置了山东河北、河南淮北、陕西、四川四个蒙古军都万户府，立司于濮州(今山东鄄城北)、洛阳、凤翔和成都，分掌探马赤军。四个都万户府所属探马赤军的总人数，大约在五万人至八万人之间。
忽必烈即位后，为灭宋统一中国，又从中原地区签军近20万人，补充汉军。全国统一后，元将收降来的新附军与汉军混编在一起，掺入部分色目军人，分布在各行省戍守，设立了近百个万户府、元帅府分管这些军队。在一些少数民族聚居的地区，也编组了由当地民族组成的军队，如辽东有高丽军、女真军，云南有寸白军，湖广有土军、黎兵、洞兵，福建有畲〔she奢〕军，吐蕃有吐蕃军等等。这些民族兵由在当地设置的万户府、元帅府等机构兼管，负责维持地方治安。
元朝还有一种专门用来随大军出征掳掠财物的军队，称为“答拉罕军”或“乾讨虏军”，政府不给粮饷，也不入兵籍，实际上是无籍军，一般多由无赖侥幸之徒组成。
元朝的兵役制度和蒙古国时期的兵役制度基本相同。蒙古各部仍实行成年男子皆兵的制度，其他民族则实行征兵制基础上的世兵制——军户制度。元朝共有探马赤军户(也称蒙古军户)、汉军军户和新附军军户三种军户。
汉军军户的签发是以民户的财产和劳动力为依据的，一般从中户中签发，一经签发便为军户。由于各军户财产和人丁情况不一样，于是元朝政府又制定了正、贴户制。根据军户的不同情况，以两三户或四五户合出军一人，出人当兵的军户称正军户，又称军头；其他不出人的军户则出钱资助，称为贴军户。如果正军户没有当兵的合适人丁，便由有丁的贴军户顶替，原正军户改为出钱资助。但当正军户有了合适的人丁时，便要继续承担出军的义务。
探马赤军户和新附军户不实行几户合出一兵的制度。但探马赤军户原来的驱口(奴隶)被释放为民后，必须出钱资助旧主人，从而实际成为旧主人的贴军户。新附军户没有贴军户。
军户履行服兵役的义务，必须以“正身”(本人)应役，不能逃避或以他人代役。如军人在出征或出戍时逃亡，要到原籍勾取他的兄弟子侄来顶替。军人阵亡或病死，军户可以享受“存恤”的待遇。
军户的武器装备，探马赤军仍和蒙古国时期一样自备。汉军军人服役期间，武器和冬夏军装及口粮由政府发给，其他装备和开支则由自己负担。正军户、贴军户凑齐出征、出戍军人的费用后，定期送到军中，称为“封椿钱”(又称封装钱)。新附军人的装备完全由政府负担，家属还可以得到政府发给的四斗米、一斤盐。作为对军户服兵役的补偿，元朝在赋役方面，对军户实行豁免和优待。
军户制度使兵役负担集中到一部分人身上，加上军官的剥削和压迫，使军户的负担过重，往往导致军户的破产和逃亡。特别是元朝中期以后，军户制带来的问题更为严重。不过，在元朝建立过程中，这一制度对保证元军稳定的兵员和减轻国家军费负担，还是起到了重要作用。
元朝十分重视军队的后勤建设，对武器的生产和管理、军粮的保证制定了一整套制度。
在武器的生产和管理方面，元朝设立了军器监专门管理各种兵器的生产、贮存和发放。元朝规定，武器只能由政府组织生产，任何人不得私自制造武器，汉人和南人还不准私藏武器。汉军和新附军只有在作战或出戍时才发给武器，平时则收藏在仓库，统一管理。
为解决军粮供应问题，元朝继承了以往各代采取过的军屯制。军屯地域从边疆到内地，遍及全国，腹里地区屯田尤为众多。军屯由屯田万户府、千户所管理，各级屯田官均由军官担任。屯田军主要是年老体弱、不堪征戍的蒙古、色目士兵和汉兵。军屯所用耕牛、农具和种子，多由国家供给，少数由屯田军自备。屯田所得除供军食外，还有一部分充当各级军官的俸禄。军屯对边疆地区的开发和保证军粮供应有一定的积极作用。但由于军屯官吏对屯田军的压迫和剥削，军屯的经济效益不高，因此，到元朝中期，屯田制开始逐渐废弛。
另外，由于元朝是以强大骑兵夺取天下，所以在统一后十分重视马政建设。除在大都周围和漠南、漠北草原上设置了大批国家牧场养马外，还根据需要从民间强制征调马匹以供军用。但强制征马往往遭到人民的反对，激起尖锐的社会矛盾。
蒙古国和元朝，都实行军官世袭制。蒙古千户长、百户长等职，由子孙袭任；探马赤军和汉军军官战死，子孙袭其原职，病死则子孙降二级袭职。承袭者子孙必须满20岁，并按规定进行武艺和文化考核。原来，承袭者可以是儿子，也可以是兄弟子侄。由于承袭顺序不清楚，经常发生争执。仁宗时明确规定，必须由嫡长子承袭，其次是嫡长孙。这是第一顺序。如果没有嫡长子孙或嫡长子孙不够承袭年龄，则改由第二顺序，即庶子和兄弟、侄等承袭。嫡长子孙到年龄后，第二顺序承袭者要将职位交回他们手中。
实行世袭制的同时，元军中还实行军官迁转法，一般是三年一升迁，出征时则论功行赏。探马赤军军官升迁后，原职位由其弟侄儿男继任。汉军军官升迁后，原职位由他人继任。
元世祖至元二十一年(公元1271年)规定军官的品级、各军府设军官的人数以及军官所持符牌的标准。万户府、千户所分成上、中、下三等，百户所分为上下两等。侍卫亲军各卫指挥使司与上万户府等级相同。万户府设达鲁花赤、万户、副万户、镇抚；侍卫亲军各卫设都指挥使、副使(有的卫也设达鲁花赤)；千户所设达鲁花赤、千户、副千户、弹压；百户所设百户。草原上的蒙古军仍保持过去的千户长、百户长等职务。
元朝通过发放符牌证明军官的身份。符与牌是同一概念。当时分虎头金牌、平金牌、平银牌三等，又称虎符、金符和银符。按规定，万户佩虎符，千户佩金符，百户佩银符。虎符又有三珠、二珠、一珠的区别。三珠虎符最高，只有上万户府达鲁花赤、万户以上的掌军者才能发给。符牌由朝廷颁发。军官升迁或去职后，符牌必须交回。除符牌外，各级军官还有印章。
元朝在全国各地设置了完善的驿站(蒙古语称站赤)。驿站以大都为中心，遍布全国各地。据元代官修的《经世大典》记载，除岭北和吐蕃的驿站外，全国有驿站1400多处。管理驿站的官员是提领、副使及百户，在站中服役的称站户。站户也是单列户籍，与民户分治，世代相传，父子相继。全国有站户近30万，与军户数相当。由此可见元朝对军事通讯的重视。
根据地区和交通工具的不同，驿站分马站、车站、船站、牛站等，边远地区有的还设狗站和骆驼站。一般来说，陆路以马站为主，水路以船站为主。各站都备有交通工具和粮食、肉食，供往来信使使用。此外，还设有急递铺，专门传递紧急文书。
元朝发达完备的驿站，保证了朝廷军令、政令的及时传递。但由于站役繁重，站户负担过重，引起站户逃亡，加剧了社会矛盾，这也是导致元末农民起义的原因之一。