东晋恭帝元熙二年(公元420年)，刘裕废晋自立，建立宋，史称刘宋(公元420—479年)。宋的后期，政治腐败，部将萧道成趁机取而代之，建国号齐，史称萧齐或南齐(公元479—502年)。萧衍灭齐建立南梁(公元502—557年)。南梁又被陈霸先取代，陈霸先建国号陈，史称南陈(公元557—589年)，最后被隋所灭。宋、齐、梁、陈时期，史称南朝。
刘宋兵制承袭东晋制度，但也有不少变化。
刘宋建国之初，刘裕亲掌兵权。在中央任用寒门出身的人为中书舍人，使之参与机要。另外还设领军将军掌内军，护军将军掌外军。内外军是以刘裕原来统率的北府兵为基础组建的，也称台军。内军担任皇帝的宿卫，外军警卫京师并随时准备出征。内外军相当于魏晋的中军。
刘宋在京城以外的各战略要地驻有守军，由都督率领。刘裕鉴于东晋时荆、扬、徐等军事重镇的兵权未能为中央直接掌握，以致朝廷始终为这些重镇的统帅所左右，遂又走西晋的老路，以宗室诸王坐镇荆、扬等州为都督或刺史，不少都督都是十二三岁的皇子。这些皇子不能处理政务，皇帝只好派出亲信人员出任典签。典签有权监督都督、刺史的行为，成为各军镇的实际主帅。等到这些皇子长大后，都督和典签的矛盾开始尖锐起来。因为都督和刺史(出镇诸王)握有重兵，于是先后叛乱。宗室子弟之间为争夺皇位互相残杀。公元453年，宋文帝刘义隆为其长子所杀。从此，宗室内部的战争连年不断，20多年间换了六个皇帝，刘宋的统治被严重削弱，最后终于被萧齐所取代。
刘宋的军队编制，以军为最高建制单位。军的主将称军主，副将称军副，一军大约2000人。军以下是幢，幢的长官是幢主。军的基层单位是队，队的长官是队主和队副，每队大约200人。
刘宋的兵役制度除仍沿用世兵制外，还兼行征兵和募兵，募兵是刘宋最主要的集兵方式。宋王朝的台军就是以募兵为主组建起来的。台军设有专门的募兵机构——台坊，处理经常性的募兵事务。驻外地各镇将也广募义勇，置为部曲，扩大自己的实力。到宋明帝时，连守卫京师的各将军，不论是否有统兵之职，也都各自募兵，兵役制度日趋混乱。
南齐兵制沿袭刘宋旧制，小有改革，但总的来说比较混乱。
南齐建国之初，鉴于刘宋末年将帅自募部曲，屯聚京师，对新建的南齐政权是个威胁，萧道成于是接受中领军李安民的建议，下令各将帅不得募兵，但中央的募兵仍然照常进行。然而，各外镇都督自开军府，大权在握，根本没有执行这一削弱自己实力的诏令。事实证明，战事一起，各将帅又都自行募兵。募兵不能满足需要，就强行征兵，以致征募并行，给人民带来深重的灾难。
南齐原想接受晋宋王室骨肉相残的教训，解除诸王兵权，但当时仍是世家大族占统治地位，皇室主要依靠掌握强大的军队占据最高地位，一旦兵权旁落到异姓手中，帝位就难保了。所以南齐统治者十分矛盾，尽管知道诸王各掌兵权会导致内乱，但仍不得不以诸王为都督掌兵权。只是通过加强典签制度来加强对都督的控制和监督。所以，南齐的典签权力较刘宋时更大，因此，典签又称为签帅或主帅。但是，这种作法，并没有解决诸王之间和中央与地方之间的矛盾，相反却激起了诸王对签帅和皇帝的怨恨。豫州刺史萧晃一气之下杀掉典签，荆州刺史萧子响则不仅怒杀典签而且起兵造反。
南齐统治者不但对在外诸王、都督不放心，而且对中军主帅也存有戒心。萧道成和刘裕一样，任用寒门出身的中书舍人掌机要，用侍从武官控制部队，使领军将军和护军将军形同虚设。这种作法造成了指挥系统的紊乱，也加深了统治集团内部的矛盾。护军将军崔慧景就是因为兵权旁落而心怀不满，拥立江夏王萧宝玄叛乱的。萧齐政权最后在这种内部混乱中灭亡。
南齐末年，雍州刺史萧衍以其兄萧懿为东昏侯萧宝玄所杀为由，进攻建康，代齐自立，建立南梁，是为梁武帝。
梁的兵制主要是沿用宋、齐旧制，以寒门出身的人典掌机要，以宗室诸王掌握兵权(梁时典签权力已轻)，但也有一些变化。
变化之一是实行新的职官制度，扩大官僚编制，广泛安插世族子弟为官为将，以调和统治阶级内部的矛盾。这样做的结果是造成了职官制度的混乱，加剧了社会矛盾。
变化之二是士兵的身份更加低贱，军队战斗力继续下降。梁的常备军基本上仍以世兵为主，但世兵为反抗统治，大量逃亡。梁用严刑峻法，也无法制止这种逃亡势头。梁规定士兵一人逃亡，一家补兵；一家逃亡，亲戚邻里补兵。人民为了逃避兵役，有的投附豪门为荫户，有的投附寺院为僧尼，有的甚至自残身体或生子不养。梁武帝末年竟发展到“发召士兵，皆须锁械，不尔便即逃散”(《魏书·岛夷萧衍传》)的地步，这样用强力组织起来的部队自然不会有什么战斗力，所以梁对北魏的多次用兵，均以失败告终。公元549年，侯景叛乱，吴郡太守虽有精兵5000，却不作抵抗，开城投降；会稽郡兵多粮足，而东扬州刺史萧大连竟弃城而逃。这些都说明了梁军士气的低落和战斗力的衰弱。侯景攻破建康，梁武帝被困台城，最后老饿而死，也就不难理解了。
侯景叛乱被平定后，陈霸先掌握了梁的实权，并于太平二年(公元557年)十月自立为帝，建立陈朝。
陈的兵制完全因袭梁朝，世兵制更趋没落，中央军队都来自募兵。地方豪强拥有大量私家部曲，这些部曲军往往用于国家征战，是陈的主要依靠力量。陈后主时，下令原来不交税的军人和百姓一样交税，士兵地位更加低贱，军队战斗力也更加薄弱。陈后主又用狎〔xia侠〕客文人代替武将掌兵权，自己则日夜与宠妃张丽华、宠臣江总等游宴后宫，哼唱《玉树后庭花》。最后，隋军兵临城下，陈军不堪一击，全军覆没，陈后主这个亡国之君和他的众多嫔妃都成了隋军的俘虏。
南朝的后勤保障，除来自编户农民交纳的赋税外，军屯与州郡公田的收入也是重要的来源。
南朝的军屯主要分布在边境地区，由统兵将领组织经营。如刘裕曾派毛修之修复淮南芍陂〔bei碑〕，屯田数千顷。宋文帝在位期间，刘义欣遣参军殷肃率领兵士垦出芍陂良田万顷之多。镇守襄阳的张邵，也开田数千顷。但总的来说，南朝统治者对屯田并未充分重视，屯田规模不大，分布地区有限。南朝军事力量不甚强大的一个重要原因就是缺乏可靠的后勤保障。
屯田之外，各州郡还盛行役使武吏课种公田的制度。武吏同军户一样，终身为吏，世代相袭，平时主要为政府提供劳役，耕种公田，战时也要当兵。武吏耕种州郡公田，交纳课米，也是南朝积蓄军资的一个途径。据《宋书·良吏·徐豁传》记载：“武吏年满十六，便课米六十斛。十五以下至十三，皆课米三十斛。一户内随丁多少，悉皆输米。”可见这一制度已很完备，规定得也十分明确，便于各地照此执行。