讨论犬牙相入原则必须先从一个故事说起。刘邦的儿子代王刘恒(即后来的汉文帝)，在周勃等大臣的帮助下，肃清了吕后的党羽，登上了皇帝的宝座以后，给割据岭南的南越国主赵佗寄去一封信，建议汉与南越罢兵休战，和平相处。信末并附了这么一段话：“朕欲定犬牙相入者，以问吏，吏曰：‘高皇帝所以介长沙土地’，朕不得擅变焉。”
由汉文帝的信中我们可以推论，赵佗起先一定给汉廷发去一封信，表示调整划一边界的愿望，但汉文帝不肯答应。那么犬牙相入到底是什么意思，汉文帝又为什么不愿把边界划得整齐一些，而要坚持犬牙相入的状态呢？
我们很幸运，在2000年后的今天，竟然还能看到这条有名的边界的原貌。1977年，湖南长沙马王堆汉墓发掘出极为珍贵的西汉时期的帛地图。这幅地图上南下北，与今天地图方向相反。图幅的主要部分是当时长沙国南部的地形及县、里(各以方框和圆圈表示)的分布。在图的最上方又画出南海及注入其中的珠江水系。珠江流域是南越国的范围，图上只作简略表示，除封中两字外，未标出任何地名。在南越国与长沙国之间，有一条横亘东西的山脉，这就是南岭，当时是两国之间的界山。
我们进一步发现，在图的左上角，有一个桂阳县(今广东连县)，位于南岭以南、湟水(今北江支流连江)之源。这个县虽在南岭以南，但却不属南越国，而属南岭以北的长沙国，可见南越与长沙之间又不全是以南岭为界。文帝复赵佗信中所谓的犬牙相入，指的正是两国边界与南岭山脉走向不相重合的这一现象。这种形势使赵佗时刻感到自己北部边界的不稳固，所以亟想将边界调整到与南岭重合，以便能凭山为险，保持割据局面的安定。而这也正是汉文帝不肯答应的原因，因为在他那方面，是时刻不忘要统一岭南的，尽管当时力量有所不足，但威慑的形势却是要保持的。
汉文帝申述边界不能改变的理由是：“高皇帝所以介长沙土也。”其实这只是一个托词：西汉长沙国与南越国之间的边界是沿袭秦长沙郡和南海郡的边界而来。因为秦亡之时，赵佗以南海尉击并桂林、象郡，自立为南越武王，领三郡之地。当时刘邦与项羽正逐鹿中原，无暇顾及岭南，这条边界就维持了下来。汉初以长沙郡置诸侯王国，也无力收复南越地，名义上封赵佗为外诸侯，实际上以敌国相处。汉文帝当然不便提及此边界是前朝遗制，只能借口说是刘邦所定。
由此可见，以秦始皇的远见卓识，为维护高度中央集权制，已开始采用犬牙相入原则，以严密控制地方。这一措施在当时是十分必要的，因为岭南地区离统治中心过于遥远，又是花了很大力气才最后征服的领土，尽管已派了大批戍卒前去守卫，但若不用犬牙相入的手段，一旦有事，该地还是很容易脱离王朝版图的，后来的事实证明当时的预见是正确的。秦代设计的犬牙相入方案，不但使长沙郡的桂阳县深入岭南，还使象郡的镡城县越过岭北。这一状态，使后来汉武帝的军队得以在短的时间内，就一举击败南越国的抵抗，将岭南地区统一到汉王朝中。
秦代划分郡界的基本原则是山川形便，又在局部地区辅以犬牙相入的原则。但后一条原则的实行只是使郡界和山川的走向不完全吻合而已，并非与之完全背离，如后来的元明两代那样。秦代的岭南地区仍然保持其自然区域的大致的完整性。
犬牙相入的原则不但应用在山地，到汉代也应用到平原地带；不但用于郡与郡之间，也用于王国与王国之间，其目的则是为了使各王国互相牵制，共同维护汉王室的稳固。《史记·孝文帝纪》载：“高帝封王子弟，地犬牙相制，此所谓磐石之宗也。”司马贞《史记索隐》解释说：“言封子弟境土交接，若犬牙不正相当而相衔入也。”“犬牙相制”在《汉书》中作“犬牙相错”，意思一样。这一策略在吴楚七国叛乱时也起了作用，使中央政府得以迅速平息叛乱。
秦汉时期萌发的犬牙相入原则为历代所沿用。即使隋唐大部州郡都遵从山川形便原则的情况下，犬牙相入的措施也并未完全丢弃。如以出琼花而名闻天下的扬州，隋炀帝时改为江都郡，该郡就地跨长江南北；又如以今江西抚州为中心的临川郡境也踞武夷山之东西；唐代的陕州(治今河南三门峡市)也地跨黄河两岸。唐初的道严格以山川划界，但中期有所调整，如河东道就领有黄河以南的虢州(今河南西北角)。但这样的例子不多，隋和唐前期的州、郡、道一般都是不跨越重要山川的两侧的。
安史之乱以后，唐朝政府在各地遍设方镇，“要冲大郡，皆有节度之额”。这时朝廷开始考虑以犬牙相入的原则以控制方镇。如濠州在唐前期属淮南道，唐德宗时割属以淮北徐州为中心的徐泗濠节度使。这件事在20多年后受到唐宪宗的宰相李吉甫的严厉批评，认为这是当时宰相窦参“不学无术，昧于疆理”的缘故，这个批评毫无道理。因为濠州(今凤阳)与寿阳(今寿春)阻淮带山，本为淮南之险，若淮南节度使凭险抗上，朝廷将无能为力。因此中央政府有意破淮南之险，又加强徐州保护漕运的能力，因此将淮南北的徐、泗、濠三州交给当时忠于朝廷的张建封。何况当时淮西节度使李希烈骄横跋扈，并与淮南节度使相勾结，这一防备措施是完全正确的。李吉甫的批评是因为后来张建封之子倾向割据，并且以徐州为根据地几乎吞并江淮一事而引起的。但这是此一时彼一时的事情，有一利也必有一弊，不可以后事之非来否定前事之是。
但是毕竟唐代后期犬牙相入的方镇为数也并不多，另一显著之例是昭义军节度使辖有太行山东西之地。多数方镇还是与山川形势大体一致的。因此从秦到唐，犬牙相入的原则还一直处于从属的地位。当然也有所发展，秦代的出入只在个别的县，唐后期已扩大到州。宋代以后，犬牙相入原则使用得更为普遍。
宋代跨越重要山川的州府比唐代要多。如河南府领黄河以北的河清县，黄河以北的孟州又领有黄河以南的河阴、汜水两县，使孟州的领域形成奇怪的扭曲状。又如泗州跨淮水南北之例，也为唐代所无。
宋代的路也比唐代的道更偏离山川形便的原则。唐后期武宁军节度使(即徐泗濠节度之后身)虽辖有淮南北之地，但其所领四州，仅有一州在淮南。北宋淮南东路虽以淮南为名，却有半路在淮水之北。而且该路与其北面的京东东路边界还形成犬牙相入的曲折状。两汉的豫章郡与唐后期的江南西道和今天江西省几乎相等，是一个比较完整的地理单元，在宋代则把它一分为二，东北部归江南东路，其余部分与今湖北东南角组成江南西路。又北宋的河东路缺西南一角，却又在西北方面越过黄河，有河西之地。永兴军路以今陕西为主体，但却有河东一隅与豫西一角之地，而且更重要的是该路已越过秦岭，领有商州。虽然商州很小，而且不全在秦岭以南，但这是历史上秦岭南北首次被同一个政区所跨越。荆湖北路也很特别，其西南部分顺着沅水流域上溯直至与广南西路交界。
凡此种种都说明犬牙相入的原则正在起质的变化。在秦代，这一原则只不过使郡界与山川走向不完全一致，其出入不过一二县，二三县之地，到宋代其出入已达两三州、三四州的程度。到金与南宋对峙时期，情况又有进一步发展，如金代的京东西路的部分领域形成一条狭窄的走廊伸入京东东路与河北东路之间。南宋路的分划虽然沿袭北宋未有大变，但改变的想法已在酝酿之中。总之，宋金两代出于加强中央集权的需要，已发展了犬牙相入的原则，但最根本的变化还是产生在蒙元帝国建立之后。