禅宗传入日本的时间一般认为是在奈良时代。当时，一个名叫道璇的和尚，传入了中国的北禅宗。也就是以神秀为代表的主张渐悟的一派禅宗。后来，在嵯峨天皇弘仁年间（810—823年），唐朝和尚义空东渡日本，日本的檀林皇后修建了檀林寺供他们居住，大力倡导禅宗。这就是日本提倡禅宗的开始。
然而在当时，社会上皈依禅宗的人还很少，所以不久以后，义空回到了唐朝。直到十二、十三世纪之交的镰仓时代，日本和尚荣西将中国南禅的临济宗传入日本，弘扬其中的坐禅、顿悟原理，发展“兴禅护国”学说，才算是开创了日本禅宗。
禅宗之所以能在镰仓时代开始兴起，是因为它将佛教修行融入了具体的日常生活之中。搬运柴草是修行，挑水做饭同样是修行。禅宗不立文字，以心传心，见性成佛，这些简便易行的方法，很快就赢得大众的接受。
而且，镰仓时代以及其后的南北朝室町时期，日本连年战乱，社会动荡不安。在这样混乱的时局中，其他教派由于空谈义理而大都衰败下去。人们也就越来越关注自身的精神世界，而禅宗那种不假外求，以明心性的主张，正好符合当时人们的精神需要，所以才会流行于日本社会。
禅宗兴盛的另外一个不可忽视的原因是，禅宗成为了武士们的宗教。日本镰仓时代有过这样一句谚语：“天台属于官家，真言属于公卿，禅宗属于武士，净土属于平民。”
在镰仓时代，武士是一个新兴的阶层。由于没有公家贵族的权势作背景，武士们想要往上爬，就必须依靠自己的奋斗。而禅宗提倡“自成佛道”的自我修炼方法，就正好激励了武士去自我拼搏。
武士们整天在刀尖上讨生活，随时都有可能面对死亡。对于武士而言，最为重要的念头，也是日日夜夜都必须考虑到的，就是“死”。而禅宗所主张的从顿悟之中解脱于生死的羁绊，也十分迎合武士的心情。
此外，武士由于其所处的地位，必须具备铁的意志和自我表现克制的能力，不能为物欲、爱欲等因素所左右，所以就得依靠刻苦严肃的生活来磨练自己。而禅僧清苦的生活方式对于武士建立刻苦、严格的生活秩序，从而磨练自己的武德，也能够起到很大的作用。
禅宗的无心之境，是直觉顿悟、超越分别思量的状态。日本武士高夫野义在《禅与剑术》中描绘了到达“剑我如一”境界时的剑道：“当此同一境性一旦到达之时，身为剑手的我，也就没有面对我并威胁要剌杀我的对手可见了，而他所具有的每一个念头，也就像我自己的动作和念头一样被我感到了，而我也就直觉地，甚或不知不觉地知道何时以及如何去刺他了。所有这一切，似乎均皆自然而然，毫不勉强。”
所以，武士对禅宗的修行方式十分重视，禅宗的高僧也往往得到将军和武士的尊敬与爱戴。