最迟到东汉初年，日本已与中国建立了友好关系，随着两国交往加深，汉字作为中国文化的一部分传入了日本。在汉字传入日本时，日本已有了自己的语言，但没有自己的文字，在与中国的交往中，日本人深深地被中国文化所吸引，于是试图在自己的语言中引入汉字，以便于文化的吸收和交流。
作为两种不同的语言，古日语和汉语的读音大相径庭，它们的音节极为不同，为使汉字音节能为日本人接受，日本人用日语音节改造汉语音节，实现了汉字读音的日语化。但是有许多汉字不容易被日语音节转化，这种情况下日本人只好通过对汉语读音的模仿创出一些新的读音。在这里，汉语方言对模仿有很大影响，所以，在日本人模仿的汉语“音读”中，就分出了“吴音”、“汉音”和“唐音”等不同形式。“吴音”与晋朝时汉字主要由江浙一带传入日本有关，带有吴地的特有软语发音。“汉音”则主要受华北和西安一带语音影响，由于传入多在隋唐时期，而那时中日交往最为广泛，所以至今“汉音”是日本语言的主要读音。宋元及其后，汉字传入日本并被模仿的语音称为“唐音”，也有较大影响。
日本人还用日语解释汉字的意义，学名叫“训读”。在训读时，日本人往往用几个音节解释汉语的一个音节，这就出现了日文中常见的一字多读现象。
上面所说的都是日本人在语音方面对汉语的吸收，其实不仅仅如此，日本人早就在琢磨怎样用汉字来书写日语，这种摸索的最终结果就是假名文字的出现。
假名，顾名思义是借用之意，就是借用汉字作为音符，来书写日语的形式。假名吸收了中国书画艺术的分类，分为两种：一种是用简化楷书的部首表示日语音节，一种是用简化草书的部首表示日语音节，前者称为片假名，后者称为平假名。
大约到公元13到14世纪，假名成为日本的成熟文字，为人们广泛使用，但知识分子则多用文言文写诗作赋，文言文仍被看作高贵的象征。