汉字传入于日本的历史，至少可以追溯至公元前1世纪(弥生时代中期后半)。考古学家在当时的墓葬中发掘出西汉时制造的直径为7.4厘米的连弧文镜，上有铭文"久不相见，长毋相忘";同时还发现了王莽新政时传入的"货泉"、"货布"等刻有汉字的货币。当时的日本并没有自己的文字，《隋书》中记载倭国"无文字，唯刻木结绳。敬佛法，于百济求得佛经，始有文字。"日方的史料也确认了这一观点。汉字是随佛教经朝鲜半岛正式传入日本的。虽然具体传入的年代如今已不可考，但是历史学家普遍认为汉籍最早在五世纪初流入日本。
应神十五年(404年)百济国(朝鲜半岛一国家)派阿直岐赴倭教太子菟道稚郎子汉文，王仁来日本，成为太子师傅。这说明当时社会上层已注重汉字、汉文的学习。
汉字于公元5世纪随着一些佛教僧侣将中国的经书带到日本而大量传入。这些经书的汉字当初是模仿中国僧侣的发音来读的，不过一套称为"汉文"的书写系统开始得以发展。汉文主要是中文文章插入日语独有的助词，让日语使用者可以依从日语的语法去阅读汉字写成的文章。
后来发展出一套源自《万叶集》、称为万叶假名的表音系统，万叶假名使用的是一套指定的汉字，纯粹假借它们的发音来表记日文诗歌。以草书书写的万叶假名后来演变成今日的平假名。当时不被允许接受高等教育的女性也能使用这套平假名来书写日文。平安时代大部分的女性文学都是以平假名来书写的。片假名也是从差不多的方式发展的:寺庙里面的学生把汉字的其中一部分分拆出来成为片假名，用来标注汉字的发音，还有汉文里的日语助词。
随着日文书写系统得以成熟和发展，如今汉字用于大部分名词、形容词和动词，而平假名则用来书写动词词尾(送假名)、纯日语词汇、或者表记汉字难写的词汇。平假名也用于标记日文汉字的读音(振假名)、和书写给汉字水平不够的人为对象的读物，如小孩、日语学习者的书籍。
片假名则由于它的方形结构，用于象声词和外来语。片假名用来书写外来语的习惯来的比较晚，外来语原先是用汉字书写表意的，如"烟草"代表"tabako"。
发音大部分日文汉字一般都会有两种读法，一种叫做"音读"(音読み/おんよみ)，另一种叫做"训读"(训読み/くんよみ)。"音读"模仿汉字的读音，按照这个汉字从中国传入日本的时候的读音来发音。"训读"是按照日本固有的语言来读这个汉字时的读法。
写法日文汉字的写法大部分与中文汉字相同，但是也有字形相异的汉字写法不同，书写时得多加注意。特别是日语中简化的汉字。比如日语中的"角""泽"。"天"在日语中是上一横长，下一横短，等等。
