Đã có một số bất đồng về cách thức chữ Hán du nhập vào Nhật Bản, nhưng ý kiến được chấp nhận rộng rãi nhất là các nhà sư đã mang các văn bản chữ Hán vào Nhật vào khoảng thế kỉ thứ 5. Các văn bản này được viết bằng chữ Hán vào và lúc đầu cũng được đọc bằng âm Hán. Tuy nhiên qua thời gian, hệ thống Hán văn (漢文, kanbun) xuất hiện – nó dùng văn bản chữ Hán với dấu thanh cho phép người Nhật đọc nó theo quy tắc ngữ pháp tiếng Nhật.
.jpg)
Lúc bấy giờ tiếng Nhật chưa có dạng chữ viết. Ngay cả hệ thống chữ viết man"yōgana (万葉仮名, vạn diệp giả danh, được dùng trong tuyển tập thơ cổ Man"yōshū) cũng dùng bộ chữ Hán với số kí tự hạn chế nhằm ký âm, chứ không nhằm diễn đạt ngữ nghĩa. Man"yōgana viết ở dạng đường cong trở thành hiragana (ひらがな, 平仮名, bình giả danh), một hệ thống chữ viết dành cho phụ nữ (không được phép tham gia vào nền giáo dục cao). Hầu hết văn chương của phụ nữ vào thời đại Heian được viết bằng hiragana. Song song đó, katakana (カタカナ, 片仮名, phiến giả danh) xuất hiện do được các tu sinh giản lược manyogana thành một thành tố đơn. Hiragana và katakana được gọi chung là kana.
Khi hệ thống chữ viết tiếng Nhật trưởng thành và mở rộng, kanji được dùng để viết một số phần trong câu, như danh từ, tính từ và động từ, còn hiragana được dùng để viết đuôi của động từ (okurigana), từ chỉ có ở tiếng Nhật và từ khó đọc hay nhớ bằng Kanji. Hiragana cũng được dùng trong sách dùng cho trẻ em và khi muốn giảm nhẹ mức độ của từ hoặc lời yêu cầu, thí dụ như từ kudasai (ください, xin vui lòng) và kodomo (子供, trẻ em). Ngược lại, vì có hình dạng góc cạnh, katakana được dùng để biểu thị từ tượng thanh, các âm thô và đột ngột, âm thanh của động vật và từ vay mượn của nước ngoài. Tuy nhiên cần lưu ý rằng việc dùng katakana để viết từ vay mượn chỉ xuất hiện sau này. Lúc đầu, các từ này được viết bằng kanji, dựa theo nghĩa (煙草 tabako, thuốc lá) hay theo phát âm (tempura 天婦羅 hay 天麩羅, tên một món ăn). Ngày nay thì ngược lại. Từ vay mượn, đặc biệt là gốc tiếng Anh, đang nhanh chóng thay thế cả những từ thường dùng có sẵn dạng tương đương trong tiếng Nhật thay vì được dùng để lấp khoảng trống từ vựng. Một giáo sư ngôn ngữ học ước tính đến 1/3 tiếng Nhật văn nói dùng từ vay mượn hay wasei-eigo, từ tiếng Anh được phát minh bởi người Nhật và từ kết hợp như パソコン pasokon (personal computer, máy tính cá nhân)
Hiện nay, tổng số chữ Hán trong tiếng Nhật đang là con số đang bị tranh cãi. Đại Hán họa Từ điển – từ điển chữ Hán được Haruo Shirane đánh giá là cực kỳ đáng tin cậy – có chứa khoảng 5 vạn chữ Hán và được cho là khá đầy đủ. Tuy nhiên những từ điển tiếng Trung gần đây có đến trên 8 vạn chữ Hán, nhiều ký tự bao gồm cả những biến thể rất ít biết đến. Hầu hết số đó đều không phổ biến ở cả Nhật Bản và Trung Quốc.
Chính phủ Nhật Bản đưa ra các kỳ thi "kiểm định thí nghiệm" (Kanji kentei), viết tắt của 日本漢字能力検定試験 (Nihon kanji nōryoku kentei shiken Nhật Bản hán tự năng lực kiểm định thí nghiệm, có nghĩa là "Kiểm tra năng lực nắm bắt chữ Hán trong tiếng Nhật") để kiếm tra khả năng đọc và viết chữ Hán. Cấp độ cao nhất của kỳ thi này kiểm tra trong phạm vi khoảng 6.000 chữ Hán
