Dokumen tertua mengenai sejarah Jepang adalah kumpulan naskah sejarah Cina Sejarah Dua Puluh Empat Dinasti asal abad ke-1 Masehi. 

Namun bukti-bukti menunjukkan kepulauan Jepang sudah dihuni manusia sejak zaman Paleolitik Atas Setelah zaman es terakhir sekitar 12.000 SM, ekosistem Kepulauan Jepang yang kaya memungkinkan manusia untuk hidup. Barang-barang tembikar tertua berasal dari zaman Jomon.

Zaman Paleolitik Jepang berlangsung dari sekitar 100.000 hingga 30.000 SM, dimulai dari penggunaan perkakas batu dan berakhir sekitar 12.000 SM pada akhir zaman es terakhir yang sekaligus awal dari periode Mesolitik zaman Jōmon. Bukti-bukti penggalian arkeologi menunjukkan kepulauan Jepang sudah dihuni orang sejak 35.000 SM. Kepulauan Jepang terpisah dari daratan Asia setelah zaman es terakhir sekitar 11.000 SM. Setelah terungkapnya pengelabuan zaman Paleolitik Jepang oleh peneliti amatir Shinichi Fujimura, bukti-bukti asal zaman Paleolitik Bawah dan zaman Paleolitik Tengah yang diklaim oleh Fujimura dan rekan-rekan telah diteliti ulang dan ditolak.

Zaman Jomon berlangsung dari sekitar 14.000 SM hingga 300 SM. Tanda-tanda pertama peradaban dan pola hidup stabil manusia muncul sekitar 14.000 SM dengan adanya kebudayaan Jōmon yang bercirikan bercirikan gaya hidup pemburu-pengumpul semi-sedenter Mesolitik hingga Neolitik. Mereka tinggal di rumah-rumah yang dibangun di atas tanah yang digali dan di atasnya didirikan rumah beratap dari kayu. Orang zaman Jōmon sudah mengenal bentuk awal dari pertanian, namun belum mengenal cara menenun kain dan pakaian dibuat dari bulu binatang. Orang zaman Jōmon mulai membuat bejana tanah liat yang dihias dengan pola-pola yang dicetakkan ke atas permukaan bejana sewaktu masih basah dengan menggunakan tongkat kayu atau tali atau simpul tali. Walaupun hasil penelitian menimbulkan keragu-raguan, menurut tes penanggalan radiokarbon, beberapa contoh tembikar tertua di dunia berasal dari Jepang, disertai pisau belati, giok, sisir dari kulit kerang, dan barang-barang keperluan rumah tangga lainnya berasal dari abad ke-11 SM. 

Boneka tanah liat yang disebut dogū juga ditemukan dari situs ekskavasi. Barang-barang rumah tangga menunjukkan kemungkinan ada rute perdagangan yang jauhnya sampai ke Okinawa. Analisis DNA menunjukkan bahwa penduduk asli Hokkaido dan bagian utara Pulau Honshu yang disebut suku Ainu adalah keturunan orang zaman Jōmon dan merupakan keturunan dari manusia pertama penghuni Jepang.

Zaman Yayoi berlangsung dari sekitar 400 SM atau 300 SM hingga 250 Masehi. Dari situs arkeologi kota Yayoi, distrik Bunkyō, Tokyo ditemukan artefak asal zaman yang kemudian disebut zaman Yayoi.

Pada awal zaman Yayoi, orang Yayoi sudah mulai dapat menenun, bertanam padi, mengenal perdukunan serta pembuatan perkakas dari besi dan perunggu yang dipelajari dari Korea atau Cina. Sejumlah studi paleoetnobotani menunjukkan teknik menanam padi di sawah dan irigasi sudah dikenal sejak sekitar 8000 SM di Delta Sungai Yangtze dan menyebar ke Jepang sekitar 1000 SM.

Dokumen tertulis yang pertama kali menyebut Jepang adalah Buku Han Akhir asal 57 Masehi. Buku tersebut mengisahkan, "Di seberang lautan dari Distrik Lelang tinggal orang-orang Wa. Mereka ada lebih dari dari 100 suku, mereka sering datang dan membayar upeti." Catatan Sejarah Tiga Negara dari abad ke-3 mencantumkan negara yang terbentuk dari kumpulan 30 suku-suku kecil yang diperintah oleh dukun wanita bernama Himiko dari Yamataikoku.

Semasa Dinasti Han dan Dinasti Wei, pengelana Cina tiba di Kyushu dan mencatat tentang para penduduk yang tinggal di sana. Menurut para pengelana Cina, mereka adalah keturunan dari Paman Agung (Tàibó) dari negara Wu. Penduduk di sana juga menunjukkan ciri-ciri orang Wu pra-Cina yang mengenal tato, tradisi mencabut gigi, dan menggendong bayi. Buku Sanguo Zhi mencatat ciri-ciri fisik yang mirip dengan ciri-ciri fisik orang yang digambarkan dalam boneka haniwa. Laki-laki berambut panjang yang dikepang, tubuh dihiasi tato, dan perempuan mengenakan pakaian terusan berukuran besar.

Situs Yoshinogari adalah situs arkeologi terbesar untuk peninggalan orang zaman Yayoi yang mengungkap adanya permukiman di Kyushu yang sudah didiami orang secara terus menerus selama ratusan tahun. Hasil ekskavasi menunjukkan artefak tertua berasal dari sekitar 400 SM. Di antara artefak yang ditemukan terdapat perkakas besi dan perunggu, termasuk perkakas dari Korea dan Cina. Dari barang-barang peninggalan diperkirakan orang zaman Yayoi sudah sering melakukan kontak dan berdagang dengan orang dari Daratan Cina.

Zaman Kofun dimulai sekitar 250 M. Nama zaman ini berasal dari tradisi orang zaman itu untuk membuat gundukan makam (tumulus) yang disebut kofun. Pada zaman ini sudah terdapat negara-negara militer yang kuat dengan klan-klan berpengaruh sebagai penguasa. Salah satu di antaranya terdapat negara Yamato yang dominan, dan berpusat di Provinsi Yamato dan Provinsi Kawachi. Negara Yamato berlangsung dari abad ke-3 hingga abad ke-7, dan merupakan asal garis keturunan kekaisaran Jepang. Negara Yamato yang berkuasa atas klan-klan lain dan memperoleh lahan-lahan pertanian mempertahankan pengaruh yang kuat di Jepang bagian barat. Jepang mulai mengirimkan utusan ke Kekaisaran Cina pada abad ke-5. Dalam dokumen sejarah Cina ditulis tentang negara Wa yang memiliki lima raja. Sistem pemerintahan di Wa meniru model Cina yang menerapkan sistem administrasi terpusat. Sistem kekaisaran juga mengambil model dari Cina, dan masyarakat dibagi menjadi strata berdasarkan profesi.

Hubungan yang erat antara Jepang dengan Tiga Kerajaan Korea dimulai pertengahan zaman Kofun, sekitar akhir abad ke-4.

Pada zaman Asuka (538-710), negara Jepang purba Yamato secara bertahap menjadi negara yang tersentralisasi. Negara Jepang purba sudah memiliki undang-undang seperti dinyatakan dalam Undang-Undang Taihō dan butir-butir Reformasi Taika. Masuknya agama Buddha di Jepang mengakibatkan orang tidak lagi membuat makam berbentuk kofun.

Agama Buddha masuk ke Jepang sekitar tahun 538 melalui Baekje yang mendapat dukungan militer dari Jepang. Penyebaran agama Buddha di Jepang dilakukan oleh kalangan penguasa. Pangeran Shōtoku mendedikasikan dirinya dalam penyebaran Buddhisme dan kebudayaan Cina di Jepang. Ia berjasa menyusun Konstitusi 17 Pasal yang membawa perdamaian di Jepang. Konstitusi yang disusunnya dipengaruhi oleh pemikiran Konfusianisme tentang berbagai moral dan kebajikan yang diharapkan masyarakat dari pejabat pemerintah dan abdi kaisar.

Dalam sepucuk surat yang disampaikan duta Kekaisaran Jepang ke Kekaisaran Cina pada tahun 607 ditulis kata-kata, "Kaisar negeri matahari terbit (Jepang) mengirimkan surat kepada kaisar di negeri matahari terbenam (Cina)". Surat tersebut menyebabkan kemarahan kaisar Cina.

Dimulai dengan Perintah Reformasi Taika tahun 645, Jepang semakin giat mengadopsi praktik-praktik budaya Cina, melakukan reorganisasi pemerintahan, serta menyusun undang-undang pidana (Ritsuryō) dengan mengikuti struktur administrasi Cina pada waktu itu. Istilah Nihon (日本?) juga mulai dipakai sebagai nama negara sejak zaman Asuka.

Zaman Nara pada abad ke-8 ditandai oleh negara Jepang yang kuat. Pada tahun 710, Kaisar Gemmei mengeluarkan perintah kekaisaran yang memindahkan ibu kota ke Heijō-kyō yang sekarang bernama Nara. Heijō-kyō dibangun dengan mencontoh ibu kota Dinasti Tang di Chang'an (sekarang disebut Xi'an).

Sepanjang zaman Nara, perkembangan politik sangat terbatas. Anggota keluarga kekaisaran berebut kekuasaan dengan biksu dan bangsawan, termasuk dengan klan Fujiwara. Hubungan luar negeri berlangsung dengan Silla dan hubungan formal dengan Dinasti Tang. Pada 784, ibu kota dipindahkan ke Nagaoka-kyō untuk menjauhkan istana dari pengaruh para biksu, sebelum akhirnya dipindahkan ke Heian-kyō (Kyoto).

Penulisan sejarah Jepang berpuncak pada awal abad ke-8 dengan selesainya penyusunan kronik Kojiki (712) dan Nihon Shoki (720). Dalam kedua buku sejarah tersebut dikisahkan sejarah Jepang mulai dari awal sejak zaman mitologi Jepang. Di dalamnya ditulis tentang pendirian Jepang pada tahun 660 SM oleh Kaisar Jimmu yang keturunan langsung dari Amaterasu. Menurut kedua kronik tersebut Kaisar Jimmu merupakan leluhur dari garis keturunan kaisar yang sekarang. Kaisar Jimmu sering dianggap sebagai kaisar mitos karena kaisar pertama berdasarkan bukti-bukti sejarah adalah Kaisar Ōjin yang tahun-tahun masa pemerintahannya tidak diketahui dengan jelas. Sejak zaman Nara, kekuasaan politik tidak selalu berada di tangan kaisar, melainkan di tangan bangsawan istana, shogun, militer, dan sekarang di tangan perdana menteri.

Periode akhir sejarah klasik Jepang berlangsung dari 794 hingga 1185 yang disebut zaman Heian. Puncak kejayaan istana kekaisaran di bidang puisi dan sastra terjadi pada zaman Heian. Pada awal abad ke-11, Murasaki Shikibu menulis novel Hikayat Genji yang hingga kini merupakan salah satu dari novel tertua di dunia. Pada zaman Heian selesai disusun naskah tertua koleksi puisi Jepang, Man'yōshū dan Kokin Wakashū.

Pada zaman Heian berkembang berbagai macam kebudayaan lokal, misalnya aksara kana yang asli Jepang. Pengaruh budaya Cina surut setelah sampai di puncak keemasan. Pengiriman terakhir utusan Jepang ke Dinasti Tang berlangsung pada tahun 838 sejalan dengan kemunduran Dinasti Tang. Walaupun demikian, Cina dalam terus berlanjut sebagai negara tujuan ekspedisi dagang dan rombongan peziarah agama Buddha.

Kekuasaan politik istana kekaisaran berada di tangan segelintir keluarga bangsawan yang disebut kuge, khususnya klan Fujiwara yang berkuasa dengan gelar Sesshō and Kampaku.

Pada akhir zaman Heian bermunculan berbagai klan samurai. Empat klan samurai yang paling kuat adalah klan Minamoto, klan Taira, klan Fujiwara, dan klan Tachibana. Memasuki akhir abad ke-12, konflik antarklan berubah menjadi berbagai perang saudara seperti Pemberontakan Hōgen dan Pemberontakan Heiji. Setelah berakhirnya Perang Genpei, Jepang berada di bawah pemerintahan militer oleh klan-klan samurai di bawah pimpinan seorang shogun.

Dalam sejarah Jepang, zaman feodal dibagi menjadi dua bagian. Paruh pertama disebut abad pertengahan (chūsei) dari zaman Kamakura hingga zaman Muromachi, sementara paruh kedua disebut abad modern (kinsei) dari zaman Azuchi-Momoyama hingga zaman Edo.

Zaman feodal di Jepang berlangsung dari abad ke-12 hingga abad ke-19, ditandai oleh pemerintahan daerah oleh keluarga-keluarga daimyo di bawah kendali pemerintahan militer keshogunan. Kaisar hanya berperan sebagai kepala negara de jure sementara kekuasaan berada di tangan shogun.

Keshogunan Kamakura berkuasa di Jepang dari tahun 1185 hingga 1333 yang disebut zaman Kamakura yang merupakan zaman transisi menuju abad pertengahan Jepang. Abad pertengahan berlangsung selama hampir 700 tahun ketika pemerintah pusat, istana, dan Kaisar Jepang umumnya hanya menjalankan fungsi-fungsi seremonial. Urusan sipil, militer, dan kehakiman dikendalikan oleh kelas samurai. Secara de facto, penguasa negeri kekuasaan politik berada di tangan shogun yang berasal dari klan samurai yang terkuat.

Pada 1185, Minamoto no Yoritomo menghancurkan klan Taira yang merupakan musuh bebuyutan klan Minamoto. Setelah pada tahun 1192 diangkat oleh Kaisar sebagai Seii Tai-Shogun, Yoritomo mendirikan pemerintahan militer di Kamakura dan berkuasa sebagai shogun pertama Keshogunan Kamakura. Setelah wafatnya Yoritomo, klan Hōjō menjadi klan yang berpengaruh dan bertugas sebagai wali shogun.

Peristiwa terbesar dalam periode Kamakura adalah invasi Mongol ke Jepang antara 1272 dan 1281. Pasukan Mongol dengan teknologi angkatan laut dan persenjataan yang unggul mencoba menyerbu ke kepulauan Jepang. Angin topan yang kemudian dikenal sebagai kamikaze (angin dewa) membuat kekuatan invasi Mongol tercerai-berai. Meskipun demikian, beberapa sejarawan bersikeras bahwa pertahanan pantai yang dibangun Jepang di Kyushu cukup memadai untuk mengusir para penyerbu. Walaupun invasi Mongol berhasil digagalkan, usaha mengatasi serbuan bangsa Mongol menyebabkan berakhirnya kekuasaan keshogunan akibat kekacauan politik dalam negeri.

Zaman Kamakura berakhir setelah runtuhnya kekuasaan Keshogunan Kamakura pada tahun 1333. Kekuasaan dikembalikan ke tangan kekaisaran di bawah pemerintahan Kaisar Go-Daigo dalam masa Restorasi Kemmu yang hanya berlangsung singkat. Pemerintahan Go-Daigo kembali ditumbangkan oleh Ashikaga Takauji.

Dalam periodisasi sejarah Jepang, zaman Muromachi berlangsung dari sekitar tahun 1136 hingga 1673 ketika kekuasaan pemerintah berada di tangan Keshogunan Ashikaga yang juga disebut Keshogunan Muromachi. Pendiri Keshogunan Ashikaga adalah Ashikaga Takauji yang merebut kekuasaan politik dari Kaisar Go-Daigo dan sekaligus mengakhiri Restorasi Kemmu. Zaman Muromachi berakhir pada tahun 1573 ketika shogun ke-15 sekaligus shogun Muromachi terakhir, Ashikaga Yoshiaki diusir dari ibu kota Kyoto oleh Oda Nobunaga.

Tahun-tahun awal zaman Muromachi juga disebut zaman Nanboku-cho atau zaman Istana Utara-Istana Selatan ketika kekuasaan istana terbelah dua menjadi Istana Utara dan Istana Selatan. Sejak tahun 1467 hingga berakhirnya zaman Muromachi disebut sebagai zaman Sengoku atau "zaman negara-negara bagian yang berperang". Pada zaman Sengoku terjadi perang saudara dan perebutan kekuasaan antarprovinsi. Pada masa ini pula terjadi kontak pertama Jepang dengan orang-orang Barat yang disebut Perdagangan dengan Nanban ketika pedagang-pedagang Portugis tiba di Jepang.

Sebuah kapal Portugis yang berlayar ke Cina terkena badai dan merapat di sebuah pulau Jepang bernama Tanegashima. Senjata api yang diperkenalkan oleh orang Portugis membawa kemajuan teknologi militer dalam periode Sengoku, dan berpuncak pada Pertempuran Nagashino yang melibatkan pasukan samurai yang dipersenjatai dengan 3.000 pucuk arquebus (jumlah sebenarnya diperkirakan sekitar 2.000 pucuk). Selama perdagangan dengan Nanban, para pedagang dari negara-negara lainnya, Belanda, Inggris, dan Spanyol juga ikut berdatangan. Kedatangan para pedagang juga membawa penyebar agama Kristen, Serikat Yesuit, Ordo Dominikan, dan misionaris Fransiskan.

Dari tahun 1568 hingga 1600 di Jepang disebut zaman Azuchi-Momoyama. Jepang bersatu secara militer dan negara menjadi stabil di bawah kekuasaan Oda Nobunaga yang dilanjutkan oleh Toyotomi Hideyoshi. Istilah zaman Azuchi-Momoyama berasal dari nama istana (kastil) yang menjadi markas kedua pemimpin besar, Nobunaga di Istana Azuchi dan Hideyoshi di Istana Momoyama.

Setelah berhasil menyatukan Jepang, Hideyoshi berusaha memperluas wilayah dengan melakukan invasi ke Korea. Dua kali usaha penaklukan Korea berakhir dengan ditarik mundurnya pasukan Hideyoshi dari Semenanjung Korea pada tahun 1598 akibat dikalahkan pasukan gabungan Korea dan Cina, serta wafatnya Hideyoshi.

Konflik suksesi pasca-Hideyoshi berakhir dengan munculnya Tokugawa Ieyasu sebagai pemimpin baru Jepang. Kekuasaan pemerintahan beralih ke tangan Ieyasu setelah mengalahkan pasukan pendukung Toyotomi Hideyori dalam Pertempuran Sekigahara.

Pada zaman Edo adalah pemerintahan otonomi daerah berada di tangan lebih dari dua ratus pejabat daimyo. Sebagai klan terkuat, pemimpin klan Tokugawa dari generasi ke generasi menjabat sebagai shogun (sei-i taishōgun). Keshogunan Tokugawa yang bermarkas di Edo (sekarang Tokyo) memimpin para daimyo di masing-masing daerah otonom yang disebut domain (han).

Kelas samurai ditempatkan oleh keshogunan di atas kelas rakyat biasa, petani, perajin, dan pedagang. Keshogunan mengeluarkan undang-undang yang mengatur segala aspek kehidupan, dimulai dari potongan rambut dan busana untuk masing-masing kelas dalam masyarakat. Shogun mewajibkan para daimyo secara bergantian untuk bertugas di Edo. Mereka disediakan rumah kediaman mewah di Edo agar tidak memberontak. Kekuatan militer daimyo daerah ditekan, dan diharuskan meminta izin dari pusat sebelum dapat memperbaiki fasilitas militer. Keshogunan Tokugawa runtuh setelah Perang Boshin 1868-1869.

Zaman Edo adalah zaman keemasan seni lukis ukiyo-e dan seni teater kabuki dan bunraku. Sejumlah komposisi terkenal untuk koto dan shakuhachi berasal dari zaman Edo.