Premiärminister Yukio Hatoyama och hans regering tillsatte en utredning av det påstådda atomfördraget och andra hemliga överenskommelser med USA dagarna efter det att den tillträdde i september, rapporterar japanska medier.
Existensen av överenskommelsen har förnekats i decennier av tidigare konservativa regeringar. Utrikesminister Katsuya Okada ska nu tillsätta en expertkommitté som ska granska dokumenten.
Japan är det enda landet som utsatts för en kärnvapenattack och har därför har verkat för avskaffandet av vapnen. Sedan 1967 har landets officiella linje varit att inte tillåta kärnvapen på sitt territorium.
USA har haft trupper stationerade i Japan sedan andra världskriget. 1991 beslöt dåvarande presidenten George Bush att amerikanska fartyg inte längre ska ha taktiska kärnvapen ombord, vilket gjorde att det nu upptäckta avtalet med Japan inte längre var relevant.
USA släppte sina atombomber över Hiroshima och Nagasaki 1945. Bomberna dödade över 210 000 människor.
