Japan je dugo želio organizirati Olimpijske igre. Kada se zvanično kandidirao, Tokyo je pobijedio nadmoćno konkurente Detroit, Beč i Bruxelles već u prvom krugu glasanja s 34 glasa za. To su bile prve Igre organizirane u Aziji. Da upotpuni svoje olimpijske krugove, Međunarodnom olimpijskom komitetu nedostajalo je još samo da Igre organizira u Africi. Tokio je u kandidaturi istakao želju za organiziranjem Igara u obnovljenom gradu, gradu novog izgleda, s osam novih autocesta i tada čudom građevinarstva: vozom u zraku koji s aerodroma putnike vodi do centra grada.
Igre su te 1964. godine savršeno organizirane, a neki od sportaša koji su na njima pobijedili ušli su u historiju sporta. Bob Hayes pobijedio je u utrci na 100 metara, istrčavši tačno deset sekundi. Na 10.000 metara pobijedio je oficir američke vojske William Mills. Bio je Indijanac, pripadnik plemena Sioux iz Dakote. Još jedan Amerikanac, Don Schollander, s četiri osvojene zlatne medalje u plivanju, bio je najuspješniji sportaš na Igrama. Njegova je majka bila Mauren O’Sullivan, filmska zvijezda koja se pojavljivala uz Johnnyja Weissmüllera u legendarnim filmovima o Tarzanu.
Još jedno poznato ime iz svijeta sporta osvojilo je medalju u Tokiju. Naslov prvaka u teškoj kategoriji osvojio je Joe Frazier. Ruskinja Larisa Latynina s Igara otišla je s dva zlata, dva srebra i dvije bronze. Njezinih devet zlatnih, pet srebrnih i četiri bronzane medalje na Igrama u Melbourneu, Rimu i Tokiju bili su rekord Olimpijskih igara sve dok se nije pojavio plivač Michael Phelps. Među ženama je i dalje nedostižna.
Abebe Bikila je na Igrama u Rimu osvojio zlato trčeći bos. U Tokiju je ponovio isto, ali ovaj put je trčao u patikama. Kako je do cilja stigao s ogromnom, nedostižnom prednošću za ostale, stao je da se istegne i uradi neke gimnastičke vježbe. U to je doba Bikila bio i pripadnik carske garde Hailea Selassiea.
Velika zvijezda Igara bio je Anton Geesink. Džudo je do tada bio gotovo isključivo japanski sport i prvi put tada je uvršten u program Igara. Veliki Holanđanin, visok 1,98 centimetara i težak 111 kilograma, došao je do finala i tamo porazio japanskog idola Akija Kaminaga. Za Japan je to bila nacionalna katastrofa. Kasnije se svijetom proširio urbani mit da je Kaminaga počinio harakiri, no to nije bila istina. Nacionalna žalost zbog gubitka zlata u džudu makar je malo ublažena pobjedom japanske ženske reprezentacije u odbojci, prvom timskom sportu u kojem su sudjelovale žene.
Osim rezultata i tehnoloških novotarija, Igre u Tokiju značile su konačni odmak Japana od zemlje koja je u Drugom svjetskom ratu bila na pogrešnoj strani historije. Kina, koja je odbila sudjelovati na Igrama protestirajući tako zbog sudjelovanja Formoze (danas Tajvana), privukla je pozornost svijeta detonirajući svoju prvu atomsku bombu u prvim danima Igara.