国際舞台への道は遠く ─ 1972年 第20回大会（ミュンヘン） 〜 1992年 第25回大会（バルセロナ） ─

1972年、第20回ミュンヘン大会予選

初戦マレーシアに0-3と完敗、続く韓国にも1-2で敗れ3大会連続の出場はかなわず。

1976年、第21回モントリオール大会予選

1次予選、フィリピン戦には勝利したものの、韓国・イスラエルの前に道を絶たれる。

1980年、第22回モスクワ大会予選

マレーシアで集中開催された予選リーグは、3勝1分け1敗の3位に終わる。
その後、1位2位のマレーシア・韓国が不参加を表明したため、日本に代表権が回ってくるも政府方針でオリンピック自体に参加しないことになった。

1984年、第23回ロサンゼルス大会予選

この大会より、プロの参加が解禁となった。日本は森体制で臨んだが、決勝大会で惨敗を喫してしまう。森ジャパンは、その後メキシコワールドカップ予選でも最終予選まで駒を進める健闘をみせたものの、力およばず本大会出場はならなかった。森孝慈（昭和42年卒／故人）は、この戦いを通じてプロ化の必要性を痛感、協会にプロリーグの発足を進言し、今日のJリーグ・日本代表の礎を築いている。

1988年、第24回ソウル大会予選

開催国である韓国が出場しない予選は、日本にとっては大きなチャンスであった。ホーム＆アウェーで行なわれた1次予選を全勝で勝ちあがり、最終予選はタイ、ネパール、中国、日本の4カ国、1次予選同様ホーム＆アウェー方式が取られた。最大のライバルはともに無敗の中国。アウェーの中国戦は1-0でしのぎきり、国立での最終戦に勝つか引き分けるかで本戦出場が決まるという大一番を迎えた。しかし、雨の国立競技場、0-2で中国が勝利し、土壇場で本戦出場を逃してしまった。

1992年、第25回バルセロナ大会予選

この大会から、出場選手が23歳以下（まだOA枠は存在していない）に限られることになった。
年号が昭和から平成に変わるころ、日本サッカーも「世界に通用するサッカー」を目指して、大胆な若返りを図っていた。代表チームとは別に、初めて22歳以下の日本オリンピック代表が組織されたのだ。
大学生も多く招集されていたこのチームは、5勝1敗という成績で最終予選進出を決めたが、初戦中国に逆転負けを喫し、韓国、カタールにも負けて第5位にとどまり、またしてもオリンピック出場はならなかった。

（敬称略）