La Palestina Football Association (PFA) era stata accettata come membro stabile della FIFA nel 1929. In un primo tempo gestiva solo il campionato interno israeliano, ma successivamente assunse anche il controllo della squadra nazionale, nata per partecipare alle qualificazioni per la Coppa del mondo (partecipò a quelle per i mondiali del 1934 e del 1938 come Palestina). Il Mandato di Palestina giocò il primo incontro ufficiale nel 1934 nelle qualificazioni per la Coppa del mondo, perdendo per 1-7 contro l’Egitto. Il primo gol della squadra fu segnato da Avraham Nudelmann. Dopo la creazione di Israele nel 1948, Il PFA si trasformò nell’IFA, l’associazione calcistica ufficiale del nuovo Stato. La prima partita che la Nazionale d’Israele giocò come rappresentativa di Stato indipendente risale al 26 settembre 1948 contro gli Stati Uniti, che vinsero per 3-1.
Nel 1964 Israele ospitò la Coppa d’Asia, che vinse battendo in finale per 2-1 la Corea del Sud. Nel 1968 partecipò ai suoi primi Giochi olimpici: superato il primo turno, uscì ai quarti pareggiando contro la Bulgaria, alla quale arrise il sorteggio per decidere chi avrebbe giocato la semifinale. Nel 1970 si qualificò per la prima volta alla fase finale della Coppa del mondo, ma ottenendo soltanto due punti dopo i pareggi con la Svezia (1-1) e l’Italia (0-0) e una sconfitta contro l’Uruguay (0-2). Nel 1974, sotto la pressione dei paesi arabi, l’AFC estromise Israele dalla federazione e per venti anni esso non fece parte di nessuna federazione calcistica continentale, se non a livello provvisorio. Questo permise a Israele di giocare le qualificazioni mondiali, ma allo stesso tempo gli impedì di poter giocare una qualsiasi competizione continentale. Nel 1976 Israele partecipò alla sua seconda Olimpiade e perse nuovamente ai quarti di finale, stavolta contro il Brasile. Dopo essere stato estromesso dall’AFC nel 1974, Israele divenne prima membro provvisorio dell’OFC (1974-1979), poi dell’UEFA (1980-1984) ed infine di nuovo dell’OFC (1985-1991). Come membro provvisorio Israele prese parte alle qualificazioni mondiali di Argentina 1978, Spagna 1982, Messico 1986 e Italia 1990. Israele ottenne risultati rilevanti solo nelle qualificazioni a Italia 1990. Questo è stato l’unico caso in cui giunse primo nel girone di qualificazione (OFC). Dovette quindi vedersela nello spareggio contro la quarta del Sudamerica, la Colombia, che ebbe la meglio (1-0 e 0-0). Nel 1991 Israele divenne membro provvisorio dell’UEFA, nella quale chiese di entrare, e già dalla stagione 1992-1993 le squadre israeliane cominciarono a partecipare alle competizioni europee per club.
Nelle qualificazioni al campionato del mondo 1994 Israele si piazzò ultimo nel suo girone, alle spalle di Svezia, Bulgaria, Francia, Austria e Finlandia. Il 13 ottobre 1993, nella penultima partita delle qualificazioni, ottenne una clamorosa vittoria al Parco dei Principi di Parigi contro la Francia, chiudendo il match sul 3-2 in proprio favore con due gol segnati nei minuti finali. La vittoria complicò i piani della selezione francese, cui sarebbe bastato un pareggio per qualificarsi[3]. Nella partita successiva i francesi persero in casa anche contro i bulgari, rimanendo fuori dal Mondiale. Israele si piazzò penultimo nel girone di qualificazione al campionato d’Europa 1996 con Romania, Francia, Slovacchia, Polonia e Azerbaigian, precedendo solo gli azeri con un bilancio di 3 vittorie, 3 pareggi e 4 sconfitte. Meglio andarono le qualificazioni al campionato del mondo 1998. Israele battagliò per il secondo posto del girone con la Russia, che si qualificò per gli spareggi a scapito degli israeliani, distanti alla fine quattro punti. Nel 1999 Israele, con 13 punti in 8 partite, giunse allo spareggio per l’accesso agli Europei di Belgio e Olanda classificandosi secondo dietro la Spagna nel proprio girone, a pari punti con l’Austria, ma con una migliore differenza reti. La partita di andata dello spareggio si giocò nello Stadio Ramat Gan il 13 novembre 1999 e finì 5-0 per la Danimarca, che prevalse anche il 17 novembre nella partita di ritorno (3-0).
Coppa d’Asia 1964
3 giugno 1964 – Itstadyon Ramat Gan, Ramat Gan
Israele Israele – Corea del Sud Corea del Sud2 – 1
Israele: Levin; Primo, Bahar, Tish, Leon; Stelmach (C), Katsav, Spiegler, Aharoni; Levi, Young. Allenatore: Mirmovich.Corea del Sud: Woo-Shik Yang; Jung-Seok Kim, Seung-Ok Park (C), Young-Yeol Kim, Sung-Oh Seo; Nam-Soo Cho, Myung-Gon Choi, Soon-Myung Lee, Seok-Woo Jang; Yoon-Jung Huh, Soon-Chun Chung. Allenatore: Yoo-Hyung Lee.
Arbitro: Nassiri (Iran Iran)
Marcatori: 20′ Leon, 38′ Tish, 79′ Soon-Myung Lee.
Spettatori: 35.000