Il club fu fondato nel 1878 come squadra amatoriale con il nome di Ipswich A.F.C., per assumere, nel 1888, la denominazione di Ipswich Town Football Club in occasione della fusione con l’Ipswich Rugby Club. Inizialmente iscritto in tornei locali (la Suffolk Challenge Cup e la Suffolk Senior Cup), a partire dal 1907 l’Ipswich Town militò in Southern Amateur League, vincendola quattro volte (la prima volta nella stagione 1921-22), mentre nel 1936 ottenne lo status di club professionale.
Al termine della stagione 1937-38, con la promozione in Division Three, l’Ipswich fu iscritto in Football League. I Tractor Boys militarono in terza categoria per tutti gli anni quaranta, fino alla stagione 1954-55, al termine della quale furono promossi in Second Division dopo aver vinto il campionato.
L’esordio in seconda categoria dell’Ipswich si concluse con la retrocessione e con l’esonero dell’allenatore Scott Duncan, il cui posto fu preso da Alf Ramsey, che riportò subito la squadra in seconda serie. Al termine della stagione 1960-61, concludendo il campionato al primo posto, l’Ipswich fu promosso in First Division. Il debutto dei Tractor Boys in massima serie fu trionfale: dopo aver disputato buona parte del campionato a ridosso delle prime posizioni, nelle ultime dieci giornate gli uomini di Ramsey si inserirono nella lotta per il titolo, aggiudicandoselo all’ultima giornata. Alla vittoria del campionato seguì tuttavia un periodo di declino: al termine della stagione successiva, dopo l’eliminazione in Coppa dei Campioni da parte del Milan, Ramsey abbandonò la squadra lasciando il posto a Jackie Milburn, che rimase una sola stagione in cui la squadra retrocesse in Second Division subendo 121 goal in campionato.