Fondato nel 1885, il club è conosciuto anche con il soprannome Saints (in italiano Santi) dal momento che fu costituito come compagine di una parrocchia, la St. Mary’s Church of England Young Men’s Association, ed è attualmente di proprietà della Sport Republic di Dragan Solak.
Dopo la Grande guerra, durante la quale molti club furono distrutti dalla chiamata alle armi, i Saints si unirono alla appena formata Football League Third Division, che poi si divise in due sezioni, Sud e Nord, nel 1921. La stagione 1920-1921 terminò in trionfo, con la promozione che segnò l’inizio di una permanenza in Seconda Divisione durata per ben 31 anni.
Nella stagione 1922-1923 la squadra ottenne 14 vittorie, 14 pareggi e 14 sconfitte, un bilancio perfettamente equilibrato, e un totale di 42 punti, con una media di un punto a partita. L’equilibrio fu anche nella differenza reti, pari a zero (stesso numero di gol fatti e subiti), con la squadra che finì il campionato a metà classifica. Nel 1925 e nel 1927 il Southampton raggiunse la semifinale di FA Cup, perdendo rispettivamente per 2-0 e per 2-1 contro Sheffield United e Arsenal.
Durante la seconda guerra mondiale i Saints furono costretti a giocare i loro match casalinghi sul campo dei rivali del Portsmouth, Fratton Park, per via di un ordigno esploso nel novembre 1940 sul terreno del The Dell, che aveva lasciato un cratere di quasi sei metri e danneggiato un canale sotterraneo, causando l’allagamento del campo.
La promozione fu sfiorata nel 1947-1948, quando la squadra si piazzò terza (ad un solo punto dalla zona promozione), e nel 1949, anno in cui i Saints sciuparono un vantaggio di 8 punti a 8 giornate dalla fine, mentre nel 1950 fu la differenza reti di un soffio sfavorevole a negare la promozione al Southampton, a vantaggio dello Sheffield United. Charlie Wayman fu autore di ben 56 gol in due stagioni, il 1948-1949 e il 1949-1950. La retrocessione nel 1953 riportò il Southampton in Terza Divisione (Sud).
Bisognò attendere il 1960 per rivedere i Saints in Second Division, con Derek Reeves autore di 39 dei 106 gol segnati dalla squadra in campionato. Il 27 aprile 1963 una folla di 68.000 spettatori assistette, al Villa Park di Birmingham, alla vittoria del Manchester Utd contro il Southampton nella semifinale di FA Cup.