Nel 1903 nella città di Magonza ci fu un primo tentativo, andato a vuoto, di fondare una squadra di calcio. Due anni dopo l’obiettivo fu raggiunto con la fondazione dell’1. Mainzer Fussballclub Hassia 1905. Dopo alcuni anni di militanza nella Süddeutschen Fußballverband (Campionato di calcio della Germania meridionale), il club si fuse con il FC Hermannia 07 – l’ex squadra di calcio del Mainzer TV 1817 – a formare il 1. Mainzer Fussballverein Hassia 05, che eliminò “Hassia” dal suo nome nell’agosto 1912. Un’altra fusione dopo la Prima guerra mondiale, nel 1919, questa volta con lo Sportverein 1908 Mainz, portò alla nascita dell’1. Mainzer Fußball- und Sportverein 05. Die Nullfünfer formavano una squadra solida, che conquistò vari campionati nel periodo tra le due guerre e si qualificò per la prima fase del campionato nazionale nel 1921. Con la riorganizzazione del calcio tedesco voluta dal Terzo Reich nel 1933, il club si trovò a giocare in una delle sedici nuove massime divisioni, la Gauliga Südwest/Mainhessen. La squadra, tuttavia, disputò un solo campionato prima di retrocedere, e nel 1938 fu anche costretta ad una fusione con il Reichsbahn SV Mainz; giocò quindi con il nome di Reichsbahn SV Mainz 05 fino alla fine della Seconda guerra mondiale. Nel dopoguerra la squadra ritornò nuovamente a giocare in una massima divisione, l’Oberliga Südwest. Qui rimase senza ottenere grandi risultati fino al 1963, anno della fondazione della Bundesliga e della conseguente nuova riorganizzazione del calcio nazionale. Il Magonza si ritrovò però a giocare in una delle seconde divisioni del periodo, la Regionalliga Südwest; vinse questo campionato nel 1973, tuttavia mancò la promozione ai play-off. La seconda divisione venne riformata l’anno successivo, e il Magonza prese parte alla prima edizione della Zweite Bundesliga, venendo tuttavia retrocesso per problemi finanziari l’anno successivo.
Il club trascorse tredici anni in terza divisione, e tornò definitivamente tra i professionisti nel 1990, dopo una breve apparizione due anni prima. In tre circostanze, nel 1997, nel 2002 e nel 2003 la squadra fallì la promozione in Bundesliga per un soffio. La tenacia tuttavia pagò, e nel 2003-2004 il Magonza conquistò per la prima volta l’accesso alla Bundesliga sotto la guida di Jürgen Klopp, da tre anni al timone della squadra. Nella stagione di esordio nel massimo campionato il club si classificò all’undicesimo posto, ottenendo però un posto in Coppa UEFA come vincitrice del Premio Fair Play. Tuttavia, a causa della limitata capacità dello Stadion am Bruchweg, la squadra disputò le partite casalinghe nella Commerzbank-Arena di Francoforte. Nella stagione 2005-2006 il Magonza si piazzò nuovamente undicesimo; l’annata sarà ricordata anche per il prestigioso pareggio casalingo (2-2) contro il Bayern Monaco, futuro campione tedesco. Autore di un gol memorabile fu l’egiziano Mohamed Zidan, stella della squadra, in prestito dal Werder Brema. L’anno seguente la squadra di Klopp retrocesse, però, in Zweite Bundesliga a causa di un calo di condizione nelle ultime giornate. Dopo due stagioni, al termine della stagione 2008-2009 il Magonza risalì in Bundesliga, questa volta con Jørn Andersen in panchina.
A guidare la squadra in Bundesliga fu poi chiamato Thomas Tuchel, allenatore promosso dalla squadra giovanile. Il Magonza iniziò la stagione 2010-2011 con sette vittorie consecutive, eguagliando così il record che apparteneva al Bayern Monaco ed al Kaiserslautern, e a fine annata chiuse al quinto posto. La squadra partecipò così all’Europa League, da cui fu eliminata al terzo turno preliminare dai rumeni del Gaz Metan Mediaș dopo i calci di rigore. Nella stagione successiva iniziò a giocare nella nuova Coface Arena, dal 2016 Opel Arena. Una nuova partecipazione europea avviene poi nell’Europa League 2014-2015. Nelle annate seguenti di Bundesliga, il club ha sempre ottenuto tranquille salvezze senza mai ripetere i piazzamenti conseguiti in precedenza.