Nei primi anni nella capitale spagnola a darsi battaglia ci sono già il Real Madrid e l’Atlético, quando il 29 maggio 1924 nacque l’Agrupación Deportiva El Rayo. Nel corso di una riunione venne deciso di modificare il nome del club, che diventa Agrupación Deportiva Rayo Vallecano, e come stemma utilizzare lo stemma di Vallecas. Inizia così una nuova era per il Rayo Vallecano, che però non può permettersi di avere in squadra grandi campioni e vivacchia per 27 anni facendo la spola tra la Segunda División e la Tercera División.
Nel 1977 inaspettatamente il Rayo disputa un grande campionato giungendo al terzo posto nella Segunda División, venendo promosso per la prima volta in Primera División. L’impatto con la massima serie è abbastanza buono, tanto che il primo anno si piazza al decimo posto, risultando una delle più belle sorprese del campionato. Nella stagione successiva arriva un quindicesimo posto, preludio della retrocessione che avviene l’anno successivo.
Nonostante gli sforzi per fare ritorno nella massima serie, nel 1984 arriva ventesimo ritornando in terza divisione. Nella categoria rimangono una sola stagione e, dopo due anni di assestamento in seconda – durante i quali vincono una Copa de la Liga Segunda División nel 1986 – ottengono un secondo posto che garantisce il ritorno nella Liga, avventura che questa volta dura una sola stagione.
Nel 1992 José Maria Ruiz-Mateos diventa azionario di maggioranza del club, andando a ricoprire il ruolo di presidente. A causa di problemi con il fisco però è costretto, due anni dopo, a cedere la guida alla moglie, Maria Teresa Rivero Sanchez. Questa diventa subito un’icona importante per il movimento calcistico, che le intitola il Campo de Fútbol de Vallecas. Negli anni novanta si verifica una continua altalena tra la prima e la seconda divisione, senza riuscire a stabilizzarsi nella categoria più importante.
Nel 1999 la squadra sale nuovamente nella Liga: si tratta di una stagione fortunata, visto che in quell’occasione erano state stabilite quattro promozioni. La stagione 1999-2000 è da incorniciare, perché ottiene un nono posto finale, miglior piazzamento della storia del club fino a quel momento (e rimasto tale fino all’ottavo posto raggiunto nel 2012-2013). Grazie alla classifica fair-play, disputa l’anno successivo la Coppa UEFA: nella competizione europea, il Rayo fu protagonista di un ottimo cammino (eliminando formazioni quali Lokomotiv Mosca e Bordeaux) prima di fermarsi ai quarti di finale, sconfitto nel derby iberico dall’Alavés. Il 15 maggio 2016 all’ultima giornata di campionato, nonostante la vittoria per 3-1 contro il Levante, il Rayo retrocesse in Segunda División. Nello stesso anno la proprietà della squadra partecipò alla nascita del Rayo Oklahoma City, squadra della NASL. Il progetto però fallì e la società statunitense non partecipò al campionato successivo.