L'antica aranciera fu costruita nel 1852 dall'architetto Firmin Bourgeois e completata dal suo successore, Ludovico Visconti, per ospitare gli aranci dei giardini delle Tuileries. Lunga scatola di pietra, vetrata a sud (lato Senna) e cieca a nord (lato giardino), l'edificio era decorato in modo sobrio - come si addice a un edificio utilitario - ma in linea con il repertorio architettonico classico, in sintonia con la sua vicinanza a Place de la Concorde e al Palazzo delle Tuileries (oggi demolito).
Durante la Terza Repubblica, fu utilizzato come deposito di attrezzature, sala esami, alloggio per i soldati mobilitati e luogo polivalente per eventi sportivi. Nel 1921 fu infine ceduto al dipartimento delle Belle Arti che ne fece, come il vicino Jeu de Paume, un'appendice del Musée du Luxembourg, predecessore del Musée National d'Art Moderne.
