De voormalige oranjerie werd in 1852 gebouwd door de architect Firmin Bourgeois en voltooid door zijn opvolger, Ludovico Visconti, om de sinaasappelbomen in de tuinen van de Tuilerieën te huisvesten. Het was een lange stenen doos, beglaasd aan de zuidkant (aan de kant van de Seine) en blind aan de noordkant (aan de kant van de tuin). Het gebouw was sober gedecoreerd - zoals het een utilitair gebouw betaamt - maar in overeenstemming met het klassieke architecturale repertoire, in overeenstemming met de nabijheid van de Place de la Concorde en het Tuilerieënpaleis (nu gesloopt).
Tijdens de Derde Republiek werd het gebruikt als uitrustingsdepot, onderzoeksruimte, accommodatie voor gemobiliseerde soldaten en een multifunctionele locatie voor sportevenementen. In 1921 werd het uiteindelijk aan de afdeling Schone Kunsten gegeven, waardoor het, net als zijn buurman het Jeu de Paume, een dependance werd van het Musée du Luxembourg, de voorloper van het Musée National d'Art Moderne.
