Det tidigare orangeriet byggdes 1852 av arkitekten Firmin Bourgeois och färdigställdes av hans efterträdare Ludovico Visconti för att hysa apelsinträden i Tuilerieträdgården. Byggnaden var en lång stenlåda, glasad mot söder (på Seine-sidan) och blind mot norr (på trädgårdssidan). Den var sobert dekorerad - som det anstår en bruksbyggnad - men i linje med den klassiska arkitekturens repertoar, i linje med dess närhet till Place de la Concorde och Tuileriespalatset (numera rivet).
Under den tredje republiken användes den som utrustningsdepå, undersökningsrum, inkvartering för mobiliserade soldater och en multifunktionell plats för idrottsevenemang. År 1921 överlämnades den slutligen till avdelningen för Beaux-Arts, som gjorde den, liksom dess granne Jeu de Paume, till ett annex till Musée du Luxembourg, föregångaren till Musée National d'Art Moderne.