Det tidligere orangeri blev bygget i 1852 af arkitekten Firmin Bourgeois og færdiggjort af hans efterfølger, Ludovico Visconti, for at huse appelsintræerne i Tuileries-haven. Bygningen er en lang stenkasse, der er glaseret mod syd (på Seinesiden) og blind mod nord (på havesiden), og den er nøgternt dekoreret - som det passer sig for en brugsbygning - men i overensstemmelse med det klassiske arkitektoniske repertoire, i overensstemmelse med dens nærhed til Place de la Concorde og Tuileries-paladset (nu revet ned).
Under den tredje republik blev den brugt som udstyrsdepot, eksamenslokale, indkvartering for mobiliserede soldater og et multifunktionelt sted til sportsbegivenheder. I 1921 blev det endelig givet til Beaux-Arts-afdelingen, som gjorde det, ligesom sin nabo Jeu de Paume, til et anneks til Musée du Luxembourg, forgængeren for Musée National d'Art Moderne.
