Det tidligere orangeriet ble bygget i 1852 av arkitekten Firmin Bourgeois og fullført av hans etterfølger, Ludovico Visconti, for å huse appelsintrærne i Tuileries-hagen. Bygningen var en lang steinkasse, innglasset mot sør (på Seine-siden) og blind mot nord (på hagesiden), og var nøkternt dekorert - som det sømmer seg for en bruksbygning - men i tråd med det klassiske arkitektoniske repertoaret, i tråd med nærheten til Place de la Concorde og Tuileries-palasset (som nå er revet).
Under den tredje republikken ble det brukt som utstyrsdepot, eksamenslokale, innkvartering for mobiliserte soldater og et multifunksjonelt sted for idrettsarrangementer. I 1921 ble det endelig overdratt til Beaux-Arts-departementet, som gjorde det, i likhet med naboen Jeu de Paume, til et anneks til Musée du Luxembourg, forgjengeren til Musée National d'Art Moderne.
