Endise oranžikuuri ehitas 1852. aastal arhitekt Firmin Bourgeois ja lõpetas tema järeltulija Ludovico Visconti, et majutada apelsinipuid Tuileriide aedades. Pikk kivist kast, mis oli lõunast (Seine'i pool) klaasitud ja põhjast (aia pool) pime, oli hoones - nagu tarbehoonele kohane - tagasihoidlikult kaunistatud, kuid klassikalise arhitektuurirepertuaari kohaselt, kooskõlas selle lähedusega Place de la Concorde'ile ja Tuileries' paleele (nüüdseks lammutatud).
Kolmanda vabariigi ajal kasutati seda varustuse laduna, eksamiruumina, mobiliseeritud sõdurite majutuskohana ja mitmeotstarbelise spordiürituste toimumiskohana. 1921. aastal anti see lõpuks kunstiosakonnale, mis tegi sellest, nagu ka tema naabrist Jeu de Paume'ist, Musée du Luxembourg'i, Musée National d'Art Moderne'i eelkäija, kõrvalhoone.