Az egykori narancsházat 1852-ben Firmin Bourgeois építész építtette, és utódja, Ludovico Visconti fejezte be, hogy a Tuileriák kertjében lévő narancsfákat elhelyezze. A hosszú, kőből épült, délre (a Szajna felőli oldalon) üvegezett, északra (a kert felőli oldalon) vakon záródó épületet - ahogyan az egy haszonépülethez illik - józanul, de a klasszikus építészeti repertoárnak megfelelően, a Place de la Concorde tér és a Tuileriák palotája (ma már lebontva) közelségének megfelelően díszítették.
A Harmadik Köztársaság idején felszerelési raktárként, vizsgálóteremként, a mozgósított katonák elhelyezésére és sportesemények többcélú helyszínéül szolgált. 1921-ben végül a Beaux-Arts részlegnek adták át, amely a szomszédos Jeu de Paume-hoz hasonlóan a Musée du Luxembourg, a Musée National d'Art Moderne elődjének, a Musée National d'Art Moderne melléképületévé tette.
