Bývalou oranžerii postavil v roce 1852 architekt Firmin Bourgeois a dokončil ji jeho nástupce Ludovico Visconti, aby v ní pěstoval pomerančovníky v Tuilerijských zahradách. Dlouhá kamenná krabice, na jihu (na straně k Seině) prosklená a na severu (na straně k zahradě) slepá, byla střízlivě zdobená - jak se na utilitární stavbu sluší -, ale v souladu s klasickým architektonickým repertoárem, odpovídajícím její blízkosti náměstí Svornosti a Tuilerijského paláce (dnes zbořeného).
Za třetí republiky sloužila jako sklad vybavení, vyšetřovna, ubytovací zařízení pro mobilizované vojáky a víceúčelové místo pro sportovní akce. V roce 1921 byla nakonec předána oddělení Beaux-Arts, které z ní, stejně jako z jejího souseda Jeu de Paume, učinilo přístavbu Musée du Luxembourg, předchůdce Musée National d'Art Moderne.