Dawna oranżeria została zbudowana w 1852 roku przez architekta Firmina Bourgeois i ukończona przez jego następcę, Ludovico Viscontiego, aby pomieścić drzewka pomarańczowe w ogrodach Tuileries. Długie kamienne pudełko, przeszklone od południa (od strony Sekwany) i ślepe od północy (od strony ogrodu), budynek był trzeźwo urządzony - jak przystało na budynek użytkowy - ale zgodnie z klasycznym repertuarem architektonicznym, zgodnie z bliskością Place de la Concorde i Pałacu Tuileries (obecnie zburzonego).
W okresie Trzeciej Republiki był wykorzystywany jako magazyn sprzętu, sala egzaminacyjna, zakwaterowanie dla zmobilizowanych żołnierzy i wielofunkcyjne miejsce wydarzeń sportowych. W 1921 roku został ostatecznie przekazany departamentowi Beaux-Arts, który uczynił go, podobnie jak jego sąsiad Jeu de Paume, załącznikiem Musée du Luxembourg, poprzednika Musée National d'Art Moderne.
