Бившата оранжерия е построена през 1852 г. от архитекта Фирмен Буржоа и завършена от неговия наследник Лудовико Висконти, за да съхранява портокаловите дървета в градините Тюйлери. Дълга каменна кутия, остъклена на юг (откъм Сена) и сляпа на север (откъм градината), сградата е трезво декорирана - както подобава на утилитарна сграда - но в съответствие с класическия архитектурен репертоар, в съответствие с близостта ѝ до площад Конкорд и двореца Тюйлери (вече разрушен).
По време на Третата република тя е използвана като склад за оборудване, изпитна зала, жилище за мобилизирани войници и многофункционално място за спортни събития. През 1921 г. той окончателно е предаден на департамента за изящни изкуства, който го превръща, подобно на съседния Jeu de Paume, в пристройка към Musée du Luxembourg, предшественик на Musée National d'Art Moderne.