Бывшая оранжерея была построена в 1852 году архитектором Фирмином Буржуа и достроена его преемником Людовико Висконти для размещения апельсиновых деревьев в садах Тюильри. Длинная каменная коробка, застекленная с юга (со стороны Сены) и глухая с севера (со стороны сада), была скромно оформлена - как и подобает утилитарному зданию - но в соответствии с классическим архитектурным репертуаром, учитывая близость к площади Согласия и дворцу Тюильри (ныне снесенному).
Во времена Третьей республики здание использовалось как склад снаряжения, смотровая комната, жилье для мобилизованных солдат и многоцелевое место для проведения спортивных мероприятий. В 1921 году он был окончательно передан департаменту изящных искусств, который сделал его, как и соседний Jeu de Paume, приложением к Люксембургскому музею, предшественнику Национального музея современного искусства.
