Колишня оранжерея була побудована в 1852 році архітектором Фірменом Буржуа і добудована його наступником Людовіко Вісконті для розміщення апельсинових дерев у садах Тюїльрі. Довга кам'яна коробка, засклена з півдня (з боку Сени) і глуха з півночі (з боку саду), будівля була оформлена стримано, як і належить утилітарній споруді, але у відповідності до класичного архітектурного репертуару, враховуючи її близькість до площі Згоди і палацу Тюїльрі (нині знесеного).
За часів Третьої республіки він використовувався як склад спорядження, екзаменаційний зал, житло для мобілізованих солдатів і багатоцільовий майданчик для проведення спортивних заходів. У 1921 році він був остаточно переданий Департаменту витончених мистецтв, що зробило його, як і сусідній Жо-де-Пом, прибудовою до Люксембурзького музею, попередника Національного музею сучасного мистецтва.