Fosta orangerie a fost construită în 1852 de arhitectul Firmin Bourgeois și finalizată de succesorul său, Ludovico Visconti, pentru a adăposti portocalii din grădina Tuileries. O cutie lungă din piatră, cu geamuri la sud (pe malul Senei) și oarbă la nord (pe malul grădinii), clădirea a fost decorată sobru - așa cum se cuvine unei clădiri utilitare -, dar în conformitate cu repertoriul arhitectural clasic, în concordanță cu apropierea sa de Place de la Concorde și de Palatul Tuileries (în prezent demolat).
În timpul celei de-a Treia Republici, clădirea a fost folosită ca depozit de echipamente, sală de examinare, locuință pentru soldații mobilizați și sală polivalentă pentru evenimente sportive. În 1921, a fost în cele din urmă cedat departamentului Beaux-Arts, care l-a transformat, ca și pe vecinul său Jeu de Paume, într-o anexă a Musée du Luxembourg, predecesorul Musée National d'Art Moderne.
