El antiguo invernadero fue construido en 1852 por el arquitecto Firmin Bourgeois y terminado por su sucesor, Ludovico Visconti, para albergar los naranjos de los jardines de las Tullerías. Larga caja de piedra, acristalada al sur (del lado del Sena) y ciega al norte (del lado del jardín), el edificio estaba sobriamente decorado -como corresponde a un edificio utilitario- pero en consonancia con el repertorio arquitectónico clásico, acorde con su proximidad a la plaza de la Concordia y al palacio de las Tullerías (hoy demolido).
Durante la Tercera República, sirvió de depósito de material, de sala de reconocimiento, de alojamiento para los soldados movilizados y de lugar polivalente para acontecimientos deportivos. En 1921, fue finalmente cedido al departamento de Bellas Artes, que lo convirtió, al igual que su vecino el Jeu de Paume, en un anexo del Museo del Luxemburgo, predecesor del Museo Nacional de Arte Moderno.