Το πρώην πορτοκαλεώνα χτίστηκε το 1852 από τον αρχιτέκτονα Firmin Bourgeois και ολοκληρώθηκε από τον διάδοχό του, Ludovico Visconti, για να στεγάσει τις πορτοκαλιές στους κήπους των Tuileries. Ένα μακρόστενο πέτρινο κιβώτιο, με υαλοπίνακες προς τα νότια (στην πλευρά του Σηκουάνα) και τυφλό προς τα βόρεια (στην πλευρά του κήπου), το κτίριο ήταν λιτά διακοσμημένο -όπως αρμόζει σε ένα χρηστικό κτίριο- αλλά σύμφωνα με το κλασικό αρχιτεκτονικό ρεπερτόριο, σε συνάρτηση με την εγγύτητά του στην Place de la Concorde και το Παλάτι των Tuileries (που σήμερα έχει κατεδαφιστεί).
Κατά τη διάρκεια της Τρίτης Δημοκρατίας, χρησιμοποιήθηκε ως αποθήκη εξοπλισμού, αίθουσα εξετάσεων, κατάλυμα για κινητοποιημένους στρατιώτες και χώρος πολλαπλών χρήσεων για αθλητικές εκδηλώσεις. Το 1921, παραχωρήθηκε τελικά στο τμήμα Beaux-Arts, το οποίο το κατέστησε, όπως και το γειτονικό του Jeu de Paume, παράρτημα του Musée du Luxembourg, του προκατόχου του Musée National d'Art Moderne.
