Bekas pabrik jeruk ini dibangun pada tahun 1852 oleh arsitek Firmin Bourgeois dan diselesaikan oleh penggantinya, Ludovico Visconti, untuk menampung pohon-pohon jeruk di kebun Tuileries. Sebuah kotak batu panjang, berkaca di bagian selatan (di sisi Seine) dan tidak tembus pandang di bagian utara (di sisi taman), bangunan ini didekorasi dengan sederhana - sebagaimana layaknya sebuah bangunan yang bermanfaat - namun tetap sesuai dengan khazanah arsitektur klasik, sesuai dengan lokasinya yang berdekatan dengan Place de la Concorde dan Istana Tuileries (kini telah dihancurkan).
Selama Republik Ketiga, gedung ini digunakan sebagai gudang peralatan, ruang pemeriksaan, akomodasi untuk tentara yang dimobilisasi dan tempat serbaguna untuk acara olahraga. Pada tahun 1921, akhirnya diberikan kepada departemen Beaux-Arts, yang menjadikannya, seperti tetangganya, Jeu de Paume, sebagai lampiran dari Musée du Luxembourg, pendahulu Musée National d'Art Moderne.
