Eski portakal bahçesi 1852 yılında mimar Firmin Bourgeois tarafından inşa edilmiş ve halefi Ludovico Visconti tarafından Tuileries bahçelerindeki portakal ağaçlarını barındırmak üzere tamamlanmıştır. Güneyde (Seine tarafında) camlı ve kuzeyde (bahçe tarafında) kör olan uzun bir taş kutu olan bina, faydacı bir binaya yakışır şekilde sade bir şekilde dekore edilmiş, ancak Place de la Concorde ve Tuileries Sarayı'na (şimdi yıkılmıştır) yakınlığına uygun olarak klasik mimari repertuarına uygun olarak yapılmıştır.
Üçüncü Cumhuriyet döneminde teçhizat deposu, muayene odası, seferber edilen askerler için konaklama yeri ve spor etkinlikleri için çok amaçlı bir mekan olarak kullanılmıştır. Son olarak 1921 yılında, komşusu Jeu de Paume gibi onu da Musée National d'Art Moderne'in öncülü olan Musée du Luxembourg'un bir eki haline getiren Beaux-Arts departmanına verildi.
