بُنيت دار البرتقال السابقة في عام 1852 على يد المهندس المعماري فيرمين بورجوا وأكملها خليفته لودوفيكو فيسكونتي لإيواء أشجار البرتقال في حدائق التويلري. كان المبنى عبارة عن صندوق حجري طويل مزجج من الجنوب (على جانب نهر السين) ومعمى من الشمال (على جانب الحديقة)، وكان المبنى مزخرفاً بشكل رصين - كما يليق بمبنى نفعي - ولكن بما يتماشى مع الذخيرة المعمارية الكلاسيكية، تماشياً مع قربه من ساحة الكونكورد وقصر التويلري (الذي تم هدمه الآن).
خلال الجمهورية الثالثة، تم استخدامه كمستودع للمعدات، وقاعة للامتحانات، ومساكن للجنود المعبئين ومكان متعدد الأغراض للأحداث الرياضية. وفي عام 1921، تم تسليمه أخيراً إلى قسم الفنون الجميلة، مما جعله مثل جاره متحف الفن الحديث (Jeu de Paume) ملحقاً بمتحف لوكسمبورغ، وهو سلف المتحف الوطني للفنون الحديثة.
