桔园的前身是建筑师菲尔曼-布尔乔亚（Firmin Bourgeois）于 1852 年建造的桔园，后由其继任者路多维科-维斯康蒂（Ludovico Visconti）完成，用于安置杜伊勒利宫花园中的桔树。该建筑是一个长条形的石头盒子，南面（塞纳河一侧）是玻璃窗，北面（花园一侧）是盲窗，装饰简朴--就像一座实用主义建筑一样--但却与古典建筑风格一致，因为它靠近协和广场和杜伊勒利宫（现已拆除）。
在第三共和国时期，它曾被用作装备库、考场、动员士兵的住所以及体育赛事的多功能场地。1921 年，它最终被移交给了美术部门，与邻近的 "香榭丽舍大街"（Jeu de Paume）一样，成为了卢森堡博物馆的附属建筑，也就是国立现代艺术博物馆的前身。
