O antigo laranjal foi construído em 1852 pelo arquiteto Firmin Bourgeois e completado pelo seu sucessor, Ludovico Visconti, para albergar as laranjeiras dos jardins das Tulherias. Caixa de pedra comprida, envidraçada a sul (do lado do Sena) e cega a norte (do lado do jardim), o edifício foi decorado de forma sóbria - como convém a um edifício utilitário - mas de acordo com o repertório arquitetónico clássico, em consonância com a sua proximidade da Praça da Concórdia e do Palácio das Tulherias (hoje demolido).
Durante a Terceira República, foi utilizado como depósito de equipamento, sala de exames, alojamento para soldados mobilizados e local polivalente para eventos desportivos. Em 1921, foi finalmente entregue ao departamento das Belas-Artes, que o transformou, tal como o seu vizinho Jeu de Paume, num anexo do Museu do Luxemburgo, antecessor do Museu Nacional de Arte Moderna.
