Rakennuksen historia on epätavallinen. Museo sijaitsee Pariisin sydämessä Seinen varrella Tuileries-puutarhaa vastapäätä, ja se on sijoitettu entiseen Orsayn asemaan, joka rakennettiin vuoden 1900 maailmannäyttelyä varten. Rakennus on tavallaan Musée d'Orsayn kokoelmien ensimmäinen "teos", joka esittelee vuosien 1848 ja 1914 välisten muutamien vuosikymmenten taidetta.
