Historie budovy je neobvyklá. Muzeum se nachází v samém srdci Paříže, podél Seiny, naproti Tuilerijským zahradám, a sídlí v budově bývalého nádraží Orsay, postavené pro Světovou výstavu v roce 1900. Svým způsobem se jedná o první "dílo" ve sbírkách Musée d'Orsay, které představuje umění několika desetiletí mezi lety 1848 a 1914.
