Zgodovina stavbe je nenavadna. Muzej se nahaja v središču Pariza, ob Seni, nasproti vrtov Tuileries, v nekdanji postaji Orsay, ki je bila zgrajena za svetovno razstavo leta 1900. Stavba je na neki način prvo "delo" v zbirkah Musée d'Orsay, ki predstavlja umetnost nekaj desetletij med letoma 1848 in 1914.
