Byggnadens historia är ovanlig. Museet ligger i hjärtat av Paris, längs Seine, mittemot Tuilerieträdgården, och är inrymt i den tidigare Orsay-stationen, en byggnad som uppfördes för världsutställningen 1900. Byggnaden är på sätt och vis det första "verket" i Musée d'Orsays samlingar och presenterar konsten från de få decennierna mellan 1848 och 1914.