Bygningens historie er uvanlig. Museet ligger i hjertet av Paris, langs Seinen, rett overfor Tuileries-hagene, i den tidligere Orsay-stasjonen, en bygning som ble oppført til verdensutstillingen i 1900. Bygningen er på sett og vis det første "verket" i Musée d'Orsays samlinger, og presenterer kunsten fra de få tiårene mellom 1848 og 1914.
