Bygningens historie er usædvanlig. Museet ligger i hjertet af Paris, langs Seinen, overfor Tuileriehaven, og har til huse i den tidligere Orsay-station, en bygning, der blev opført til Verdensudstillingen i 1900. Bygningen er på en måde det første "værk" i Musée d'Orsays samlinger, som præsenterer kunsten fra de få årtier mellem 1848 og 1914.
