Historia budynku jest niezwykła. Położone w samym sercu Paryża, wzdłuż Sekwany, naprzeciwko Ogrodów Tuileries, muzeum mieści się w dawnym dworcu Orsay, budynku zbudowanym na Wystawę Powszechną w 1900 roku. W pewnym sensie budynek ten jest pierwszym "dziełem" w zbiorach Musée d'Orsay, prezentującym sztukę kilku dekad między 1848 a 1914 rokiem.
