A história do edifício é invulgar. Situado no coração de Paris, ao longo do Sena, em frente aos Jardins das Tulherias, o museu está instalado na antiga estação de Orsay, um edifício construído para a Exposição Universal de 1900. De certa forma, o edifício é a primeira "obra" das colecções do Museu d'Orsay, apresentando a arte das poucas décadas entre 1848 e 1914.