Az épület története szokatlan. A múzeum Párizs szívében, a Szajna partján, a Tuileriák kertjével szemben található, és az 1900-as világkiállításra épült egykori Orsay pályaudvaron kapott helyet. Az épület bizonyos értelemben a Musée d'Orsay gyűjteményeinek első "műve", amely az 1848 és 1914 közötti néhány évtized művészetét mutatja be.