Die Geschichte des Gebäudes ist nicht alltäglich. Das Museum liegt im Herzen von Paris, an der Seine, gegenüber dem Tuileriengarten, und hat seinen Platz im alten Bahnhof von Orsay gefunden, einem Gebäude, das für die Weltausstellung 1900 gebaut wurde. Somit ist das Gebäude gewissermaßen das erste "Werk" der Sammlungen des Musée d'Orsay, das die Kunst der wenigen Jahrzehnte zwischen 1848 und 1914 präsentiert.