História budovy je nezvyčajná. Múzeum sa nachádza v centre Paríža, pozdĺž Seiny, oproti Tuilerijským záhradám a sídli v budove bývalej stanice Orsay, ktorá bola postavená pre Svetovú výstavu v roku 1900. Budova je svojím spôsobom prvým "dielom" v zbierkach Musée d'Orsay, ktoré prezentuje umenie niekoľkých desaťročí medzi rokmi 1848 a 1914.
