Ēkas vēsture ir neparasta. Muzejs atrodas pašā Parīzes sirdī, pie Sēnas, iepretim Tuilēriju dārziem, bijušajā Orsē stacijā - ēkā, kas celta 1900. gada Vispārējai izstādei. Savā ziņā šī ēka ir pirmais "darbs" Orsē muzeja kolekcijās, kas iepazīstina ar dažu desmitgažu mākslu no 1848. līdz 1914. gadam.
