Історія будівлі незвичайна. Розташований у самому центрі Парижа, на березі Сени, навпроти садів Тюїльрі, музей знаходиться в колишньому вокзалі Орсе, будівлі, збудованій для Всесвітньої виставки 1900 року. У певному сенсі, будівля є першим "твором" у колекціях Музею Орсе, що представляє мистецтво кількох десятиліть між 1848 і 1914 роками.