Историята на сградата е необичайна. Разположен в сърцето на Париж, на брега на Сена, срещу градините Тюйлери, музеят се помещава в бившата гара Орсе - сграда, построена за Световното изложение през 1900 г. В известен смисъл сградата е първото "произведение" в колекциите на Музея д'Орсе, представящо изкуството на няколкото десетилетия между 1848 и 1914 г.
