Hoone ajalugu on ebatavaline. Muuseum asub Pariisi südames, Seine'i ääres, Tuileries' aedade vastas, ja see asub endises Orsay jaamas, mis ehitati 1900. aasta maailmanäituse jaoks. Teatud mõttes on see hoone esimene "töö" Musée d'Orsay kogudes, mis tutvustab paari aastakümne kunsti aastatel 1848-1914.
