Pastato istorija yra neįprasta. Muziejus įsikūręs pačioje Paryžiaus širdyje, palei Senos upę, priešais Tiuilri sodus, buvusioje Orsė stotyje, pastate, kuris buvo pastatytas 1900 m. Visuotinei parodai. Tam tikra prasme šis pastatas yra pirmasis Orsė muziejaus rinkinių "kūrinys", pristatantis kelių dešimtmečių nuo 1848 iki 1914 m. meną.
