Binanın tarihi sıra dışıdır. Paris'in kalbinde, Seine Nehri kıyısında, Tuileries Bahçeleri'nin karşısında yer alan müze, 1900 Evrensel Sergisi için inşa edilen eski Orsay istasyonunda yer almaktadır. Bina bir bakıma Musée d'Orsay'ın koleksiyonlarındaki ilk "eser" olup, 1848 ile 1914 yılları arasındaki birkaç on yılın sanatını sunmaktadır.