Η ιστορία του κτιρίου είναι ασυνήθιστη. Το μουσείο βρίσκεται στην καρδιά του Παρισιού, κατά μήκος του Σηκουάνα, απέναντι από τους κήπους Tuileries, και στεγάζεται στον πρώην σταθμό Orsay, ένα κτίριο που κατασκευάστηκε για την Παγκόσμια Έκθεση του 1900. Κατά κάποιον τρόπο, το κτίριο αποτελεί το πρώτο "έργο" στις συλλογές του Musée d'Orsay, παρουσιάζοντας την τέχνη των λίγων δεκαετιών μεταξύ 1848 και 1914.
