1902 m. gruodžio 11 d. atidarytas muziejus, pavadintas Palais des Beaux-Arts de la ville de Paris, iš pradžių buvo pastatytas 1900 m. pasaulinei parodai. Įsikūrę prestižinėje Eliziejaus laukų sodų aplinkoje, Mažieji rūmai yra monumentalaus komplekso, kurį sudaro Didieji rūmai ir Aleksandro III tiltas, dalis. Šarlis Žiro (Charles Girault) suprojektavo jį pagal trapecijos formos planą, kurį sudaro keturi pastatai, išdėstyti aplink pusapskritimį vidinį sodą, kurį riboja peristilas.
