Petit Palais avattiin 11. joulukuuta 1902 museoksi nimellä Palais des Beaux-Arts de la ville de Paris, ja se rakennettiin alun perin vuoden 1900 maailmannäyttelyä varten. Petit Palais sijaitsee Champs-Élysées'n puutarhojen arvokkaassa ympäristössä, ja se on osa monumentaalista kokonaisuutta, johon kuuluvat myös Grand Palais ja Aleksanteri III:n silta. Charles Girault suunnitteli sen puolisuunnikkaan pohjapiirroksen mukaan, joka koostuu neljästä rakennuksesta, jotka on sijoitettu puoliympyrän muotoisen sisäpuutarhan ympärille, jota reunustaa peristyyli.
