Открит на 11 декември 1902 г. като музей под името Palais des Beaux-Arts de la ville de Paris, Малкият дворец първоначално е построен за Световното изложение през 1900 г. Разположен в престижната среда на градините на Шанз-Елизе, Petit Palais е част от монументален комплекс, който включва Grand Palais и моста Александър III. Шарл Жиро го проектира по трапецовиден план, включващ четири сгради, разположени около полукръгла вътрешна градина, ограничена от перистил.