Відкритий 11 грудня 1902 року як музей під назвою Палац витончених мистецтв міста Парижа, Малий палац спочатку був побудований для проведення Всесвітньої виставки 1900 року. Розташований у престижному оточенні садів Єлисейських полів, Малий палац є частиною монументального комплексу, що включає Великий палац і міст Олександра ІІІ. Шарль Жиро спроектував його за трапецієподібним планом, що складається з чотирьох будівель, розташованих навколо напівкруглого внутрішнього саду, облямованого перистилем.