Etienne Marcel fait l'acquisition de la « maison des piliers » au nom de la municipalité en juillet 1357. C'est là que, depuis lors, se dresse le centre des institutions municipales de Paris.
La « maison des piliers » est remplacée au XVI e siècle par un véritable palais dessiné par l'architecte italien Boccador. Sa construction débute en 1533 et s'achève en 1628. Des extensions sont ajoutées entre 1836 et 1850 tout en préservant la façade renaissance.
L'incendie allumé par les Communards en mai 1871 réduit le palais en cendres. Le bâtiment est reconstruit entre 1874 et 1882 sur des plans des architectes Théodor Ballu et Edouard Deperthes. La façade, de style renaissance, s'inspire largement de celle du bâtiment disparu.