Pont Notre-Dame on ehkä vähemmän kuuluisa kuin muutamat muut Pariisin sillat, mutta sen historia on yksi mielenkiintoisimmista. Tämän sillan juuret ulottuvat antiikin ajalle, sillä juuri tälle sillalle rakennettiin yksi historian ensimmäisistä Pariisin silloista: Grand Pont!
Viikinkien piirittäessä Pariisia 900-luvun lopulla silta korvattiin lankkusillalla, Pont de Planches-Mibrayllä, joka kesti vuoden 1406 tulviin asti. 15 vuotta myöhemmin Kaarle VI vihki käyttöön uuden, vankan puusillan: Pont Notre-Dame. Sinne rakennettiin taloja ja hienoja kauppoja sekä myllyjä, kuten tuolloin oli muotia. Mutta sillan varrella asuminen oli tuohon aikaan vaarallista. Ja ensimmäisellä tulvalla... Niistä ei ollut pulaa. Vuonna 1499 osa Pont Notre-Dame -sillasta romahti ja veti talot mukanaan.
Koska Pont Notre-Damea käytettiin karjan ja tavaroiden kuljettamiseen, se päätettiin nopeasti rakentaa uudelleen. Vuonna 1512 rakennettiin uusi rakenne, ja sinne sijoitettujen kauppojen ansiosta siitä tuli suosittu kauppapaikka. Tiedoksi, että Pont Notre-Dame -kadun talot olivat ensimmäiset Pariisissa, jotka numeroitiin!
1700-luvun lopulla Pont Notre-Dame, joka oli tuolloin Pariisin vanhin silta, koki useita muutoksia: epäterveiksi muuttuneet talot purettiin kuningas Ludvig XV:n määräyksestä, ja sinne rakennettiin jalkakäytäviä. Ranskan vallankumouksen aikana Pont Notre-Dame nimettiin Pont de la Raisoniksi (järjen sillaksi), mutta 1800-luvun lopulla se nimettiin Pont du Diableksi (paholaisen sillaksi ), koska sen viiden kaaren välissä tapahtui liikaa jokionnettomuuksia.
Näiden merionnettomuuksien korjaamiseksi silta tuhoutui osittain ja rakennettiin uudelleen vuonna 1919 Jean Résalin suunnitelmien mukaan, joka oli jo suunnitellut Pont Mirabeaun ja Pont Alexandre III:n. Silta oli myös suunniteltu. Tämän sillan yli pääsee vielä nykyäänkinIle de la Citén saarelle!