Le cimetière est ouvert le 27 octobre 1843 pour y enterrer le curé de Marly, M. Edard. De simples pierres tombales y côtoient de grands monuments funéraires comme celui de Victorien Sardou, auteur dramatique français, avec deux colonnes corinthiennes en marbre rouge. D’illustres personnages y sont aussi enterrés : Auboyneau, Boissaye, Bouilhet, Saintine, Le Senne, le Belge André Baillon, Guitel, Yvert...

En 1919, le monument aux morts, d’après le projet de l’architecte Pierre Sardou, est érigé. En 1927, il est décidé que les concessions autour de ce monument seront réservées à celles et ceux qui auront rendu des "services publics ou nationaux". On y trouve, notamment, la tombe de Pierre Bourdan, ministre de la Jeunesse, des Arts et des Lettres en 1947 après avoir été l’une des voix de la France libre.