Initialement appelé le cimetière sud et plus tard celui du Montparnasse, il fut réalisé à l'origine sur un enclos appartenant avant la Révolution aux religieux de la Charité. Cet enclos permettait aux séminaristes des Jésuites de Vaugirard d'y prendre leur repos.
C'est en 1824 que fut inauguré le cimetière. Un agrandissement y fut réalisé en 1847. En 1891, sa surface fut légèrement diminuée par l'élargissement de la rue Froidevaux située au sud et la création de voies adjacentes dont la rue Émile Richard.
De 1825 à 1883, ce cimetière avait pour surnom : "le champ de navets", dénomination réservée aux condamnés…