Er studierte Geschichte und Theologie an den Universitäten Zürich, Jena, Halle und Berlin und wurde 1836 in Jena promoviert. In Basel habilitierte er sich 1839 und war bis 1843 Dozent für Literaturgeschichte. Von 1844 bis 1851 war er Lehrstuhlinhaber für Geschichte an der Universität Berlin und Berater des Königs Friedrich Wilhelm IV. 1851 kehrte er aus gesundheitlichen Gründen nach Basel zurück und gab von 1853 bis 1870 die Protestantischen Monatsblätter für innere Zeitgeschichte heraus.
Im Auftrage des Bundesrates reiste er als Vermittler im Zusammenhang mit dem Neuenburger Handel (1856–1857) nach Berlin. Er galt ab ca. 1860 als wichtigster Berater des Großherzogs Friedrich I. von Baden. Dieser ernannte ihn am 27. Juli 1866 zum Staatsrat.
Am 5. April 1873 verlieh ihm Kaiser Wilhelm I. den königlichen Kronenorden zweiter Klasse, 1886 erhielt er den Dr. h. c. der Theologie der Universität Jena.
Er war seit 1844 mit Julie Sarasin (1825–1912) verheiratet. Der Althistoriker und Klassische Philologe Heinrich Gelzer war sein Sohn und der Theologe Christophe Senft sein Enkel. Seine letzte Ruhestätte fand er auf dem Wolfgottesacker in Basel.
Die letzten drei Jahrhunderte der Schweizergeschichte. 2 Bände, Aarau; Thun 1838–1839.
Die Religion im Leben oder die christliche Sittenlehre. Reden an die Gebildeten. Zürich 1839 (4. Aufl. 1863).
Die zwei ersten Jahrhunderte der Schweizergeschichte. Basel: Schweighauser 1840.
Die deutsche poetische Literatur seit Klopstock und Lessing nach ihren ethischen und religiösen Gesichtspunkten. Leipzig: Weidmann 1841.
Die Straussischen Zerwürfnisse in Zürich von 1839. Zur Geschichte des Protestantismus. Eine historische Denkschrift. Hamburg: Perthes 1843 (betrifft den Theologen David Friedrich Strauß).
Die ethische Bedeutung der Geschichte für die Gegenwart. Berlin 1844.
Die Bedeutung der kirchlichen Bewegungen in der Schweiz seit 1839, Zürich: Höhr 1847.
Die neuere deutsche National-Literatur nach ihren ethischen und religiösen Gesichtspunkten. Zur innern Geschichte des deutschen Protestantismus. Zwei Bände. 2. bzw. 3. Aufl. Leipzig: Hirzel 1849/1858.
Protestantische Briefe aus Südfrankreich und Italien. Zürich: Höhr 1852.
Ausgewählte kleine Schriften. Hrsg. von Heinrich Gelzer. Leipzig: Teubner 1907.
Werner Meyer: Demokratie und Cäsarismus: Konservatives Denken in der Schweiz zur Zeit Napoleons III. Bern: Herbert Lang; Frankfurt/M.: Peter Lang 1975, ISBN 326101508X (Europäische Hochschulschriften. Reihe 03, Geschichte und ihre Hilfswissenschaften; 48) (Diss. phil.-hist. Basel).