Weduwnaar van Jacoba de Graaf.
Oud-wethouder De Klerk werd geboren op 5 december 1913 in Blaricum: Herman Petrus de Klerk, zoon van schoenmaker Cornelis de Klerk en Antonia de Jong. Herman de Klerk trad al jong in de voetsporen van zijn vader, in meer dan één opzicht. Niet alleen werd hij net als zijn vader schoenmaker, ook zijn (latere) politieke betrokkenheid had hij niet van een vreemde.