Herman is een zoon van Joseph Smit en Eva Helena Berlijn. Na het overlijden van zijn moeder is zijn vader hertrouwd met Rebecca van Praag.