Hartog trouwde op 16 januari 1900 in Hoorn met Rosalina Zeehandelaar. Hartog en Rosalina kregen vijf kinderen: Louis, Abraham, Naatje, Clara en David. Louis is de enige van hen die in de sjoa omkomt.
Rosalina overleed in Bussum in 1933 en werd in Muiderberg begraven.
Op 28-11-1940 trad Hartog in het huwelijk met Rosetta van der Borg.