Hartog is een zoon van Levie Hartog Gans (Amsterdam, 11 aug 1839) en Sara van Norden. Hij trouwde op 20 maart 1895 met Sara Sluijs (Amsterdam, 21 sept 1867 - Amsterdam, 30 sept 1919).
Uit dit huwelijk werden zeven kinderen geboren:
Levie (4 september 1895 - 15 januari 1943)
Jeannette (15 juni 1897)
Elsje (9 juni 1899 - 30 maart 1914)
Rosette (8 oktober 1900), trouwde in 1933 met Abraham Knoop (geb.…