Hartog is een zoon van Andries Scheffer en Rebekka Worms. Hij trouwde 11 augustus 1897 met Sophia Barend (A'dam, 25 oktober 1873), dochter van Isaac Barend en Klaartje Leendert Piller.
Kinderen
Rebecca, 7 oktober 1898 Amsterdam
Izak, 25 augustus 1900 Amsterdam
Saartje, 9 september 1902 (+ 21 jan 1905)
Bron SAA archiefkaart Sophia Barend 25-10-1873 en wiewaswie.nl (huwelijk Sophia Barend en Hartog Scheffer)