Joseph Hartog was een zoon van Isaac Hartog en Sara de Vries. Hij trouwde op 20 April 1932 met Anna Swalef, dochter van Salomon Swalef en Kaatje Roozelaar. Het echtpaar kreeg twee zonen: Isaac en Salomon.
Stadsarchief Amsterdam, archiefkaart Joseph Hartog en Anna Swalef.