Hartog Gosler was een zoon van Abraham Gosler en Saartje Gans. Hij trouwde op 26 Maart 1924 in Amsterdam met Vogelina van Loon, een dochter van Salomon van Loon en Marianna Bonewit.
Het echtpaar kreeg drie kinderen die hier genoemd zijn: Sara, Salomon en Rosalina Marianna.
Hartog kwam uit een gezin met zes kinderen, waarvan er twee de oorlog hebben overleefd, De anderen, t.w. Rosalina, Isaak en Lo…