Jozef trouwt op 16 december 1888 in Groningen met Rebecca (Betty) Hildesheim, wier familie een bakkerij in de Folkingestraat heeft. Ze krijgen vijf kinderen: Julius 1889, Mietje Mirjam 1891, Sara 1892, Izaak Philip 1894 en Maurits Jozef 1895.
Jozef en Rebekka zijn actieve zionisten, maar blijven in Nederland, in tegenstelling tot hun kinderen later. De kinderen overleven allemaal de oorlog en wonen verspreid over de hele wereld.
Vanaf 1 januari 1921 wonen Jozef en Rebekka aan de Westersingel, soms met enkele kinderen en kleinkinderen.
Jozef en Rebecca Gerzon, met hun dochter Mirjam en zoon Izaac Phillip
Jozef Gerzon met zijn zoon Izaak Philip en twee kleinzonen, Joost Gerzon, zoon van Jules, en Joop Gerzon, zoon van Maurice. Bron: familiearchieven