Jacob Visser was een zoon van Mozes Visser en Esther Hakker. Hij trouwde op 14 April 1910 in Groningen met een niet-Joodse vrouw, met wie hij in 1911 een dochter kreeg. Het huwelijk eindigde door echtscheiding op 17 Mei 1918. Jacob Visser hertrouwde elf jaar later, op 11 September 1929 met Adèle Leeuwin, een dochter van Hijman Leeuwin en Rachel de Smitt. Jacob en Adèle hadden samen geen kinderen.
Adèle Leeuwin echter was op 1 Februari 1916 eerder gehuwd met een jongere broer van Jacob, Jesaia Visser, die op 7 Juli 1925 is overleden en op 9 Juli is begraven op de Joodse Begraafplaats te Muiderberg. Adèle en Jesaia hadden samen een zoon Maurits, die in 1917 geboren werd en die op 16 Juli1942 huwde met Sonja Josephina Diependaal een dochter van Kaatje Diependaal-Krant. Haar vader overleefde de oorlog is na de oorlog hertrouwd.
Stadsarchief Amsterdam, archiefkaarten Mozes Visser, Jacob Visser, Adèle Leeuwin en website www.wiewaswie.nl.