Jacob Visser was een zoon van Mozes Visser en Esther Hakker. Hij trouwde op 14 April 1910 in Groningen met een niet-Joodse vrouw, met wie hij in 1911 een dochter kreeg. Het huwelijk eindigde door echtscheiding op 17 Mei 1918. Jacob Visser hertrouwde elf jaar later, op 11 September 1929 met Adèle Leeuwin, een dochter van Hijman Leeuwin en Rachel de Smitt. Jacob en Adèle hadden samen geen kinderen…