Jacob Vischjager was een zoon van Elias Vischjager en Leentje Swalleff. Hij trouwde op 14 Augustus 1907 in Amsterdam met Judic Schelvis, dochter van Mozes Schelvis en Marianne Wurms. Het echtpaar kreeg vijf kinderen, van wie Marianna slechts 2 jaar oud is geworden. De andere kinderen waren Lena, Mozes (die de oorlog heeft overleefd- echter niet zijn vrouw Branca Mok en zijn zeven kinderen), Elia…