Jacob Hirschhorn was de zoon van Sarica Tuvy (1890-1940) en Jonas Hirschhorn (1882-1963).
Hij was een pleegzoon van zijn oom Alfred Tuvy, de broer van Sarica. Jacob woonde bij zijn oom Alfred en grootouders, Leon Haim Tuvy en Rosa Tuvy-Eskenasi, op het adres Eikenlaan 149 in Schiebroek.