Isaak Joseph was getrouwd met Duifje van Biene. Ze kregen 2 kinderen: Joseph (26-06-1930) en Mozes (27-04-1937). Bij het uitbreken van de oorlog woonde het gezin aan de Kerkstraat 5 in Zwolle. Op 15-01-1942 moesten zij hun winkel sluiten wegens 'De verordening tot verwijdering van joden uit het bedrijfsleven. In april 1943 zijn zij vanuit Amsterdam naar kamp Vught getransporteerd. Hier kwam het hele gezin aan op 16-04-1943. Isaac (hier beschreven met een C) wordt te werk gesteld in werkkamp Moerdijk, terwijl zijn gezin verblijft in barak 32B. Op 18-10-1943 komt Isaac aan in kamp Westerbork. Zijn gezin is hier al eerder naartoe gebracht, maar hebben hier slechts een paar uren doorgebracht. Vanuit Westerbork werden zij vrijwel direct gedeporteerd naar vernietigingskamp Sobibor. Hier werden zij op 11-06-1943 in de gaskamers vermoord.
Isaac Joseph werd een dag na aankomst in Westerbork met 1006 anderen gedeporteerd naar concentratiekamp Auschwitz. Bij aankomst werd hij samen met 346 andere mannen te werk gesteld. Uiteindelijk is zijn (administratieve) sterfdatum vastgesteld op 31-03-1944.