Joseph zijn ouders waren Salomon Swaalep en Marianne Brilleman. Hij had vijf broers en een zus: Jacob (1868-1913), Eliazer(1872-1972), Abraham (1874-1938), Hijman (1876-1942), Simon (1879-1943) en Naatje (1882-1942). Na de dood van zijn moeder hertrouwde Salomon Swaalep met Betje Manheim (1853-1940). Zij kregen samen zes kinderen, halfbroers/-zussen van Joseph: Herman (1886-1942), Regina (1889-18…