Joseph zijn ouders waren Salomon Swaalep en Marianne Brilleman. Hij had vijf broers en een zus: Jacob (1868-1913), Eliazer (1872-1972), Abraham (1874-1938), Hijman (1876-1942), Simon (1879-1943) en Naatje (1882-1942). Na de dood van zijn moeder hertrouwde Salomon Swaalep met Betje Manheim (1853-1940). Zij kregen samen zes kinderen, halfbroers/-zussen van Joseph: Herman (1886-1942), Regina (1889-1895), Rebekka (1891-1943), Benjamin (1893-1943), Geertje (1894-1942) en Mourits (1897-1898).
Addition