Joseph is een zoon van Meijer Barend Swaab en Marretje Ruben Gans. Hij trouwde 17 november 1869 met Vogeltje Achtsteribbe (28 jaar), dochter van Andries Salomon Achsteribbe en Jansje Hartog Plikker.
Na het overlijden van Vogeltje hertrouwde hij 9 juli 1873 met Leentje de Groote, dochter van Frona de Groote.
Kinderen
Maria, 4 oktober 1873 Utrecht
Jeanetta, 11 september 1875 Utrecht
Mijer, 2 augustus 1877 Utrecht
Betje, 12 april 1879 Utrecht
Rachel, 11 november 1880 Utrecht
Hartog, (overl. 7 dec 1882, o jaar oud)
Hartog, 24 november 1884 Utrecht
Saartje, 1 februari 1887 Utrecht
Clara, 16 augustus 1888 (overl. 1 juli 1893)
Nathan, 21 december 1889 Utrecht
Frederika, 16 december 1891 Utrecht
Judis, 29 sept 1894 (overl. 20 jan 1896)
Bron wiewaswie.nl (Leentje de Groote en Joseph Swaab)