Joseph van Loggem was een zoon van Jonas van Loggem en Saartje Walg. Hij trouwde op 4 November 1931 in Amsterdam met Bloeme Cohen, een dochter van Mozes Cohen en Mietje Vischschraper.
Joseph had acht broers en zusters, waarvan één broer de oorlog heeft overleefd. Zijn andere broers en zusters, die eveneens tijdens de oorlog zijn omgekomen waren Rebecca, Jacob, Levie, Rozette, Samuel, Max en Hartog…