Joseph werd slachtoffer van de jodenjagers Maarten Spaans en M.C. Dusschoten. Joseph Lopes Cardozo was gemengd gehuwd, zijn vrouw woonde Valkenboschkade 563, Den Haag. Hij bewoonde samen met zijn broer Lodewijk Lopes Cardozo en diens echtgenote Greet van Amstel, de benedenverdieping van Nwe Herengracht 35.
Op 22 maart 1944 waren Bettij Krieks, Paul Wichman (zoon van de kunstenaar Erich Wichman) en Sonja (officieel 'Rita') Lopes Cardozo op bezoek. Sonja was de dochter van Lo en Greet. Sonja had daarvoor haar eigen onderduikadres bij de familie Pelgrom, Kloveniersburgwal 91 verlaten. Dat deed ze wel vaker.
Die dag werd door Spaans en Dusschoten cs een inval gedaan. Lodewijk, Greet en Betty hadden valse persoonsbewijzen, Joseph Lopes Cardozo gaf toe jood te zijn na in het gezicht te zijn geslagen. Alle joden werden meegenomen. Gewoontegetrouw werd er vanaf de Kloveniersburgwal eten gebracht. Die dag was het de beurt aan een dochter van Pelgrom, ze kwam soep brengen. De jodenjagers waren al op de hoogte van de situatie op de Kloveniersburgwal. Ze dwongen Pelgroms dochter enige uren later bij haar eigen huis aan te bellen en pleegden vervolgens ook daar een inval.