Joël ging van 10 september 1895 tot 1903 naar de Groningse dovenschool. Volgens de gegevens van de school was hij doof geboren.

Zijn vader was winkelier van beroep.

Joël leerde kleermaken, maar werd sigarensorteerder van beroep.

Na de vakantie van 1903 bleef hij weg van school.

Joël was gehuwd met Alida van Moppes, zij was horend. Zij kregen een zoon: Jacob Nunes Cardozo (1917-1943).
 
Joël had een dove broer: David Nunes Cardozo, drie dove nichten: Anna Nunes Cardozo, Grietje Nunes Cardozo en Maud Nunes Cardozo, en een dove neef: Philip Nunes Cardozo. Joël had ook een dove achterneef: Emanuel (Flip) Delmonte. Hij overleefde de oorlog.