Joseph van Cleef was een zoon van Simon van Cleef en Judith Polak. Hij trouwde op 9 april 1941 in Amsterdam met Esther Agsteribbe, een dochter van Gerrit Agsteribbe en Marianne Bromet.
Zijn broers en zusters die ook tijdens de Holocaust zijn omgekomen waren Abraham, Mozes, Doortje en Rebecca.
Stadsarchief Amsterdam, archiefkaart Joseph van Cleef