Abraham was getrouwd met Marijtje Serlui.
Zij woonden in de Nieuwe Kerkstraat en later in de Van Musschenbroekstraat.
Het was een traditioneel Portugees Joods gezin en zij hadden zes kinderen.
Volgens traditie mocht de oudste studeren en de andere kinderen moesten werken.
Abraham had een ORT kruidenierszaak, die alom bekend was, in de Weesperstraat, met wel 200 soorten kaas.
Als mensen vroeger uitgingen, ging men vaak na afloop een broodje kopen bij De Haas en als beleg kaas kopen bij Cardozo.
De zes kinderen waren :
David Abraham Jessurun Cardozo geboren op 29-3-1896 en overleden op 31-8-1972 in New York,
Mozes (Mau) Cardozo geboren op 14-11-1897 en overleden op 24-2-1985 in Amsterdam,
Isaac Cardozo geboren op 27-5-1899 en vermoord in Sobibor op 9-7-1943,
Machiel Cardozo geboren op 17-2-1904 en vermoord in Sobibor op 9-7-1943,
Rachel Cardozo geboren op 17-2-1904 en overleden in Bloemendaal op 14-3-1988,
Jeanette Cardozo geboren op 15-12-1909 en overleden in 1998 in New York.