Karel Emil van Zwanenburg was een zoon Salomon van Zwanenburg en Estella Jacobs. Zijn ouders waren al ver voor de oorlog overleden: zijn moeder, Estella Jacobs uit Zwolle overleed 23 Augustus 1917 als weduwe van Salomon Zwanenburg op 78-jarige leeftijd in Rotterdam, en is begraven op de Joodse Begraafplaats Toepad in Rotterdam. Hij had nog een broer Albert Lodewijk en een ongehuwde zuster Therese …