Karel Emil van Zwanenburg was een zoon Salomon van Zwanenburg en Estella Jacobs. Zijn ouders waren al ver voor de oorlog overleden: zijn moeder, Estella Jacobs uit Zwolle overleed 23 Augustus 1917 als weduwe van Salomon Zwanenburg op 78-jarige leeftijd in Rotterdam, en is begraven op de Joodse Begraafplaats Toepad in Rotterdam. Hij had nog een broer Albert Lodewijk en een ongehuwde zuster Therese van Zwanenburg.
Karel Emil van Zwanenburg huwde op 10 October 1912 in Rotterdam Rosalie Frank een dochter van Juda Frank en Sophia Herzdahl. Het echtpaar had geen kinderen. Na hun huwelijk woonden zij korte tijd in de Claes de Vrieselaan 103 b in Rotterdam maar vertrokken op 25 April 1914 naar de Amsterdamse Zeilstraat 35. Vandaar verhuisden zij op 27 November 1928 naar de Pieter Lastmankade 5 hs, van waar zij in 1943 werden weggehaald. Zij waren niet gesperrt.
Karel Emil van Zwanenburg werd op 15 April 1943 in Westerbork ingesloten in barak 60. Hoe er getracht werd aan verdere deportatie te ontkomen blijkt uit de gegevens van de registratiekaart van de Joodse Raad van Karel Emil van Zwanenburg: er is op 16 April aan de heer S.H. de Marez Oyens in de Lairessestraat 123 te Amsterdam bericht dat zijn Barneveld aangelegenheid reeds via "den Beauftragte",(gevolmachtigde) al in behandeling zou zijn bij het departement. Een akkoord moet door De Marez naar hem getelegrafeerd worden. Op 17 April verzoekt hij o.a. Abraham Asscher voor hem te interveniëren. Op 22 April wordt vanuit Westerbork aan De Marez Oyens meegedeeld dat wat betreft Barneveld, zonder officiële bevestiging “er hier niets te bereiken is”. En op 27 April worden Karel Emil van Zwanenburg en zijn vrouw Rosalie Frank op transport gesteld naar Sobibor, waar zij bij aankomst op 30 April 1943 direct werden vermoord.
Stadsarchief Rotterdam, gezinskaart Karel Emil van Zwanenburg; Stadsarchief Amsterdam, archiefkaart Karel Emil van Zwanenburg; het archief van de Joodse Raad, registratiekaarten van Karel Emil van Zwanenburg en Rosalie van Zwanenburg-Frank en een toevoeging van een bezoeker van de website.