Raphael Ensel trouwde op 23 maart 1881 met Klaartje Worms (Amsterdam, 29 augustus 1861). Samen kregen zij niet één, maar twee kinderen: Rachel Wegloop – Ensel (Amsterdam, 28 juni 1881) en Philip Ensel (Amsterdam, 13 oktober 1882). Klaartje overleed op 12 november 1882, een maand na de geboorte van Philip.
Na haar overlijden, trouwde hij met Salina Behr. Kort na het huwelijk met Salina, overleed Philip Ensel, de zoon uit zijn eerste huwelijk met Klaartje Worms. Philip overleed op tweejarige leeftijd op 6 december 1884.