Sophie en Sally trekken zich uit het bedrijf terug en proberen te vluchten. December 1938 worden ze uit de burgerlijke stand geschreven en vertrekken naar Amsterdam. Op 20 juli 1940 sterft Sally aan een hartaanval. Hij is 65 jaar.
Dochter Ilse vertrekt in 1937 naar Nederland. Eind 1943 komt Ilse aan in kamp Westerbork. Van daaruit werd ze in februari 1944 gedeporteerd naar Bergen Belsen. Ze werkt bijna een jaar als verpleegster in Bergen-Belsen. Op 21 januari 1944 reisde ze via Zwitserland naar Algerije met een uitwisselingstransport.
Zoon Kurt Simon vlucht in 1938 via Zürich naar de Verenigde Staten. Zoon Rudolf vlucht in 1938 naar Engeland. Alle drie kinderen overleven de oorlog. Het vierde kind was in 1936 overleven aan leukemie.