Ernst Joseph is de zoon van koopman Joseph Samuel Joseph en Helene Moses. Hij wordt in het Duitse Kettwig, een wijk van de stad Essen, geboren. In het stadsarchief van Essen is vastgelegd dat dit in Mintard is, of in Kettwig vor der Brücke, een stadsdeel aan de andere (zuidelijke) kant van Kettwig en de rivier de Ruhr.
Het echtpaar krijgt naast Ernst nog vier kinderen, Siegfried, Erna (Ernestine),…