Ernst Josef Prager was een zoon van Artur Prager en Luise Jaschkowitz. Hij had een jonger zusje, Inge, en nog een broer, die als enige van het gezin de oorlog overleefde.
Zie ook Mirjam Ohringer over Ernst Prager in: Peter Herman, Niet voor de school, niet voor het leven. De joodse leerlingen en docenten van het Barlaeus Gymnasium 1940-1945 (Amsterdam 2004), m.n. p. 47-48.
Ernst Josef Prager had een vriendin, Mirjam Ohringer. Zij zat in klas 4G van het Joods Lyceum in Amsterdam. Op de eerste schooldag kreeg zij bericht over de dood van haar vriend in Mauthausen. Mirjam vertelt uitgebreid over haar herinneringen aan die dag en de dag waarop Ernst werd gearresteerd, in het boek van Dienke Hondius: Absent: Herinneringen aan het Joods Lyceum Amsterdam 1941-1943 (Amsterd…
Ernst Prager was een sympathisant van het communisme. Hij was een wat filosofisch aangelegde jongen, die poëtische liedjes schreef en zong. Hij begeleidde zichzelf daarbij op gitaar. Milo Anstadt schrijft over Ernst in zijn autobiografie. Milo Anstadt, Kruis of munt: autobiografie 1920-1945 (Amsterdam 2000) 350-353, 359.