Philip Bremer was een zoon van Mozes en Johanna Bremer-Bremer. Hij groeide op in Amsterdam in een orthodox-Joods gezin. Rond 1907 verhuisde het gezin naar Hilversum, omdat vader Mozes (oorspronkelijk bakker van beroep) daar een aanstelling als godsdienstonderwijzer kreeg. Het duurde echter maar kort en het gezin keerde enige tijd later weer terug naar Amsterdam, waar ze opnieuw een koosjere bakker…