Manuel Hilversum was een zoon van Salomon Hilversum en Johanna Zwaab. Hij trouwde op14 Juni 1905 in Amsterdam met Grietje Frank, een dochter van Hartog Marcus Frank en Klaartje de Wilde.
Het echtpaar kreeg acht kinderen, waarvan één dochter als baby van 7 maanden oud is overleden. Hun kinderen Johanna, Clara, en Salomon woonden niet meer thuis maar wel de hier genoemde Lena, Hartog, Bertha en Jaco…