Hartog Brilleman was een zoon van Joseph Brilleman en Branca Broekman. Hij had nog zes andere broers en zusters: Naatje, Grietje, Levie, Gerrit (overleden in 1934), Schoontje en Mietje.
Hartog trouwde in Amsterdam op 14 September 1905 met Kaatje Mullem, die op 28 September 1919 in Apeldoorn overleed. Het echtpaar kreeg 2 dochters: Branca, die trouwde met Levie Polak en Johanna, die trouwde met S…