Gabriel Swart was het eerste kind uit het huwelijk van Marcus Swart en Betje van Beezem. Hij is geboren in de Joden Houttuinen 51 in Amsterdam. Hij was koopman in gedragen kleding en oude metalen. Op 3 juni 1925 trouwde hij met Lea Wijnschenk, dochter van Abraham Wijnschenk en Aaltje Arbeid.
Het echtpaar kreeg negen kinderen: Betje, Aaltje, de tweeling Abraham en Marcus, Sara, Margaretha, Hartog, …