Samson was de zoon van Louis van Bergen en Flora Waas. Hij had drie boers, Jacob, Barend en Isaac, en een ouder zusje, Jeannette. Samson voltooide zes jaar lagere school en behaalde daarna zijn diploma op de banketbakkersvakschool.
In augustus 1936 verliet Jeanette het ouderlijk huis en in oktober 1937 volgde Barend. Vanaf dat moment woonden alleen nog de drie jongens Samson, Jacob en Isaac bij …