Jacob Zeehandelaar, de vader van Samuel is geboren in Willemsoord. Jacob is het 14e kind uit het gezin van Saartje Zeehandelaar-van der Veen en Benjamin Joseph Zeehandelaar. De andere broers en zussen van Jacob zijn geboren in Enkhuizen. Het gezin vertrok naar het koloniedorp Willemsoord naar de Maatschappij van Weldadigheid. In 1818 werd deze Maatschappij van Weldadigheid opgericht door generaal Johannes van den Bosch die de armoedige gezinnen na de Franse overheersing wilde helpen. Van den Bosch kocht in Drenthe woeste grond aan zodat de armen deze konden ontginnen. Het Huis Westerbeek op het in het huidige, werd het bestuurlijk centrum van de Maatschappij van Weldadigheid.De meeste kinderen van dit gezin zijn begraven op de begraafplaats de Pol bij Willemsoord, vlakbij Steenwijk. Een broer van Jacob, Nathan Zeehandelaar is begraven op de joodse begraafplaats in Steenwijk.
Samuel is op 14 december 1884 in Steenwijk geboren.
