Mozes Zwarts was een zoon van Carel Zwarts en Johanna de Groote. In 1893 trouwde hij met Sophia Oostra, die in 1934 is overleden. Het echtpaar Zwarts-Oostra kreeg zes kinderen. Twee kinderen zijn zeer jong overleden. Niemand van de andere kinderen heeft de oorlog overleefd.