Jesaja Swart was het jongste kind uit het huwelijk van Gabriel Swart en Sara Peper. Op 4 augustus 1909 trouwde hij met Saartje Levitus, het eerste kind uit het huwelijk van Heiman Levitus en Esther Kosses.
Jesaja Swart en Saartje Levitus kregen tien kinderen: Hijman, Nathan, Marcus, Margaretha, Izak Jacob en vijf kinderen die de oorlog overleefden.
Het gezin heeft op verschillende adressen in Amsterdam gewoond, sedert 1938 in de Czaar Peterstraat 43 huis.
Bewaard zijn gebleven: kopieën van de geboorteakten van Saartje Levitus en van Jesaja Swart, de trouwakte van Jesaja Swart en Saartje Levitus, een verzoek om een choepa in de Rapenburger synagoge met de getekende toestemming van opperrabbijn J. Vredenburg, een ventvergunning op naam van Jesaja Swart, een brief die Jesaja Swart op 2 augustus 1942 uit het concentratiekamp Amersfoort aan zijn vrouw schreef en gegevens uit het Mauthausenarchief betreffende Jesaja Swart.
Joods Historisch Museum, Documentenverzameling, inv.nr 10289, ordner I
Jesaja Swart werd op 9 juni 1942 op het Waterlooplein gearresteerd en via het Huis van Bewaring aan de Amstelveenseweg overgebracht naar het concentratiekamp Amersfoort. Na tal van mishandelingen is hij op transport gesteld naar Mauthausen.
Joods Historisch Museum, Documentenverzameling, inv.nr 10289, ordner I