Izak en zijn broer Jacob Swaab groeiden op in het grote gezin van Samuel Swaab en Betje van Gelderen. In totaal kreeg het echtpaar veertien kinderen: acht jongens en zes meisjes. Izak was het vijfde kind en de eerste zoon, Jacob werd twee jaar na hem geboren. Een veel jonger broertje overleed in zijn eerste levensjaar. Vader Samuel had in de loop der jaren verschillende beroepen: hij was diamantversteller, koopman in metalen en ʻsnelfotograafʼ (iemand die kiekjes schiet op vakantielocaties). Hoe hard hij ook werkte, het onderhouden van het grote gezin lukte nauwelijks. Vaak moest hij een beroep doen op de Steun en het gezin kreeg geregeld luiermandsgoed, voedingsmiddelen en extra geld toebedeeld. De kinderen gingen regelmatig met een lege maag naar bed. In het Steundossier van 1917 staat de ontluisterende situatie beschreven: ‘Hun gedrag is goed, het is overigens een door en door vuil huis. Voldoende legging ontbreekt, sommige kinderen zijn half, andere lopen alleen met een gescheurd hemdje gekleed, huisraad is niet aanwezig, kortom een huishouden van Jan Steen. Meermalen werd het gezin met een en ander geholpen, maar tevergeefs. De man is bijna nooit thuis, zomers reist hij met snelfotografie en weet er dan nog wel iets bij te verdienen. Hij beweert dat zijn vrouw zwakzinnig is en zij kan de huishouding niet bestieren. (…) Liggende op een hoop vodden ziet zij de volgende maand haar tiende kind tegemoet. De man verzocht onlangs de Koningin om hulp.’
De broers Izak en Jacob werden geboren op het Waterlooplein, maar zij zouden met ouders en broers en zusjes maar liefst zeventien keer verhuizen, een duidelijk teken van armoede. De reden om te vertrekken was meestal dat hun vader de opgelopen huurschuld niet kon betalen. Alle woonruimtes waar de familie onderdak vond, bevonden zich in de Jodenbuurt en het is bijna onvoorstelbaar hoe zoveel familieleden samen op de kleine etagewoningen konden eten, slapen en wonen. Toen de jongste twee broers geboren werden, gingen de oudste zussen het huis al uit.
Izak volgde acht jaar buitengewoon lager onderwijs. In het Steundossier van zijn vader wordt hij aangemerkt als ‘achterlijk’. Izak begon als schoenmaker en bood in de jaren daarna zijn diensten aan op elke plek waar hij wat geld kon verdienen. Uiteindelijk werd hij sloper. Hij hielp zijn vader, die inmiddels opkoper van oud ijzer en van koper was en voornamelijk handelde in oude gasmeters. Zijn twee jaar jongere broer Jacob volgde niet meer dan vier jaar buitengewoon lager onderwijs. Volgens aantekeningen in het Steundossier van zijn vader had hij ‘weinig arbeidsgeschiktheid en was [hij] alleen bruikbaar voor grof ongeschoold werk’. Ook een andere broer werd gekwalificeerd als ‘achterlijk.’ Izak en Jacob werden afgekeurd voor militaire dienst.
In oktober 1934 overleed vader Samuel. Moeder Betje kon de zorg daarna niet meer bolwerken en werd uit de ouderlijke macht gezet. Jongste kind Leo werd voor enige tijd in het Nederlands Israëlietisch Jongensweeshuis Megadlé Jethomiem in de Zwanenburgerstraat geplaatst. De voogd van de kinderen en een ambtenaar van Nazorg achtten verpleging van de achterlijke jongens niet nodig: ‘Deze zwakzinnig jongens gaan wel tekeer, maar sociaal misdragen zij zich niet, zij hebben voldoende inzicht dat zij zich in hun gedragingen binnen redelijke perken moeten houden. Wel zijn er thuis regelmatig conflicten (…) Het is mij bekend dat de conflicten de laatste tijd voornamelijk voortkwamen uit het feit dat er geen of weinig eten was.’ In januari 1937 hertrouwde moeder Betje met koopman Juda Wertheim, een gescheiden vader van vijf kinderen. Ze trok bij hem in met haar zoons Izak, Jacob en Leo. Het vele verhuizen hield daarmee niet op. Juda was zo mogelijk nog armer dan Samuel en zijn verhuiskaart geeft aan dat hij meer dan veertig keer van woning wisselde.
De razzia’s van 22 en 23 februari 1941 door de Duitse politie hadden enorme gevolgen voor zowel het gezin Swaab als het stiefgezin Wertheim. Niet alleen werden op zaterdag 22 februari Izak en Jacob opgepakt, op dezelfde dag werden ook twee zoons van haar nieuwe echtgenoot Juda meegenomen: Machiel en Jacob Wertheim. Machiel en Jacob hadden al een eigen gezin en woonden in respectievelijk de Valkenburgerstraat en de Nieuwe Kerkstraat, dus binnen het door gewapende grüne Polizeiafgezette gebied. De vier werden samen met honderden andere Joodse jonge mannen via kamp Schoorl naar Buchenwald overgebracht. In dat kamp was Machiel Wertheim de eerste van de Amsterdamse razziagroep die om het leven kwam: hij stierf op 23 maart 1941, 23 dagen nadat hij Buchenwald was binnengebracht. Ook Izak Swaab kwam in dat kamp om het leven. Hij overleed op 29 mei in het ziekenhuis aan dysenterie. Een week daarvoor, op 22 mei, waren vrijwel alle overige mannen uit Amsterdam naar Mauthausen gedeporteerd. Behalve Izak bleven ook Arie Schouten en Max Nebig achter in het ziekenhuis. Arie stierf een dag na Izak, op 30 mei. Max werd door Duitse medegevangen beschermd en in de jaren daarna elders in barakken ondergebracht. Door die steun heeft hij de oorlog weten te overleven. Jacob Swaab kwam op 8 augustus 1941 in Mauthausen om het leven, zijn stiefbroer Jacob Wertheim overleed daar op 17 oktober van datzelfde jaar. De urnen met de as van Machiel Wertheim en Izak Swaab zijn op respectievelijk 21 juli 1941 en 29 juli 1941 bijgezet op de Joodse begraafplaats in Diemen. Beiden urnen werden na de oorlog, in mei 1948, in het oorlogsmonument op de Joodse begraafplaats in Muiderberg geplaatst en kregen een eigen gedenksteentje.