Anders träffade efter flytten Johanna Matilda som bodde med sin familj i Mogenäs. 1889 fick Anders och Johanna sitt första barn Albert och 1891 föddes sonen Ernst. De båda föddes innan Anders och Johanna gift sig, vilket de gjorde 1893. Samma år föddes sonen Anton och 1897 föddes sonen Manne. När Johannas far dog 1892 flyttade Anders och Johanna med barnen till Mogenäs. Dit kom också Johannas syster Anna Lena som fått 3 barn utom äktenskapet. Så nu bodde 3 vuxna och 7 barn i stugan. Anders försörjde troligen allihop.
Redan 1897 dog Anders Hjelm. Anna Lena hamnade på fattighuset med sina 3 barn. Johanna och hennes barn inhystes hos olika familjer i socknen. Någon kom med häst och vagn och hämtade Johanna och barnen utom Albert som då var i skolan. När han kom hem var stugan tom förutom änkan Dahl som bodde på övervåningen. I ca 4 år var Johanna skriven fritt på socknen. 1901 fick hon flytta till Carlstorpet. Barnen fick hjälpa till med försörjningen. Ernst och Anton hjälpte en blind borstbindare och ledde honom när han gick mellan Linköping och Norrköping och sålde sina varor.
Albert drabbades svårt av spanska sjukan det var nära att han inte överlevde. Pojkarna fick jobba som drängar tidigt. När Anton var 15 år jobbade han som dräng i Hargs gård. När han på kvällen skulle ta in hästarna, skulle han rida på en av dem, men hästen blev rädd och skenade och Anton ramlade av och bröt benet. Enligt uppgift var läkaren som tog hand om honom inte riktigt nykter. Han kapade av benet istället för att gipsa. Anton fick nu lära sig gå med träben.
1915 flyttade bröderna med sin mamma Johanna till Källtorpet som de hyrde. Stugan är liten så det fick bara plats 2 samtidigt vid köksbordet så de fick äta i omgångar. När man skulle sova var golvet fullt med sängar.
De hade det mycket fattigt. Ernst och Manne jobbade vintertid som skogshuggare. Det sägs att de gick ca 4 mil till Nykil för att jobba. En julafton när de kom hem trötta och frusna hade mamman Johanna ingen mat att ge dem. De fick gå ut och tigga. Så småningom kunde bröderna skaffa några kor och kalvar. 1926 kunde de köpa torpet.