Sundby kyrka ligger på krönet av Öster-Rekarne största grusås. Den kan ha funnits redan på 1000-talet som ett slags stenkistor av kalksten som också hade runinskrift. Sådana har nämligen hittats i t ex Hammarby, Kjula, Jäder och Sundby och antagligen stått inne i dessa kyrkor.
Byggandet av stenkyrkor var i Södermanland igång omkring år 1100. När fornforskaren Johan Peringskiöld ritade av kyrkan år 1686 stod 1100-talets kyrka ännu nästan orörd. Under medeltiden byggdes sakristia och vapenhus. Ombyggnad gjordes 1792 och en yttre renovering 1996.