Skarstads kyrka uppfördes 1859, ritad av Johan Adolf Hawerman, efter att den gamla från slutet av 1500-talet rasade under pågående gudstjänst 6:e maj 1855. Lyckligtvis blev ingen allvarligt skadad när västra gaveln rasade. Besökarna fick delta i Hällums kyrka till den nya var uppförd. När Skarstads nya togs i bruk revs Hällums.
Skarstads kyrkogårds äldsta delar är troligtvis samtida med den gamla kyrkan från 1500-talet. Kyrkogården idag finns runt kyrkan och en vacker allé av ornäsbjörkar finns från västra entrén och fram till kyrkan. Denna anlades 1959.
Äldst läsbart daterad gravsten är från 1700-talet