Tidigare var Svärtasvackan en seglingsbar havsvik och man kunde enkelt ta sig in till Svärta kyrka per båt. Kyrkans äldsta delar har troligen anor från 1200-talet och man kan ana det i och intill kyrkan där det har gravsatts människor ända sedan dess.
Svärta var tidigare en egen socken men sammanslöts under reformationen med Alla Helgona församling. Under 1500-talet var Svärta kyrka till och med församlingens moderkyrka då Gustav Vasa ansåg att det var onödigt med två kyrkor i församlingen varpå han under denna tid faktiskt ödelade Alla Helgona kyrka.
Går man in i Svärta kyrka märker man att kyrkan faktiskt är riktigt stor.
Vid Svärta kyrkogårds västra del finns två gravkor uppförda under tidigt 1800-tal. Det norra är avsett för släkten von Berchner som ägde Norshammar (numera Svärta gård). Det södra innehas av släkten Löwen som innehar Sjösa gård.
Kyrkogården är en typisk landsortskyrkogård. Den ligger högt belägen i landskapet för att kyrkan skulle synas från stora delar av socknen. Den är inbäddad i en trädkrans av blandade lövträd bestående av bland annat lind och lönn.