Den första kyrkan i Torsås kan ha varit en stavkyrka uppförd på 1100-talet. Denna ersattes på 1200-talet av en stenkyrka. Den nuvarande kyrkobyggnad av sten uppfördes 1777-1780 då medeltidskyrkans murar i sydvästra delen återanvändes. Den 30 juli 1780 invigdes kyrkan av Kalmar stifts biskop Karl Gustav Schröder.
Kyrkan består av rektangulärt långhus med rakt avslutat kor i öster. Vid nordöstra sidan ligger sakristian. Kyrkan har en ingång vid västra kortsidan och två ingångar vid södra långsidan. Sakristian har en separat ingång. Taken var tidigare belagda med spån, men är numera belagda med tegel. Nuvarande sakristia vid nordöstra sidan byggdes 1897 och ersatte en sakristia som låg mitt på sydsidan. Vid en renovering 1956-1957 byggdes sakristian ut.
Eftersom kyrkan saknar torn har kyrkklockorna sin plats i en fristående klockstapel. Interiören som är av salkyrkotyp har genomgått flera förändringar vid ett antal renoveringar. 1914-15 tillkom triumfbågen som avgränsar koret från långhuset.