Halltorps kyrka som troligen tillkom i slutet av 1100-talet var från början också en försvarsanläggning och hade då inte mindre än fyra våningar. Bottenvåningen saknade ingång utifrån, och i stället ledde en brant trappa på sydsidan upp till ingången på andra våningen, cirka tre meter över markytan, som var gudstjänstvåningen. Stenvalven i kyrkorummets tak bars upp av en kraftig stenpelare placerad mitt i kyrkan. På tredje våningen låg förrådet och överst en skyttevåning med skottgluggar. Byggnaden hade också torn både i öster och väster.
På 1400-talet fanns det inte längre något behov för en kyrkobyggnad till försvar, och eftersom kyrkorummet också hade blivit för trångt, byggde man om kyrkan, även om den kom att behålla sin karaktär av försvarsborg. Spår från denna ombyggnad på 1400-talet finns bland annat i form av rester av väggmålningar. På både norra och södra långhusväggarna ser vi framställningar som visar murkrön med skottgluggar. Målningen på norra väggen har tillskrivits målaren Nils Håkansson, som var verksam i främst Skåne och Blekinge och som är den ende till namnet kände kyrkomålaren i södra delen av landet under 1400-talet.
Vid en genomgripande ombyggnad i slutet av 1700-talet gjordes gudstjänstrummet åter om, och det rivningsmaterial som blev över från de över våningarna stjälpte man ner i den ännu bevarade bottenvåningen, något arkeologerna idag är tacksamma för.
Vid denna ombyggnad lät kyrkans dåvarande patronus majoren Carl Råberg-Mannerskantz på Värnanäs bygga sig ett gravkor vid korets södra vägg. Under byggtiden inträffade dock en svår olycka, då delar av den nya östra gaveln rasade när stämplarna slogs loss och murarmästaren Seboldt omkom.
I slutet av 1800-talet revs det gamla vapenhuset och portalen ersattes med ett fönster. Vid den senaste renoveringen i början av 2000-talet uppfördes istället ett nytt vapenhus på samma plats som det medeltida, med ingång från källarvåningen. Ingången till kyrkorummet på andra våningen utgörs av en tidigmedeltida romansk portal.
När kyrkan renoverades i början av 1950-talet återupptäcktes den igenfyllda källaren, och man återfann bland annat de ursprungliga kraftiga takbjälkarna från 1100-talet. I fyllnadsmassorna i källaren hittade man över 2 500 föremål, både sådana som hörde ihop med gudstjänstbruket och sådana som visar att bottenvåningen måste ha använts även till bostad. Där fanns träbritsar utefter väggarna liksom en stor mängd köksredskap och rester efter djurben.
Bland fynden fanns också en koppardosa innehållande kopior av fyra sigillstampar från första delen av 1200-talet, avsedda för biskoparna Uffo i Lund, Laurentius i Linköping, Iwarus i Odense och Nicolaus i Roskilde.
Dopfunten är gjord av gotländsk kalksten på 1240-talet. Efter att ha stått utomhus som trädgårdsbord och vattenho är cuppans övre del ersatt med konststen.
Altaruppsatsen är skapad på 1760-talet av Andreas Dahlström från Döderhult, och har som huvudmotiv Kristi himmelsfärd, som på sidorna flankeras av Moses med stav och bok, samt med aposteln Johannes som håller kalken. Som överstycket finns en bild av Lammet med segerfanan. Altaruppsatsen var under 1800-talet och till mitten av 1900-talet ersatt med en oljemålning föreställande Kristus och Maria Magdalena, som i dag hänger på södra väggen.
De kollekthåvar som är upphängda i norra delen av koret är en blandning av nytt och gammalt. På upphängningen står det Joh. Brandt pastor 1709. Han var enligt prästlängden pastor från 1699 till 1713. Troligen är kollekthåvarna skänkta av honom, men dessa har renoverats så sent som 1989.
På södra väggen finns en ikon föreställande Maria och Jesusbarnet, som införskaffades till kyrkan av den dåvarande prästen Peter Åström.
Predikstolen kom på plats i samband med renoveringen i slutet av 1700-talet, och försåg några år senare med snidade ornament som hade framställts i Stockholm.
Kyrkans första orgeln inköptes 1838 från Högsby kyrka. Men den var redan då gammal, tillverkad 1668 av Magnus Åhrman. I slutet av 1800-talet byggdes en ny orgel av Anders Viktor Lundahl i Stockholm. Den nuvarande mekaniska orgeln är byggd 1965 av Olof Hammarberg, Göteborg, men fasaden är från den ursprungliga första orgeln.
Nordost om kyrkan står en klockstapel byggd 1725.