Dörby kyrka byggdes under 1200-talet. Utifrån såg den då ungefär likadan ut som den gör idag även om den då var lite kortare. Dörby kyrka har alltså aldrig haft något torn. Däremot hade kyrkan på den tiden en inbyggd absid, det vill säga en rundad avslutning på koret, som alltså inte syntes på utsidan. De stora fönstren kom senare, den medltida kyrkan hade mindre fönstergluggar. Ett exempel på de gamla fönstren finns kvar vid orgelläktaren och kan ses utifrån på sydvästra sidan av kyrkan.
1611 brändes kyrkan ner av danskarna under Kalmarkriget, då även prästgården och klockstapeln, som båda då var nybyggda, blev lågornas rov. Men sockenborna byggde snart upp sin kyrka igen på samma sätt som den såg ut innan, tillsammans med en ny klockstapel som är den som fortfarande står kvar. Dopfunten i öländsk sandsten är även den från 1600-talet och fick då antagligen ersätta den gamla dopfunten som förstördes i branden.
Från den här tiden kommer också den gamla altaruppsatsen som idag hänger på kyrkans södra vägg. I dagens kyrkorum kan den se lite liten ut. Då får man tänka på att den då satt inne vid absiden där taket var betydligt lägre. Själva altartavlan, alltså målningen av Jesu nedtagande från korset, är antagligen ett krigsbyte från kontinenten som kommit till Dörby i samband med Trettioåriga kriget. Ramen däremot är antagligen tillverkad av en lokal träsnidare med dess enklare figurer i det som brukar kallas för bondbarock.
1778-79 genomgick kyrkan en större omgestaltning. Det gamla koret med absiden revs och kyrkan förlängdes i öster. Vid den tiden sattes också de stora fönstren i långhuset in vilket gjorde kyrkan betydligt ljusare invärtes. Från den här tiden kommer också målningarna på orgelläktaren som föreställer de mindre profeterna.
En ny renovering ägde rum 1837 utifrån den tidens nyklassicistiska stilideal som än idag präglar kyrkorummet. Vid ungefär samma tid införskaffades också den nya altaruppsatsen och altartavlan, som liksom den gamla tavlan föreställer Jesu nedtagande från korset. Tavlan är målad av Kalmarkonstnären Sven-Gustaf Lindblom och är en kopia av altartavlan i Kalmar domkyrka. I slutet av 1800-talet införskaffades också kyrkans orgel vars fasad är ritad av arkitekten Helgo Zettervall.
Sedan dess har bara mindre förändringar av kyrkan skett. Yttermurarna har gått från att under en period vara bara till att nu åter vara vitkalkade. De vackra fönstren i koret, vars motiv föreställer ”Jesu födelse”, ”Jesus och barnen”, ”Jesu uppståndelse” och ”Kristi himmelsfärd”, sattes in.
Dörby kyrka var från 1619 till 1851 ett så kallat prebendepastorat till först superintendenten och sedan biskopen i Kalmar. Det innebar att biskopen formellt var kyrkoherde i Dörby även om han överlät det dagliga arbetet till en kaplan. Prästgården användes därför ofta som sommarhus åt biskoparna, och två av dem ligger också begravda i Dörby. Under golvet i sakristian vilar Carl Gustaf Schröder, biskop 1764-1789, tillsammans med sin familj, och under en stor stenhäll på kyrkogården vilar Martin Georg Wallenstråle, biskop 1789-1807.
Skalden Erik Johan Stagnelius far, Magnus Stagnelius, var 1807-1829 biskop i Kalmar och spenderade många somrar i Dörby prästgård. Sonen var också ofta där och man tror nu att han hämtade mycket stoff under sina somrar i Dörby.