Det gick dock många år innan beslutsfattarna bestämt kyrkobyggnadens placering i stadsmiljön och utformningen vad gäller exteriören såväl som interiören. Dock kunde biskopen Johan Andersson den 8 april (första söndagen efter påsk) 1888, inviga den nya kyrkan på väster i Jönköping.
Kyrkan är uppförd i nygotisk stil och ritad av arkitekten och professorn G.F Dahl som också ritat Kungliga biblioteket i Stockholm. Kyrkan har fått sitt namn efter drottning Sofia, Oscar II:s gemål. Den nygotiska stilen, imiterad från medeltida helgedomar, ger mycket ljus, luft och rymd. Fönsternas, dörrarnas och tornens utformning ger en uppåtlyftande känsla.
I samband med en genomgripande restaureringen på 1950-talet försågs predikstolen med en ny baldakin i ek, mässingskronorna för gasbelysning byttes ut mot modern armatur, som placerades i valvbågarna mellan pelarna. Trägolvet i koret ersattes av golv av kalsten. Uppvärmningsanordningen förbättrades och taket isolerades. Hela kyrkan fick en ny färgsättning från gråa nyanser till mera ljusa och varma toner. Söder om altaret inrättades ett mindre kapell, Sankt Peders kapell, uppkallat efter ortens första egentliga kyrka från 1100-talet.
Efter den inre restaureringen var det några år senare dags för den yttre. Det konstaterades att detaljutformningarna hade utelämnats av kostnadsskäl vid den ursprungliga byggnationen. Samtliga fasader förnyades nu efter de ursprungliga ritningarna. Tornprydnaderna, förgyllning, ny utsmyckning över västerentrén och den nya varmare färgsättningen gav kyrkan en mera dominant bild i stadsmiljön. År 2000 renoverades Sofiakyrkan utvändigt och 2005 invändigt.
Arkitekten Lars Stalin som fick ansvaret för kyrkans yttre restaurering i slutet på 50-talet gav Sofiakyrkan följande kärleksförklaring:
"Södra långsidan av Sofiakyrkan med stigande och fallande vertikaler är korsade av horisontella vilande band. Byggnadens detaljutformning med konteforter, gesimser, listband, rosfönster och annan dekor bildar skilda rytmer som summerar sig till en kristalls invecklade men logiska glitterverk.