Så gott som alla kyrkor
är sägenomspunna, så även denna. En J. D. Flintenberg har skrivit så här om kyrkan "Vid Ljusnans norra strand, mitt emellan älvens utflöde i Bergviken och Landaforsen står Segersta kyrka. Om traktens betydelse vittnar anhopningen av gravfält och enstaka gravar från folkvandringens- och vikingatiden.
I skrift möter sockennamnet i dess äldsta, dialektalt överensstämmande form "Särsta" första gången 1302 i det brev angående själastugan på Ödmorden, som ärkebiskop Nils Alleson utfärdade den 29 december från Segersta kyrka, där han då visiterade. Namnet är troligen mycket äldre, då ortsnamn med ändelsen -sta härstammar från järnåldern.
Av allt att döma uppfördes kyrkan i början av 1200-talet. Den bestod ursprungligen av ett rektangulärt långhus med lägre och smalare, rakslutet kor. Sannolikt försågs den mycket snart med ett torn i väster, inte för att bära klockorna utan som försvarsverk. Utseendet vet vi dock inget om "Hårga by skal wara den äldsta byn här i Sokn och härleda sit namn af h´'arág (Hårga med hebreiska bokstäver i originalet) emedan Hedningarna hafwa här haft sit offerställe. Det berättas äfwenväl, at de här först börjat bygga Kyrkan, men emedan en käring derigenom kom at mista et stycke af sin åker så lät hon om nätterna nedrifwa hwad om dagarna byggdes, hwarföre byggnaden afstannade och flyttades dit Segersta kyrka nu står".
... senare utvidgades kyrkorummet österut och fick därigenom en enkel rektangulär form. Samtidigt byggdes sakristia på norra långsidan invid koret och vapenhus på södra sidan.
Behovet att reparera och utvidga kyrkan eller bygga en helt ny blev under 1700-talets senare hälft alltmer påträngande. Många förslag att lösa frågan diskuterades under årens lopp och inte förrän hösten 1803 enades man om att kyrkan skulle byggas om på följande sätt:
Mot slutet av 1400-talet eller i början av 1500-talet slogs tegelvarv, tre i långhuset, ett i sakristian och ett i vapenhuset. Åtminstone i långhuset pryddes valven med kalkmålningar av mästaren Eghil, som var verksam i Hälsingland i början av 1500-talet.