Prästgården i Tossene ligger en dryg kilometer från kyrkan på gården Överby. Infarten kantades av höga lövträd, sannligt alm bakom bostadshuset fanns höga och gamla träd. I denna del av tomten finns ett antal fornlämningar bestående av hällristningar, bl. a. flera skepp samt skålgropar, en hög och en stensättning.
En tidigare prästgård, uppförd 1802, fanns kvar till 1898. En ny byggdes intill den gamla under 1897 och blev klar i början av 1898.
Både den nya och den gamla prästgården brann ner till grunden den 12 januari 1898. Branden uppstod när kyrkoherden Charles Barclay hade en liten bjudning för bl.a. folkskolläraren och klockaren. Då dessa stod vid pianot och sjöng en andlig sång välte ett stearinljus från ett julbord ner på ett par torra enbuskar och fattade eld.
Vid branden förstördes även stora delar av kyrkoarkivet. En ny prästgård uppfördes av bröderna Christenson i Lysekil på platsen för den nya prästgården.
Invändigt fanna fyra kakelugnar. Alla kakelugnar är från huset byggnadstid och är runda och vita. Förutom bostadshuset finns på tomten ett f.d. brygghus som är uppfört 1841, ett dass som är sannoligt uppfört under 1800-talet senare del, en bod från början av 100-talet och ett garage från 1940-50 talet.
Huset såldes 2018 och är nu i privat ägo.