Hoe oud het huis precies is, is niet met zekerheid te zeggen. Wel is zeker dat op het perceel al sinds lange tijd de pastorie, horend bij de kerk, te vinden is. De bewoner in de zeventiende eeuw, dominee Petrus Pollion (1613 – 1676) constateerde kort na zijn aantreden in 1641 dat het huis erg bouwvallig was. Hij verzocht Gedeputeerde Staten van Utrecht om een bijdrage. Die kwam er, onder de voorwaarde dat ook de kerkmeesters zouden meebetalen. Uiteindelijk bleek het om een bedrag van 1400 gulden te gaan. Dat bedrag was dermate hoog, dat men denkt dat de pastorie toen nagenoeg opnieuw werd opgebouwd.

De oude pastorie aan de Schoolstraat
Maar slechte bouwstaat kwam later ook nog voor. In 1838 overwoog men de afbraak van de oude pastorie en een inmiddels nieuw aangebouwd deel. Opnieuw door een bijdrage van Gedeputeerde Staten kon het pand inwendig worden gerenoveerd. Tevens werden de zijmuren van zowel het achterhuis als het voorhuis afgebroken en opnieuw opgebouwd. In 1876 volgde een nieuwe verbouwing, waarbij aan de oostzijde een lage uitbouw werd aangebouwd. In de aanbouw kwamen een kelder met opkamer en een keuken. In 1908 volgde een uitbreiding van het achterhuis aan de kant van de Schoutstraat. In 1927 werd de pastorie verkocht aan landbouwer en veehouder Van Ginkel. Inmiddels was een nieuwe pastorie aan de Maarsbergseweg gebouwd en verviel de noodzaak om de oude pastorie in stand te houden. In 1948 werd het achterhuis verbouwd tot koeienstal.

De pastorie gezien vanaf de toren van de kerk
Rond 1990 werd opnieuw geconstateerd dat het huis in zeer slechte staat verkeerde. Het achterhuis was een ruïne. Gelukkig besloot de toenmalige eigenaar over te gaan tot restauratie, waarbij het woonhuis en de aanbouw zo goed mogelijk in oude staat werden teruggebracht. Het achterhuis werd helemaal nieuw opgebouwd en het geheel werd in twee woningen gedeeld. De pastorie is een rijksmonument.

