Ab 1777 nennen die Quellen den Sohn der Eheleute Syfrig-Streuli, der Untervogt und helvetische Distriktrichter Hans Jakob Syfrig-Wunderli (1739–1799), als Eigentümer des Gutes. Er erwarb 1787 eine der drei Trotten, die das Spitalamt zur Gant brachte. Die Trotte stammte aus dem Jahr 1679 und war mit einer Inschrift und den Wappen des Spitals und des Spitalmeisters Hans Schellenberg versehen. Wegen ihrer Grösse musste Syfrig den Trottbaum kürzen und das Trottgebäude verlängern. Im Obergeschoss baute er eine Stube für den Trottmeister ein.

Nach Syfrigs Tod erbte sein Sohn Hans Jakob Syfrig-Hüni (1765–1835) das Gut. Er liess den heute abgetragenen Balkon an der Nordwestfassade anbringen und die Dachuntersicht mit Ranken bemalen. 1825 erwarb sein Schwiegersohn Heinrich Pfister-Syfrig die Liegenschaft, die seither «Pfistergut» genannt wird. Er trat seinen Besitz jedoch erst 1835 an. Bis 1949 blieb das Gut in Familienbesitz (1847 Metzger Johannes Pfister-Huber; 1870 Johannes Pfister Siegfried, ein Neffe; 1893 Heinrich Johannes Pfister-Widmer). 1903 gelangte es in die Familienstiftung «Pfister-Widmers Erben» und wurde durch Hans Pfister-Aschmann und Heinrich Pfister bewirtschaftet. 1947 erfolgte die Einstellung des Trottbetriebes und zwei Jahre später veräusserte die Stiftung das Anwesen an die Gemeinde.

Ab der zweiten Hälfte des 19. Jahrhunderts erfuhr das Wohnhaus teils grössere bauliche Veränderungen. 1847 erhielt es die vier klassizistischen Kachelöfen. 1855 wurden die beiden Wohntrakte und die Trotte durch einen Zwischenbau mit Waschküche verbunden. 1893 bis 1895 erfolgte die Erweiterung und Aufstockung samt Dachzinne des seeseitigen Wohnteils und 1899 erstellte der damalige Eigentümer den Eingangsvorbau im Schweizer Holz-Stil an der Südostfassade. Gegen Ende des Jahrhunderts entstanden die Dekorationsmalereien (Marmorierung und Holzimitationen) in den Gängen. In den Jahren 1976–1977 wurde die Trotte und 1990–1991 das Wohnhaus renoviert und umgebaut. Dabei erfolgte die Rekonstruktion des ursprünglichen Gebäudeäusseren des seeseitigen Wohnteiles. Seit 1992 ist das Ortsmuseum Thalwil im «Haus an der Strass» untergebracht. 1997 baute man die Scheune, welche 1849 vergrössert und 1873 mit dem rückwärtigen Schopfanbau mit dem Trottgebäude verbunden worden war, zum heutigen Kultur- und Freizeitzentrum um.