Drei Jahre nach Bauvollendung sah sich Fritz Schwarzenbach-Suter (1830–1893), Kantonsrat und Gemeindepräsident, gezwungen, sein Anwesen in der sogenannten «Hausmatte» im Isisbühl zu veräus-sern. Für den Verkauf beauftragte er die in Zürich domizilierte Handelsgesellschaft «von Schulthess & Scholder», welche das Anwesen mit einer vierseitigen Broschüre anpries: Das Haus befindet sich «… auf einem Vorsprung an der Hauptstrasse mit prachtvoller Aussicht auf die Stadt, die schöne Umgebung, den See und das Gebirge […]. Entfernung vom Bahnhof, des Post- und Telegraphenbureau 3 Minuten, von der Stadt per Bahn 30 Minuten.» Weiter wird das Anwesen beschrieben, dieses besteht aus «dem vor 3 Jahren massiv aus Stein und in modernem Styl erbauten Herrschaftshaus mit reicher Architectur, auf’s bequemste eingerichtet und mit Gas und vorzüglichem Quellwasser versehen […]» und einem Ökonomiegebäude.
In den Jahren 1877 bis 1878 liess der Industrielle Fritz Schwarzenbach-Suter in aussichtsreicher Lage sein Wohn- und Seidenstoff-Fabrikationsgebäude errichten. Für Entwurf und Ausführung zeichneten sich angeblich der aus Thalwil stammende Baumeister Jakob Staub (1837–1892), Wollishofen, und/oder Johann Rudolf Hofmann-Schmid (*1832), der 1878 nach Riesbach übersiedelte, verantwortlich. Der Neubau dürfte mit der veränderten beruflichen Stellung Schwarzenbachs begründet gewesen sein. Er war Teilhaber der letzten Firmengründung des umtriebigen Industriellen Heinrich Schmid-Kölliker, der «Heinrich Schmid» in Gattikon. Dieser Betrieb hatte sich auf die Fabrikation glatter Seidenstoffe spezialisiert und wurde 1864 aufgelöst. Schwarzenbach führte den Betrieb als «Fritz Schwarzenbach-Suter, Seidenfabrikationsgeschäft» bis zu seinem Tode weiter. Es bleibt jedoch unklar, ob er den Fabrikationsbetrieb in sein neues Anwesen im Isisbühl verlegt hatte.
Aufgrund der sich verschlechternden Geschäftslage geriet er schon bald in finanzielle Schwierigkeiten. 1880 ersuchte er die Zürcher Regierung um Befreiung von der Einkommenssteuer und begründete dies mit seinen grossen Verlusten. Im folgenden Jahr sah er sich schliesslich gezwungen, das Anwesen zu veräussern. Trotz eines gegenüber den Erstellungskosten um Fr. 47’000 reduzierten Verkaufspreises gelang der Verkauf nicht. Schwarzenbach musste sein Anwesen wohl oder übel behalten und es weiter nutzen.
Nach seinem Tod veräusserten die Erben die Liegenschaft an den Glarner Kaufmann Conrad Jenny-Jenny (1848–1928), der die Innenausstattung durch die Zürcher Architekten Kehrer & Kehl erneuern liess. Aus dieser Zeit stammen das Jenny-Wappen im Herrenzimmer, ab 1928 auch das Caflisch-Wappen und die reichhaltige Tapezierung. Die Dekorationsmalereien im Treppenhaus stammen von Eugen Ott aus Männedorf (1850–1916). Das schon früher im Volksmund als Schloss bezeichnete Wohnhaus wurde nun «Jenny-Schloss» genannt. In Jennys Zeit fielen der Einbau einer Schwerkraft-Warmwasserheizung (1895), der Einbau der elektrischen Beleuchtungsanlage (1897) und die Neueinrichtung des Ökonomiegebäudes (1895). Ein projektierter Gewächshausanbau der Thalwiler Baumeister und Architekten Ludwig & Ritter (Plan datiert 28.11.1901) kam nicht zur Ausführung. 1928 starb Jenny, und seine beiden Söhne Kaspar Konrad Jenny-Caflisch (1888–1944), Schweizer Gesandter in Buenos Aires, und Hans Jenny-Kappers (1894–1942) übernahmen die Liegenschaft. 1957 erwarb sie die Gemeinde Thalwil und liess sie in den Jahren 1986-1993 umfassend renovieren. Leider zerstörte ein Brand im Januar 1992 (Brandstiftung) zwei Räume im Erdgeschoss.
Das «Jenny-Schloss» ist Teil eines typischen Ensembles des 19. Jahrhunderts mit Wohnhaus, Ökonomiegebäude und Parkanlage. Fritz Schwarzenbach liess sich einen spätklassizistischen Bau mit Zinne, Balkon und Loggien erstellen, der seinen Ansprüchen an Repräsentation genügte und der durch seine hohe Qualität auffällt. Die sorgfältige Steinmetzarbeit ist kennzeichnend für das Wohnhaus, so beim Portal, den Fenstereinfassungen, Eckquadrierungen und Verzierungen der Loggien. Im Inneren kommt der Wunsch nach Repräsentation in den reichen Dekorationsmalereien im Obergeschoss und den wertvollen Tapeten zum Tragen. Nicht auf den ersten Blick sichtbar, doch umso spannender ist die Haustechnik. Das Herrschaftshaus verfügte über einen Speiseaufzug und die Küche gilt heute als die am besten erhaltene im Kanton mit Herd, Eisschrank und Mobiliar. Zudem befand sich auf jedem Stockwerk eine Abortanlage mit Wasserspülung und unter dem Dach war ein eigenes Quellwasser-Reservoir eingebaut. Ursprünglich wurde durch Etagenöfen geheizt. Nur wenig später wurde eine Warmluftheizung eingebaut, deren Luftrosetten in den Wänden noch sichtbar sind. Um 1895 erhielt das Wohnhaus sein drittes Heizsystem innert 17 Jahren, eine Warmwasserheizung mit Gusseisenradiatoren.
Das zum Ensemble gehörende Ökonomiegebäude ist dem Schweizer Holz-Stil zuzuordnen und hebt sich deutlich vom Herrenhaus ab. Ursprünglich befanden sich die Remise und Stallung für drei Pferde, eine Waschküche, das Kutscherzimmer sowie Holzbehälter und Gas- und Wassereinrichtungen darin. Es beherbergt heute das Weibelbüro und einen Kindergarten.