この地は、金森左京（重勝・金森三代重頼の弟）の屋敷があったところです。その後、町年寄りの川上斉右衛門の別邸になりました。庭は、宗和流茶道始祖宗和の雰囲気を持ちます。庭内の稲荷社は谷口与鹿の兄与三郎延恭の作で天保十三年（1842）の総ケヤキ造り建築で、覆い屋には千鳥格子が見られます。土蔵は江戸後期の建築で、左官の名手江戸家万蔵の作で、扉内側には色鮮やかな松に日の出と双鶴の漆喰細工が残っています。