胡雪岩最小的一位姨太太住的洗秋堂，洗秋堂是花园里保存最完好的一间房子，一共上下两层，据说胡雪岩没曾想后来又看上一位，那东部已经放不下了，所以就安置在了这里，洗秋堂建成是在秋天，引刘永的一句词“一番洗清秋”，所以命洗秋堂。值得看的是正面一块云峰图，是块天然形成的大理石挂屏，胡家很少挂字画，大部分是挂类似这样的云峰图，天然大理石挂屏，因为江南地方比较潮湿，字画不易保存，另外古人对于天然形成的东西比较的推崇；另外就是这块黄灵壁，这是灵壁石中的彩灵壁之一，灵壁石分灰、黑、彩三种。