听枫园以亩余之地，回环缭曲，划分组合为大小庭院5处。主厅听枫仙馆居中，其南北有庭院各一。南院花木茂盛，东南隅堆假山，两罂轩（吴云曾收藏两齐侯罂于此，故名）、味道居、红叶亭（现名待霜，古枫已不存）、适然亭诸建筑依廊连属。
园在住宅之东，因园中有古枫婆娑，取名“听枫园”。园占地仅亩许，以玲珑精臻见长，吴云自称“宅居不广，小有花木之胜”，故俞樾曾以听枫园之“精”与自居曲园之“微”相评量。园门东向，入园门便见假山高耸，藤蔓垂地，俨然一城中山林，“不出城郭而获山水之怡”。园中以主厅听枫仙馆为中心，馆东有书房平斋，馆西有味道居和以园主收藏的两年古铜叠而闻名的两叠轩。
庭院 听枫仙馆的前、后有两处庭院，南面的庭院较为宽大，西北有一座待霜亭，东南沿墙叠石为山， 拾级可登墨香阁，阁在山上，构思精巧，是前半园的精华所在。小阁北面与听枫仙馆东侧书房平斋相以埋头苦干自成别一小院。北面庭院，当中一座湖石假山耸立，假山虽小，但曲径逶迤，有石级可登假山。假山下小池一潭，清澈见底，池有石级，可供人临水观鱼。池西廊中有半亭一座，池北有一水榭，园内花木扶疏，四周有曲廊贯通。在这样一处小小的庭院中，能有如此精巧的布置，可见设计者之匠心。 园主吴云爱好金石、书画，当年与邻近的曲园老人俞樾、寓居鹤园的词坛名家朱疆材过从甚密，常一起会聚、切磋书画诗词。
听枫山馆 听枫园位于住宅东北部，占地1200平方米。主厅“听枫仙馆”（现改名“听枫山馆”）居园之中心，南北各有庭院一区。南院花木茂盛，山石多姿，主要建筑有味道居、红叶亭（现名待霜亭）、适然亭等。北院有清池一弘，半亭林池花木映照。馆东昔为吴云书房“平斋”。其前叠山，循蹬道而上有“墨香阁”，阁下层隐伏山中，上层突兀山巅。斋、阁自成院落，为全园精华所在。
墨香阁 该园以“听枫山馆”为中心，西接“味道居”、“两孽轩”，东连“平斋”，将园地分划为南北两半。“听枫山馆”东南，叠石为山，上建“墨香阁”，并用墙垣相隔，形成山上的“墨香阁”
独立小院与山下的“平斋”相向的独立小院。南北建筑，高下遥对，构思奇特。自“平斋”出庭院，可沿石级上下“墨香阁”。阁西辟洞门通往邻院假山，南折而西可循廊下山，亦可北折过小亭，沿石级曲折下山。“听枫山馆”前的庭院，大半用花街铺地，游廊周边间以小亭“待霜”、“适然”。假山之上，绿荫扶疏，杂花掩映。北园在偏西北开凿池堂。池北水榭，静僻秀雅。池南筑土石假山，有逶迤小径，错落花木。池西长廊，间以半亭，可赏山水、池鱼，为北部观景佳处。全园紧凑，曲折幽深，以精致玲珑见长。 推开半掩的园门，绿意尽收眼底，墙上爬满了生机勃勃的爬山虎，高大的绿树笼盖着小巧精致的园林，凉亭的一角在绿树丛中露出更显古朴典雅的风味。水是苏州园林里的一道风景线，少了水园林就少了一种风情和寄托。听枫园不是依水而建的，是园主人精心设计开凿的。水绕假山而下，依假山而流，山水相伴成趣。由于没有源头活水，园中水并不清澈，可五彩缤纷的金鱼自由徜徉其间，增添了不少生趣。
以书、诗、画、印名著于世的艺术大师吴昌硕，早年与园主吴云相交甚厚，是听枫园的常客。吴昌硕第一次游历苏州时年29岁（1872年）， 同年秋拜俞樾为师，并慕名拜访金石家吴云，并观赏了吴云收藏的三代古铜叠和书画金石，后来还应聘住在园中教授单子，每日与园主切磋金书画艺术。吴昌硕寄寓听枫园两年后搬至靠近寒山寺的西放巷四间楼，61岁时定居桂和坊“癖斯堂”，居苏时间长，得识吴中名士多，如任伯年、吴大澄、顾鹤逸等，举凡诗文书画、金石无一不学，使他视野大开，艺事大进，在苏州创作了大量书画作品，苏州的园林、名胜古迹处也由此留下了他的许多书画墨迹和篆刻印作。
吴昌硕的后人现在依然生活在苏州，不久以前还在电视节目上，认真细致地向大家介绍鉴定吴昌硕字画的一些方法。其实鉴定吴昌硕字画最好的方法是去听枫园看花，在墨香阁喝茶。