孙张均衡所建的大宅院，也体现了那个时代的社会特征。当时很多士绅既有旧学的底子，又对西学兴趣浓厚，所以这个建筑也是中西合璧式楼群的经典建筑。
提现主人的开明与富庶和对传统的坚持，二进一厅二厢，称小姐楼，亦称女厅，楼上供女眷居住，楼下为女主人接待理事之用。楼厅装修极为精致，扇窗装有法国进口的彩色花玻璃，以蓝色为主。玻璃上的图 案包括花卉、农作物、瓜果等。
前进院为二合院，二三进院为三合院，前进院二合院有轿厅，面阔四间，和轿厅相连的是一座砖碉如意门楼，门额刻有吴昌硕所书“四德作永”四字。门楼四周雕有“群仙祝寿”等图案，雕刻采用镂刻手法，层次分明、富立体感。
内厅，因两侧廊庑窗棂嵌石刻蕉叶，故称“芭蕉厅”。石刻的芭蕉形态逼真，雕工精良。平时为家人休闲品茶聚谈之处。
第四进的大厅是一个设有更衣间、化妆间的豪华舞厅，地砖及油画均从法国进口，墙面屋顶由红色砖瓦砌筑。从壁炉、玻璃刻花到克林斯铁柱等，均体现欧洲十八世纪建筑风格。旧宅各进两边有避弄(也称备弄)，前后贯通。即有通风之用，也为安全通道，民间称太平通道。
进入第四进时，颇有时空穿越的感觉。这幢建筑就是西洋楼与西洋舞厅。如果不加声明，大多数人会认为是在欧洲的哪个楼房建筑。前半部分为中式建筑，后半部分为西式建筑。西式建筑的地面也采用的是欧式建筑风格。
张钧衡，字石铭，1871年生，吴兴南浔人。早年丧父，由母亲操持家业，因此他对母亲十分的孝敬，宅子建好以后取名“懿德堂”。清光绪二十年（1874年）举人。张均衡不但在经商中颇为精明，而且在文化艺术上极具品味。他生平受好石，故字以石铭。他对书画、金石、碑刻，奇石，书籍十分爱好，因而他与晚清民初的一些文人、名流交往甚密；如吴昌硕、郑孝膏、丁辅之、毛福庵等。他是杭州“西冷印社”的发起人和赞助人。他还是南浔四大藏书家之一。