清嘉庆二十三年（1818年），姚姓徽商姚斯侯（1788-1865）从安徽桐城南姚庄来到安吉孝丰又至杨春桥（今安吉天荒坪港口）。一日姚斯侯来到井村，细看此地，发现这里有一座老宅，背靠西山，旁边又有两块长方形的荒地，象一头欲分娩的母猪，预示着这里将是一处人丁兴旺，财源广进的风水宝地。于是姚斯侯便买下这一依山傍水，风景秀丽的老宅，宅内的后花园中还有明代建筑的假山，假山中还有当年凿刻的潜机洞与豁然开朗等字迹，后花园中还有古玉兰、桂花、古银杏树等很多名贵树种。等家人安定后，姚氏家族便开始就地取材，经营竹木和山货生意。由于姚氏继承了徽商“诚信为本”的商业理念，很快生意就越做越大。到了其一世孙姚慎（1838--1903）、姚邃（1839--1909）俩兄弟这一代已经成为当地首屈一指的大户人家。    经过不断的扩张和建造，最辉煌时占地达三百多亩，院内建筑10多幢近三百间。所有房子间以廊相连，雕梁画栋，风格古朴。传其二世孙姚家锦（姚宝金）（1857---1935）、姚家盈（姚宝银）（1865--1948）时，兄弟俩已经分家，大院由老二姚家盈主持。民国初年，由于治安问题和出于对自身财产的考虑，姚老爷组织成立了大院保安团，武器都是清一色的汉阳造。姚家盈被当地村民称为“姚宝银”，但他自称“觐侯”。育有三子三女。
    1945年4月下旬，新四军苏浙军区指挥机关，由长兴仰峰岕移至孝丰水口井村姚家大院。粟裕司令员亲临前线指挥战斗。新四军苏浙军区在这姚家大院门前打响了第一枪，从而拉开了一、二、三次反顽战役的序幕。在新四军三次反顽战役中，司令员粟裕、政委谭震林等就曾住在该大院内，同时还驻扎有司令部、政治部、供给部、卫生部等机关。从这里发出一道一道命令，使苏浙军区最后取得了三次反顽战役的伟大胜利。新中国成立后，土改时，这里部分建筑给当地农民居住。后一直作为国家粮库。
    在酝酿了两年之后，经省文物部门批准，湖州冶大文化艺术有限公司投资1000多万元，对“姚家大院”景点进行全方位开发，并于2005年9月正式开门迎接游客。游客们除了游览明清时期的私家园林建筑外，还可参观白鹭园、安吉民俗风情园、方竹园，新四军纪念馆、粟裕纪念馆、姚氏家族史馆、胡宗南生平馆、小姐楼生活馆、安吉历史馆、中外钱币史馆等三园七馆；其它还有风火墙、怡香、华夏野桑王、残垣断壁、境静、起舞、鸳鸯池、孝峰、古杏林、江南桂花王、明代假山、生春台、潜机洞、豁然开朗、藏金穴、戏春池、画廊、芭蕉林、福渡、胭脂井、图腾神柱、曲径通幽、古校场、丰收台等二十四景。
    同时，姚家大院还是湖州书画院的创作基地和学生的德育教育基地。姚家大院与相邻的天荒坪电站及藏龙百瀑等景点连成一体，成为安吉历史人文旅游和绿色风光与“红色旅游”相结合的一个高品位景区。
    目前这处有二百年历史、有代表性的清代年间江南式私家园林，整个大院只剩下2万平方米的占地面积。但大院四周用当地溪石筑成宽0.5米，高4.5为的围墙仍巍然屹立，主体建筑也仅剩为二进各五间木石结构主楼、一幢小姐楼以及护院平房等。当然那古校场、池塘、假山以及古玉兰树、桂花树和银杏树等好像依然在述说他们当年的风采。