湖里村，原称“胡里”，是绩溪明经胡姓的开族聚落之地。宋朝时明经胡一世祖胡延政任绩溪县令，一日游历此地，见三面环山，上接胡乐坞，面对胡坑山，下挽胡同岭，中间是一块平坦盆地，登源河水东来西去，整个地形宛如一条在湖面上静静停泊的船只，认为这是风水宝地，于是便定居于此。其后人又繁衍至上庄等地。 

宋明时期，这里是登源河最上端的水陆码头，船只可沿歙县新安江溯流至此。明代周姓迁入后，繁衍兴旺，而胡姓一度势落，并引发了一场村中周姓对村名提出异议的官司。聪明的县令根据“湖里行舟（周）”的寓意进行调解，将 “胡里”易名为“湖里”，做出了胡、周两姓都能接受的裁决。 

 "中国封建社会最后一位商人"鲁迅先生是这样评价胡雪岩的。胡雪岩， 1823年生于湖里；是清朝著名的亦商亦官的"红顶商人"，也是徽商代表人物。他事业鼎盛时期拥有的"阜康钱庄"在全国各地分支多达20多处，资金达2000万两白银，拥有田地上万亩。胡雪岩曾协助清朝著名大臣左宗棠开办洋务，兴办工业。清朝同治年间，胡雪岩在杭州筹备设立了"胡庆余堂"国药号，后来发展成为与北京"同仁堂"并列的南北两大中药业巨头。经商者心目中的圣人,白手起家的典范,富可敌国的徽商代表,抵御外侵功不可没的能吏,中国历史上唯一的穿黄马褂、骑马进紫禁城的商人；堪称：中国历史上唯一的红顶商人。

湖里“敦叙堂”，是奉祀胡姓始祖胡昌翼、始迁祖胡延政等远祖神主的总祠，故祠庙建造得十分气派，分前、中、后三进，建筑面积约1200平方米。祠庙坐西北朝东南，宗祠前厅，有一个开阔的空地，空地地砌有照墙。前厅的主体建筑，则为三屏风楼。重檐歇山式，戗角6只，大门为栅栏门，门上彩绘门神。与一般的宗祠不同，湖里上祠的中厅和后厅（寝室）不是用木板壁隔开的，而是从中间直接登上一道九级石阶。这种形制的祠宇，是只有皇亲国戚才能享受的待遇。据村中老人说，家庙前“文官下轿，武官下马”的规制，一直延续到民国年间。若有人胆敢犯规，打死不论。

明代，湖里人为了纪念先祖胡延政敕封中王一事，经赖布衣指点，在村南水口通往中王墓地对面的登源河上，建起了一座石拱桥，并将其命名为“中王桥”。该桥四墩五孔，横跨登源河，长74米，高8米，面宽6米，明清两代几经重修。桥畔建有四角凉亭，供行人休息。但遗憾的是，2001年6月的一场特大洪水，将这座具有500年历史的古桥冲毁，但古老的“中王桥碑”仍竖立在桥头。