胡姓在绩溪是一个大族。县境内胡氏宗祠及其分支祠甚多。这些宗祠由于始迁祖入境年代、落户地点、建祠时间和后来显宦名臣因素不一，称谓也就各异。故曾一直流传绩溪“三胡”。经考证，绩溪胡氏，共有四大宗脉，即北门金紫胡、龙川(坑口)尚书胡、城东遵义胡、湖里(含上庄)明经胡。因宗脉纷繁，不仅外籍人士如蔡元培先生在为胡适的《中国哲学史大纲》作序时，曾错把胡适作为“三胡礼学”的后裔。就连本县的异姓人士，也常会辨识不清。其实，从绩溪各胡姓宗谱考其宗脉渊源，各宗奉祀始祖虽然不同，但在统宗谱序言中都有“胡姓，虞舜后裔”的记载。
“金紫胡”，宗唐散骑常侍宓为始祖，由青州濮阳板桥村迁歙之乌聊山，南唐时迁绩溪。南宋时建祠，以宋名臣胡舜陟赠金紫光禄大夫得名。
“尚书胡”，宗东晋胡焱为始祖，焱仕东晋官监察御使以散骑常侍出歙州，举家从青州濮阳板桥村迁歙，再迁龙川。建祠于宋。以明弘治、嘉靖间先后有名臣胡富、胡宗宪官至工部、兵部尚书得名。
“遵义胡”，宗清为始祖。南宋时自浙之乌程迁绩溪胡村，十一世严迁绩城东遵义坊，建宗祠，因得名。
“明经胡”，宗南唐乙酉明经科进士昌翼为始祖。昌翼，唐昭宗子，朱温篡位，帝临难。以幼子委侍御胡清(三公)，翼之出，南归婺源考川。生三子，长子延进，为绩溪令，迁绩溪胡里，始建祠，因得名明经胡(俗叫“李改胡”)其后迁岭北宅坦、上庄，另建宗祠，称明经胡上庄宗。
按金紫胡宋绍兴年间胡舜陟撰谱序云：“虞舜之后，有遏父者，为周陶正。武王克纣，封舜裔满于陈，溢胡，因得姓。”关于这一远祖，各胡姓宗谱，所记皆相同，并无异议。其中金紫胡和尚书胡宗脉尤近，两宗祠古谱世系相通。自一世满至三十四世焱，一脉相承。其中三十三世链仕西晋为殿中侍御使，世居青州濮阳板桥村。自三十四世焱迁龙川，为尚书胡宗始祖，始分支。金紫胡始祖宓是满后五十世。
绩溪各胡，自宋朝以来，显宦名人辈出，各有勋功业绩。“金紫胡”宋代有主战派名臣，上书为岳飞辩冤，二劾秦桧的胡舜陟。有撰辑《苕溪渔隐丛话》一百卷行世的舜陟子胡仔。明代有政声卓著的右金都御使河南布政使胡思伸。清代有探研礼学著书立说成“三胡礼学”流派的胡秉虔、胡匡衷、胡培。民国间有教育家胡子承。现代有汉语学家胡裕树。“龙川胡”明代有力斥宦官刘瑾的成化进士户部尚书胡富。抗倭名臣太子少保兵部尚书胡宗宪，撰有《筹海图编》十三卷，名将戚继光、俞大猷皆出其麾下。“明经胡”上庄宗清代乾隆间有制墨名家胡开文，近代有世界著名学者胡适博士。此外，还有清代首创“胡庆余堂”药号的红顶商贾胡雪岩。“遵义胡”明代有正德间进士累官工部尚书胡松，以鲠直敢和权臣严嵩抗争，名震朝野；清代有举人胡澍，以篆刻、书法、山水画知名。
