书院为籍溪先生“胡氏五贤”之一的胡宪建造，肇建年代约在南宋孝宗时期。胡宪在此隐居乐道，讲经授徒，兴贤育秀。除了刘子翚的理学启蒙，朱熹在五夫还有两位重要的老师，胡宪和刘勉之，都是程颐程颢的再传弟子，同时中举入太学。朱熹当年也在胡宪的兴贤书院里受教。

胡宪居于五夫里籍溪之畔，号籍溪先生，他是胡安国的侄子。崇安人胡安国是南宋文学家、理学家、大学士，他携子胡宏于南宋建炎年间来到潭州，潜心研究理学并授徒讲学，先后在湘潭和衡山创立碧泉书院、文定书堂，吸引了包括侄儿胡寅、胡宪在内的众多才子来求学，开创了湖湘学派。胡寅曾跟随叔父学习程颐程颢理学，后来从太学归乡耕田卖药，期间以侍奉老母为由，数次推辞朝廷征诏，隐居乡里讲经授徒。

胡宪绍兴三十二年（1162）去世时，朱熹32岁，“武夷三先生”中，朱熹追随胡宪最久，有种父子之情，受的影响最大最深远。胡宪把闽学与湖湘学沟通起来，朱熹从胡寅那里接受了谯定混糅老佛杂说的“象学”，这是朱熹后来致力于不懈地作周敦颐著作《太极图说解》最初思想源头。胡宪后期更是通过《论语》学直接把朱熹从佛老之途引到了湖湘学派的道路上来。

淳熙八年（1181），朱熹的南康军任满后回到五夫里，为纪念恩师，扩建兴贤书院，亲自书写门匾，并在书院讲学传道。

朱熹当年重修的书院建筑在元初已毁于兵火。现在所见的兴贤书院是清光绪二十四年（1898）重建后的建筑，重建建筑规模宏大，有正堂、书庑、文昌阁三进，现仅遗存正堂一进。正堂有仿朱熹笔体而写的“继往开来”等堂匾和各式楹联，朱柱雕梁，木刻精细，厅正壁彩绘龙生九子图一幅，群龙飞舞，一侧墙上还有一对栩栩如生的浮雕龙鱼。兴贤书院最能反映朱熹与恩师胡宪等“胡氏五贤”渊源关系的见证，书院内陈列了书院简介、学规学约、理学格言、胡氏五贤等，朱子的书法。书院正堂，还陈列五夫里历代名人如刘子翚、朱熹等遗迹和墨迹等，五夫里的先贤们又云集于此，以朱熹为交集，师生谈经论道……

五夫也是一个祠堂博物馆，保存古家祠建筑十余处，均为国家级重点保护文物，比如刘氏家祠、彭氏家祠、王氏家祠、詹氏家祠、江氏家祠等。粉墙灰瓦，砖雕、木雕、石雕各种民间工匠技艺集中体现，朴素淡雅，又不乏精致，那些图案结构都蕴含着儒家伦理涵义。

刘氏宗祠位于兴贤古街中段，在五夫的祠堂中最具代表性，文化品味十足，众多的柱联将刘氏源流支脉、祖功宗德、子孝先贤清晰展示。宋代五夫刘氏家族有“三忠一文”之誉。宋孝宗皇帝御赐的匾额“旌忠褒节”在大堂正厅高悬，左右门庑还悬挂孝宗御书的“精忠望族”“理学名家”，三块御赐匾额，褒扬着刘氏家族先贤忠良的显赫功业。