鹿鸣轩 三间两阁厢结构，但外形和装修稍有不同。首先屋顶为船舱形，屋内楼上下堂“跑马楼廊”有几扇窗子，上堂全封闭不设窗，天井也较狭窄，呈一线天。这幢房子是胡宗宪第四次回乡设计建造的，并在这里度过了一年多的岁月。屋如船形，是纪念他辉煌的海战事业，身在家乡，心系战船。天井狭小，表示曾经命悬一线，同时感激明世宗一线天恩，得以余生。右阁厢后置暗室，便于藏匿一些重要物品。
堂额“鹿鸣轩”，有两个典故。一是古代乡试中举后长官要设鹿鸣宴，宴请考中举子及考官、学政，唱鹿鸣诗（出自曹操的《短行歌》）：“呦呦鹿鸣，食野之苹、、、、、、”胡宗宪，嘉靖十三年（1534）中举，嘉靖十七年（1538年）中进士，他与曾叔祖胡富考中进士相距六十年，他引以自豪，后人称“奕世尚书”。二是他在浙江舟山曾捕获一头白鹿，视为祥瑞而进献明世宗，徐渭为他写了《进白鹿表》，一年以后又在徽州齐云山捕得一头白鹿，再献明世宗，徐渭为他写了《再进白鹿表》，这是鹿鸣轩名的由来。
外进轩门木雕，为回纹百结花鸟图。象征家族的和谐与凝聚力。轩门绦环板雕刻的是“升平气象”，“报（豹）喜（鹊）”以及父子、夫妻、兄弟、邻居图、家和、族和、邻居和的主题呼之欲出。
中轩厅右为胡宗宪书房，挂络瓶式门，寓“平安”。左为卧室。房门的一组雕刻也颇具匠心。请看上方雕菊、牡丹、荷、梅四季花卉。古人称“菊同隐逸之士”，古代隐逸山野的名人都种菊，最有气节的陶渊明有诗“采菊东篱下，悠然见南山”，隐喻胡宗宪将效陶渊明，归隐山野，终其一生。牡丹，象征富贵，隐喻胡宗宪的地位。荷为花中君子，胡宗宪以此自勉。梅，胡宗宪号梅林，胡宗宪每以梅开百花凋自况。这里有一组乡居图，也可视为胡宗宪生平写照。第一幅“拜寺图”，胡宗宪曾在龙须山“龙岩书院”读过书，龙岩书院附近有龙台古寺，方丈是武学高人，胡宗宪曾跟他练武，胡宗宪每次回乡都要去拜谒方丈和尚。第二幅“见亲图”，喻胡宗宪拜见母亲，他对生母和继母都很孝顺。第三幅“会友图”，每当亲友前来探望，胡宗宪都置酒盛情款待。第四幅“送别图”，胡宗宪第一次探亲返任，夫人章氏抱幼子送别于十里长亭。中栏图是一组戏剧故事，每副都有人跪着或被反绑双手于身后，大致有《群英会》，错斩蔡瑁、张允，《黄鹤楼》周瑜欲杀刘备，《风波亭》秦桧以莫须有罪名谋杀岳飞等等。隐喻了奸佞小人谋害忠良的主题，表达了胡宗宪悲愤心情。
轩后为养心阁，两道飞檐，三面美人靠，显得玲珑精致。阁置于池上，为仿水榭做法。这里池代表大海，池对面有鱼亭，亭下有一面桥洞，表示胡宗宪抗倭胜利，保住了明朝东南半壁江山。胡宗宪不止有抗倭的功劳，还是将钓鱼岛规划中国版图第一人，因为胡宗宪编纂了一本《筹海图编》，书中有地图114幅，约26万文字，总结了明初以来的沿海防卫经验，对其后抗倭战争具有指导意义，为后人筹划海防提供了借鉴，它是研究明代抗倭战争的重要文献，书中的“沿海山沙图”标明了中国福建省罗源县，沿海各岛，其中就有“钓鱼岛、黄尾屿、赤屿等岛屿，说明钓鱼岛在明代已被作为中国领土，列为防区。他比日本人要早322年，日本人是否吞并琉球，改为冲绳之后才发现的1884年，而主人公是在1562年已经划归。
