村子四周原来有东、南、西三座堡门，现如今只保存下来一座西堡门。西堡门建于明代，砖木结构，高六丈有余，上方石刻匾书“挹霞”二字，这两个字写得非常漂亮。“挹”字本意是“舀（水）”的意思，在这里可以理解为“汲取”。

　　进了堡门，便可以看到村子的全貌。过去人们常用“高宅鳞次，门楼栉比，砖院瓦房，对对石狮门前守；雕梁画栋，排排兽头屋顶列”来形容谷恋村的富庶。据县志记载，明洪武初年（1368），高姓先祖从山东渤海经洪洞大槐树迁徙到此建村，村里超过90%的人都姓高。后来随着晋商崛起，当时每两户人家就有一人在外经商，明清之际村里出现众多的富商大贾。如同山西的其他大院一样，发了财的山西人都会在老家盖起一座座深宅大院。谷恋村现存明清庙宇、民居、四合院40余处，小巷圪道36条。走在谷恋村古朴清幽的青石板路上，随处可见高墙大门楼，精美的石狮、木雕、砖雕等。村里民居形式多样，统楼、明楼、牌楼院，明式四合院，清式三合院，闷房院，牛房院等明清时期普遍流行的样式应有尽有。这里每个院落都是规整的长方形，宅院居中者大门正向朝外，两侧宅院则大门朝里，大门、后门、旁门、侧门彼此照应。砖雕、木雕图案也多是琴棋书画，可见谷恋人对文化的重视。谷恋村保持了原汁原味的晋商古村原貌，斑驳的门窗、残破的门楼、风化的木雕见证着村中的历史。

　　谷恋村具有丰厚的文化底蕴。据考证，清朝年间，谷恋村曾出过1名翰林、8名举人、101 名太学生（贡生）、82名庠生、35名武庠生、47名乡绅，102人受到封赐。在辛亥革命前，谷恋村就创办过现代意义上的小学堂，还办过女子学校招收女童，这在当时可以说是一个奇迹。谷恋村不仅是文化名村，还是晋剧之乡、秧歌之源。在谷恋村说到中路梆子和祁太秧歌，有一个人一定绕不过，那就是乳名叫狗蛮的高锡禹。他是中路梆子的一代宗师，对晋剧艺术的唱腔和音乐发展作出了巨大的贡献。过去，晋剧名家丁果仙等名家到祁县，必先到谷恋村拜望狗蛮师傅，而后才登台演出。