石鼓山位于湖南省衡阳市城北蒸湘二水合流处，海拔69米，面积约4000平方，山势浑圆如鼓，四面凭虚，三面临水，树木葱茏，环境优美。石鼓书院始建于唐，鼎盛于宋，特别是北宋仁宗赐额后，位列“天下四大书院”。
书院前坪有广场，其标志性景物是一长2.4米，宽1.8米的巨型石书，上刻南宋理学大家朱熹于公元1187年在此讲学时所作的《石鼓书院记》。倡导以义理之学授徒，为石鼓书院历代山长所践履和师承，对中国古代书院产生了深远的影响。它的开篇是这样描述和赞誉的：“衡州石鼓山据蒸湘之会，江流环带，最为一郡佳处”。是为石鼓书院“三绝”之一——“有书翻不动”。广场左边有一株千年银杏，古朴沧桑。
广场右侧是“将军楼”，因衡阳“扼两广，锁荆吴”，历来为兵家必争之地。而石鼓山居水陆要冲，易守难攻，古代诸多名将如诸葛亮、文天祥、曾国藩、彭玉麟等都曾设营屯兵于此。
右下沿江岸建有石鼓碑墙。它于2006年兴建，总长99米，38块石碑镌刻着历代诗词歌赋，勾勒出书院历朝的风采。
南宋诗人范成大的《石鼓山记》写到：“天下有书院四：徂徕、金山、岳麓、石鼓”；《衡阳八景赋》为明朝陈安所作。衡阳古八景：“雁峰烟雨实堪夸，石鼓江山锦绣华，花药春溪龙现爪，岳屏雪岭鸟喧哗，朱陵洞内诗千首，青草桥头酒百家，试看东洲桃浪暖，西湖夜放白莲花。”石鼓有其三；《重修合江亭记》的作者陈沆是清代状元，被魏源称为“一代文宗”。 嘉庆年间，曾吟下一首十个‘一’字的七绝：“一帆一桨一渔舟，一个渔翁一钓钩。一俯一仰一场笑，一江明月一江秋”，换得船夫掉头，传为美谈！
进入书院区域，首先映入眼帘的四角重檐攒尖顶仿清亭式建筑是“禹碑亭”。匾额题字是湖南文史馆馆员、原长沙市书协主席史穆先生的墨宝。这是石鼓书院第二绝：“有字认不得”。碑文共九行七十七字。为商周或以前的文字，无人破解。上有匾额，是明代三大才子之一杨慎的译文，但也只是个人见解。或说是鸟虫篆或道家符箓，大意为：禹奉舜嘱，治理洪水，在外十三年，三过家门而不入。在南岳得《金简玉书》，从此改围堵为疏通，这样一来，害人的禽兽蛟龙永远奔逃。“禹王碑”与黄帝陵、炎帝陵同为中华民族的三大瑰宝。两侧楹联：“蝌蚪成点画，天地衍大文”，化用了清人胡景曾《禹碑亭》诗：“蝌蚪七十七，篆法流水纹。翳昔发河洛，天地衍大文”。书者是衡阳市著名书法家陈文质先生。
廊桥尽头是书院山门。“石鼓书院”几个大字是前任中国书协主席沈鹏先生墨宝。门联“修名千佛上,至味五经中”是国学大师文怀沙先生所书。
进山门，可见书院标志——一面高2.8米、直径1.6米的大石鼓。这也是第三绝——“敲不响的鼓”。石鼓山名的来历，有两种说法：其一，以状得名。南北朝北魏时期郦道元之《水经注》说：“山势青圆，正类其鼓，山体纯石无土”；其二，以声得名。晋零陵太守庾仲初《观石鼓》诗：“鸣石含潜响，雷骇震九天。妙化不可有，莫如神自然”。东晋罗含《湘中山水记》：“石鼓在蒸口南，湘水西，叩之声闻数十里，此鼓今无复声”。《水经注》还有灵异记载：“临承县有石鼓，鼓高六尺，鼓鸣则土有兵革之事”，后有卢龙大力士推鼓入潭的传说，应是人民对和平的向往吧。
进山门左手边是四间展厅，特别提到了石鼓书院生徒的一个杰出代表：彭玉麟，清衡阳人，被曾国藩延揽，创湘军水师，成为近代中国海军创始人。因骁勇善战，屡立军功，被朝廷赐号“常勇巴图鲁”，满语“英雄”、“勇士”的意思。官至兵部尚书，与曾国藩、左宗棠、胡林翼并称“同治中兴”四大名臣。
彭玉麟文韬武略，才艺双绝，尤其画梅线条质朴，笔墨苍浑，有一股英雄气，曾国藩称之为“兵家梅花”。而这与一段青梅竹马的爱情有关。彭玉麟与外祖母养女王竹宾（梅姑），“少小相亲意气投”，但因辈份不宜，八字不合，被迫各自嫁娶。后梅姑因难产而逝，彭玉麟“伤心之人别有怀抱”，发誓以画梅纪念她，“所做一生不下万本”，无愧“大清第一情种”。央视当年来衡《寻宝》，彭玉麟《墨梅图》荣膺“衡阳民间国宝”称号。
彭玉麟还写下了大量咏梅诗，号称《梅花百韵》，其中“一生知己是梅花”、“输与梅花作丈夫”、“一腔心事托梅花”等句早已成为咏梅佳句。彭玉麟的诗画，既有借梅花高洁以自况，也寄托着对初恋情人的刻骨追思。
现在所见的石鼓书院，是复建的仿清乾隆形制古典建筑，白墙黛瓦深色柱,庄重古朴而典雅。有山门、书舍、武候祠、李忠节公祠、大观楼、合江亭等景观。木料多选用印尼上等菠萝格木，质地坚硬，纹路细密，防腐防蛀，千年不朽；构件均用传统工艺榫卯对接而成。
“武侯祠”纪念的是“三国”军事家诸葛亮。匾额是中央美院钱绍武教授所书。诸葛亮生前封武乡侯，死后谥忠武侯，后人尊称“武侯”。《一统志》载：诸葛亮以军师中郎将的身份驻军临蒸(衡阳)石鼓山将军楼，督办长沙、零陵、桂阳三郡军赋。后人感其“鞠躬尽瘁,死而后已”精神,慕其高风亮节，建祠于此。门联“心远地自偏，问草庐是耶非耶，此处想见当日；江流石不转，睹秋水来者逝者，伊人宛在中央”，系清代衡阳知县范鹤年所撰，书者是著名书法家李铎先生。
左边相对的是“李忠节公祠”。匾额由湖南省文联副主席、书协前任主席何满宗先生题写。李芾，南宋衡州人，潭州（长沙）知府兼湖南安抚使。德祐元年，率部抵御元军，血战三月。除夕夜手书“尽忠”二字为誓，城破在即，端坐“熊湘阁”与全家老少以身殉国。明成化年间，人们在他殉难处和家乡衡阳，建祠纪念。清同治年间彭玉麟为之题联：“义烈炳潭州，千秋英名垂竹帛；崇祠仍故宅，一龛清供有梅花。”。
李芾左侧的塑像是衡阳县令穆演祖。南宋理宗景定元年，率数百将士搜集兵勇，与元军抗战七天七夜。组敢死队，夜潜过江，凿沉敌船，解衡州之危。
拾级而上，看到的是儒家学派创始人、“至圣先师”孔子的紫铜塑像。
后面雕梁画栋、气势磅礴的“大观楼”，始建于明万历年末，它承担了书院的两大功能，楼下讲学，楼上藏书。清同治年衡州知府李镐撰联：“坐对岳云开，权将小阁重楼当他广厦；俯临湘水去，却喜渔歌桡唱畣我书声”。
一楼展厅有石鼓七贤木刻像。李宽，唐陇西人，元和三年，在石鼓山上筑庐读书究学，是石鼓书院的雏形；韩愈，唐文学家、哲学家。唐宋八大家之首。永贞元年途径衡阳，受邀，游石鼓山，赋诗《题合江亭寄刺史邹君》，后吸引许多文人墨客慕名而来，为咏石鼓山的千古绝唱；李士真，李宽第七代后人。宋至道初进士。以私财在李宽读书堂故址重建书院。其举得到朝廷褒奖及敕额，为石鼓书院得以延续千年并扬名天下奠定了基础；周敦颐，北宋哲学家。今湖南道县人，宋代理学的开山鼻祖，联合国“世界文化名人”。在衡十二年，留下名篇《爱莲说》；朱熹，南宋理学家、教育家。婺源人，寓建阳，集理学之大成者；张栻，南宋理学家。四川绵竹人，迁衡州，官至右文殿修撰，湖湘学派主要代表人物之一；黄幹，朱熹婿，并被朱熹视为道统继承人。
“朱张会讲”于石鼓是宋书院文化、湖湘文化一大盛事。现在讲堂上摆放两把太师椅，有纪念之意，边柱楹联写道：“珠玑文字任流传，昌黎首唱，石湖继吟，霞客纪游，姜斋感旧，佳节数从头，太息前人俱往矣；锦绣江山烦指点，左挟岣嵝，右挹回雁，前连青草，后接朱陵，风光都在眼，喜看形胜更超然”。书写者为衡阳市书协首主席朱大河先生。
往里走是合江亭，为书院最早的景观建筑，唐贞观年间，由衡州刺史齐映修建。匾额书写者吕长申先生曾任国家博物馆馆长。两侧楹联：“石鼓双江水，昌黎一首诗”，由时任湖南省文化厅纪检组长、书法家宋军先生所书。后面的对联：“广厦构众才，报道蛟龙腾浪去；两水夹明镜，合信风月入亭来。”作者为曾任书院山长的清衡阳人祝詹溪。身置此处，无尘嚣之声，无污浊之气，使人别有一番感受。
一楼临江回廊是石鼓书院观景最佳处。左前方是蒸湘汇流处的来雁塔，对应城南的回雁峰，合“北雁南来，至此而回”之意，故衡阳别称“雁城”。右前方，东岸有珠晖塔隐约，取意于南朝梁代吴均诗句“团团珠晖转，炤炤汉阴移”。清光绪年间风水学家说，湘水过来雁塔，耒水入注，其下两岸无峻峰，为不让流水散财，宜建塔以镇水口。书院下面这片水域更因曾国藩、彭玉麟曾在此操练过湘军水师，堪称中国海军“摇篮”。
极目远眺，视野空灵辽阔，看湘江北去，或细波微澜，或风高浪急。江岸、晴岚、绿树、红花，浪拍山崖、风抚人面，令人遐想连篇。登高阁，吟名诗，看三江之水滔滔不绝直奔洞庭。正所谓“石鼓南征，诸葛碑留芳草缘；大江东去，昌黎诗压众山青”，不愧为“湖南第一圣地”。
二楼有木刻复制韩愈的千古名作《题合江亭寄刺史邹君》，“红亭枕湘江，蒸水会其左。瞰临眇空阔，绿净不可唾”，故此又称“绿净阁”，整首诗气势磅礴，格调隽永，挥洒自如，深得张拭喜爱，曾亲书刻碑，被世人叹为“二绝”。
石鼓书院悠久的文化历史、得天独厚的地理环境，吸引了历代名贤彦士、文人墨客来此游览、讲学、题咏。约4000平方米的山体上，从唐至清留下摩崖石刻20多处。
最珍贵的唐代石刻《西谿》高95厘米，宽90厘米，字高34厘米，宽40厘米，端庄秀丽、饱满有力。为贞观进士，衡州刺史宇文炫所书，历经1300多年依旧留存，堪称石鼓书院“镇院之宝”。
“眼底西谿少，碑间北客多。雪山风日剥，岁月姓名讹。后有诗堪勒，傍无石可磨。可磨悬绝处，留勒中兴歌”，这是南宋文人曾丰所作游石鼓诗，将石鼓摩崖石刻和文化遗存描绘的非常神奇，令人向往。