石鼓山海拔69米，面积为4000平方米。石鼓之名，远不可稽，说法不一。一曰：“石鼓四面凭虚，其形如鼓”。如郦道元《水经注》所载：“山势青圆，正类其鼓，山体纯石无土，故以状得名”。二曰：“石鼓三面环水，水浪击石，其声如鼓”。山上绿树成荫，风光秀美，亭台楼阁，飞檐翘角相得益彰。江面帆影点点，渔歌唱晚，自古就有“石鼓江山锦绣华”之美誉。衡阳古八景的其中两景“朱陵洞内诗千首”、“青草桥头酒百家”也在此地。千百年来，历代文人墨客纷至沓来，吟诗作赋，对酒当歌，韵味无穷。
公元（627-650年），衡州刺史齐映在石鼓山上建“合江亭”。公元（806-820年），衡阳隐士李宽在山上筑庐“寻真观”，即为石鼓书院雏形。公元805年，唐著名文学家韩愈在赴任途中路过衡阳，赋诗一首《合江亭》，其中：“瞰临眇空阔，绿净不可唾”成为后人争相传诵的佳句，步其韵者不乏其人。
宋至道三年（公元997），衡州郡人李士真修建书院。公元1035年，宋皇帝仁宗赐额“石鼓书院”，与岳麓、睢阳、白鹿洞并称为“天下四大书院”。许多名家贤达纷至书院讲学，其中朱熹、张栻、邹守益、蔡汝楠、胡安、王敔、曾熙等最为突出。书院还培育出王居仁、龚梦锡、彭玉麟、王船山、夏明翰等众多济世之材。 历史上书院曾经几经兴废。1944年6月，书院毁于日寇炮火。1965年辟为公园。2006年，中共衡阳市委、市政府举社会之力重修石鼓书院。2007年9月18日对外正式开放。重修后的石鼓书院按照修旧如旧的原则，恢复了中国古书院 “讲学”、“ 藏书”、 “祭祀”三大功能。整个仿古建筑群以白墙、黛瓦、深色柱为基调，总体显得庄重、古朴、典雅。布局以中轴为对称，恢复了禹碑亭、山门、武侯祠、大观楼、合江亭等书院建筑。创办“千年学府，石鼓胜迹”展览室，图文并茂地展示了石鼓书院人文历史，再现千年学府的风貌。
