据《太平御览》卷四引《荆州记》裁：传说大酉、小酉(在今湖南沅陵县)二山藏书很多。

相传当年秦始皇“焚书坑儒”时，朝廷博士官伏胜冒着生命危险，从咸阳偷运出书简千余卷，辗转跋涉，藏于二酉洞中，使先秦文化典籍得以流传后世。成语“学富五车，书通二酉”出于此。这些书简在秦灭汉兴时献给汉高祖刘邦，刘邦在获得伏胜所献大量秦前书简时大喜，亲自将二酉藏书洞封为“文化圣洞”，将二酉山立为“天下名山”。从此后，二酉山二酉洞就成为天下圣迹，成为读书人毕生向往和追求的地方。以后历朝历代文人墨客，前往二酉拜谒更是络绎不绝，留下了大量的诗词文章。山上一度建院立阁，修堂造亭，香火旺盛。为纪念伏胜修建的伏胜宫和为保护二酉洞修建的藏书阁就是典型的建筑代表。在山半石洞下方，留有京师大学堂总监督即北京大学第四任校长、湖南督学使者张亨嘉于清光绪六年（1890年）二月所立的榜书碑刻“古藏书处”四个大字。