《数字人文领域大模型应用评测报告》成功发布
2024年11期【特别报道】
2024年11月9日，在“文理融通：AGI时代的数字人文”学术研讨会暨第六届中国数字人文年会（CDH2024）上，上海图书馆历史人文大数据中心和中国索引学会数字人文专业委员会联合发布了《数字人文领域大模型应用评测报告》。
该评测报告旨在客观认识大模型在数字人文应用场景中所展示的能力，验证大模型的有效性和可靠性，识别其局限性，帮助大模型更全面、客观地解读历史和文化，适应人文学科特定语境和语料需求，助力数字人文研究者选择与研究场景相适应的大模型，便于研发者发现大模型在数字人文应用中的新需求、新场景，进而能够推动数字人文新质生产力的发展。
评测工作以“What（评估什么）-Where（在哪里评估）-How（如何评估）”的流程思路，确定数字人文领域大模型评测指标体系框架，从评测任务可执行性出发，采用定性定量相结合的评估方法，在大模型数字人文应用能力、大模型使用体验及评测影响因素等多个方面得出了一系列详细的评测结果。
评测团队表示，评测工作对于人工智能应用至关重要，数字人文领域大模型应用评测工作是动态的、不断发展的，评测数据集会由静态收集向动态众包转变，评估系统及评估工具需要不断开发迭代。评测不是工作的最终目标，而是带动数字人文领域大模型应用的新起点。
报告详细内容及后续请关注中国索引学会数字人文专业委员会网站
