第九届上海图书馆开放数据竞赛：优秀AI创新应用及AIGC作品介绍

第九届上海图书馆开放数据竞赛：优秀AI创新应用及AIGC作品介绍

2024年11期【AI专栏】

当前，人工智能的应用正日益渗透到各个领域。2024年第九届上海图书馆开放数据竞赛以“溯古述今智创未来”主题，鼓励参赛者积极应用先进技术挖掘图书馆丰富的历史人文素材进行创作。本次竞赛新设了AIGC应用赛道，以进一步激发全球范围内的创新者、学者和研究人员的参与热情。

第九届上海图书馆开放数据竞赛经过启动、报名、宣讲、培训、技术测评、书面专家评审、答辩评审、结果公示、颁奖、展览、分享会等多个环节，已圆满落下帷幕。今年的竞赛中，有大量参赛作品使用了AI技术。本文挑选了本次竞赛中部分与AI相关的创新应用，及AIGC赛道优秀作品进行整理与介绍。

优秀AI应用及AIGC作品介绍

应用开发赛道

应用开发类一等奖

作品名：“騊”声依旧：陈騊声AIGC科学家档案知识平台

作品简介：

作品《“騊”声依旧：陈騊声AIGC科学家档案知识平台》以创新性和实用性脱颖而出。该平台以科学家陈騊声的档案为例，利用开源档案管理软件ArchivesSpace、IIIF（国际图像互操作框架）和OCR技术，实现了档案数据的标准化管理。通过构建基于档案数据的Classic RAG及GraphRAG模型，该平台不仅支持档案著录、自动化识别、对比和分析，还提供了用户友好、交互形式多样的科学家档案AIGC平台体验。

作品亮点：

1、引入AIGC技术，人工智能协同著录档案材料，借助人工智能对档案材料元数据进行高效识别，节省大量人力成本。作品提出了面向人工智能环境的科学家档案管理与开发新模式，这一模式不仅适应了新时代用户对科技名人档案利用的需求，也为解决科学家档案管理的现存困境提供了新思路。

2、结合使用Classic RAG和GraphRAG发挥各自的特长，探索技术方案更好的挖掘档案信息。在作品中，当需要精确查询档案内容并溯源的时候，Classic RAG辅助给出详细的档案文本来源，图像原生档案，并直接给出上海图书馆的标准人物库链接，做到多模态输出。当询问概述或者人物关系相关问题时，由GraphRAG辅助大模型使用丰富的上下文进行高级推理，给出更加精确的回答。

通过运用ArchivesSpace、IIIF、OCR、Classic RAG、GraphRAG、图数据库/知识图谱和AIGC等技术，实现科学家档案的数字化、标准化管理和深度挖掘。

挑战问题及解决思路：

挑战1：LLM无法识别到关键词之间的关系，导致无法对问题做出可信和可溯源的回答，只能给出推测。因为相关信息原因和结果跨度大，没有总结性语句。解决方案：通过增大Chunk的尺寸，增大重叠语段长度来使得语义关系更完整，使用不同大小的窗口进行多个层级的提取，但是对于大范围的概述并不能很好的解决（可以换用Graph RAG）。

挑战2：出现了命名实体的歧义，例如文献中出现的“陈老”和“陈教授”都指的是陈騊声老先生，在构建知识图谱时，这些指称可能被错误地识别为不同的实体。解决方案：需要进行基于聚类的实体消歧（Entity Disambiguation）即确定一个实体指称项所指向的真实世界实体。原理是同一指称项具有近似的上下文，利用聚类算法进行消歧。

应用开发类最佳AI应用奖

作品名：法绘华章——法国300年绘画展览

作品简介：

“法绘华章”是一个结合AI技术和教育创新的项目，旨在通过数字化的方式，让青少年深入了解法国艺术。项目通过线上展览的形式，利用AI技术对名画进行解读，与艺术大师进行“对话”，以及模拟大师绘画风格生成图片，增强青少年与法国绘画艺术的互动体验。这个项目旨在培养年轻一代对艺术的热爱和跨文化理解。

作品亮点：

教育创新：项目通过AI技术，将传统的学术性艺术教育转变为更具互动性和个性化的学习体验。
多模态AI应用：利用AI对名画进行故事化解读，以及创建历史绘画大师的数字分身，提供与用户的互动交流。
个性化学习：AI技术的应用使得教育更加个性化、灵活和高效，满足不同学生的学习需求。

所用技术/技术实现方案：

开发语言：Python
网页框架：Streamlit
大语言模型：讯飞、Qwen
AI智能体：讯飞星火助手
绘图模型：FlUX.1

挑战问题及解决思路：

挑战1：如何使偏学术性的绘画艺术教育满足差异性表达和个性化体验。解决思路：通过AI多模态能力，将学术型的艺术教育内容转化为故事化、易于理解的形式，同时提供与历史大师的“对话”体验，增加互动性和个性化学习。
挑战2：如何提高青少年在艺术展览中的参与度和互动性。解决思路：利用AI技术创建线上艺术画廊，提供名画故事改写和大师对话功能，以及AI模拟大师风格绘画，增强用户的参与感和互动体验。

应用开发类最佳创意奖

作品名：上海万象（ShanghaiMosaic)

作品简介：

该作品是一款基于人工智能技术与丰富数据资源的创新平台，旨在全方位、多层次地呈现从十八世纪至二十一世纪初的上海风貌。项目以通义千问大模型为基座，配合 RAG技术，做智能化的人文历史信息检索、“噶讪胡”了解历史故事，智能推荐“专题片”，从中体会图书馆馆藏资料中蕴含的人文精神。“上海万象”项目成功地将AI技术应用于历史文化的数字化展示，为用户带来了全新的文化探索体验。

作品亮点：

多模态AI大模型：以通义千问大模型为基座，配合RAG技术，实现智能化的人文历史信息检索；
时空交互界面：通过时间轴和上海地图双重交互界面，用户可以在特定的时空维度下直观地浏览上海城市景观、建筑、重大事件以及关键人物；
深度语义搜索与时空语义嵌入技术：超越传统关键词检索，提供更精准的检索结果；
多模态输出：模型支持文本、图片、视频等多种形式的展示，增强用户的沉浸式体验；
上海话音频功能：增强了学习的趣味性和互动性。

所用技术/技术实现方案：

多模态神经网络: 整合视觉和文本数据，增强模型的信息处理能力；
自然语言处理(NLP): 提高用户交互的自然性和准确性；
大规模知识图谱: 提供结构化和关联化的历史数据支持；
RAG技术: 结合信息检索与生成式模型，提高内容生成的准确性和相关性。

挑战问题及解决思路：

挑战：如何在追求创新与提升用户体验的同时，保持对文化历史事实的尊重。解决方案：紧贴数据，尽可能地运用开放数据资源，确保数据的充分利用。调整项目方向，转向AI互动式查询与历史事实再现，确保内容的历史准确性和引用的可靠性。合理创新，尊重历史事实，在AIGC中亦需提供内容的历史依据和引用。

AIGC赛道

AIGC小说 “图书馆和我” 一等奖

作品名：艾米与乌托邦图书馆

项目介绍：

科幻小说《艾米与乌托邦图书馆》的核心是利用人工智能技术创作一部名科幻小说。小说探讨了图书馆在知识传播、文化交流和文明传承中的重要作用，并通过主人公艾米和她的团队的故事，展示了图书馆如何成为文化与记忆的守护者，并推动不同星球文明的相互学习和共同进步。

创作过程/工具：

KIMI：负责长文本处理能力，用于内容撰写。
天工大模型：以其行文流畅、老练的特点，用于语言润色和语序调整。
通义千问大模型：利用其逻辑推理能力和小标题概括能力，调整行文风格和完善故事逻辑。

AI小说创作的难点：

主题深度与情感的欠缺：AI虽然能够模拟人类语言的外在形式，但在表达深层次的情感、复杂的人性探索等方面仍显不足。
创造力与独特性的局限：AI生成的文本多是基于现有知识的重组，缺少原创性和独特性。
上下文连贯性：AI输出有限，多次生成后可能出现逻辑混乱，如引入新角色或忘记背景。
技术限制：AI尚不能在无素材辅助下独立进行文学创作，需要丰富的背景知识支撑。
Prompt的编写难度：Prompt设置不当可能导致AI生成的内容虎头蛇尾，质量参差不齐。

重点问题解决思路：

对于上下文连贯性这一核心问题，作品从提示词、AI工具选择两个方面下功夫。

提示词逻辑遵循“设定大纲——确定章节故事——章节内容单独生成——生成内容微调——根据前面所有章节内容继续生成下一章节内容——所有章节内容阅读和微调”；
除了“是什么”之外，尝试将“为什么”这一逻辑思维以提示词的方式灌输给AI工具，让AI理解这一冲突或故事情节发生的背后逻辑，并将其贯穿于整体故事创作中；
创作过程中为了保证小说的可读性和创作性，在提示词中要求AI更改创作内容的重点，并加入其他角色，设计冲突；
巧妙利用AI工具可以阅读word文档这一功能解决其生成内容仅有2000字和因长期记忆较短导致的上下文语义冲突的缺陷；

AIGC音乐视频优胜奖

作品名：春江遗梦曲承传

作品介绍：

一位练习琵琶的少女，为准备比赛进入图书馆查阅古籍资料。她在《春江花月夜》中发现夹着的干花，由此意外触发穿越，进入了诗中的世界。在那里，她目睹了种种美丽场景，如春江潮水、花林似霰等，还见到了张若虚潜心创作的情景，内心深受触动。回归现实后，少女在琵琶比赛中表现精彩，并积极致力于传承古诗文化。视频总时长2分29秒，共计利用AI工具文字生成图片157张，精选图片生成短视频30个，场景变换23次，配乐为真人专业琵琶演奏。

创作过程/工具：

即梦：生成人物主体及面部特写画面，以及生成人物行为动作及神态变换
Midjourney：生成江面月光等风景图片
可灵：生成特定场景的动效及穿越特效等过渡场景
剪映：把AI视频按故事发展顺序排列，添加字幕
Pr:深入剪辑，添加视频音乐、音效，进行多轨道编辑

AIGC音乐视频优胜奖

作品名：未来，在未来到来

作品介绍：

在AIGC创作的视频《未来，在未来到来》中，一位女孩因困倦进入梦境，探访2099年的未来图书馆，与智能机器人漫步于知识与科技交织的殿堂。设备闪烁，书籍低语，仿佛诉说未解的秘密，直到手机铃声将她唤醒，只留下那件未来设备，成为奇幻故事的见证。

创作过程/工具：

台本和背景创作：ChatGPT
台词创作：ChatGPT
图像：SD3/MJ/快手绘图大模型
背景音乐：FCPX/剪映
视频生成：快手/抖音/清华视频生成模型
调色：达芬奇

AIGC音乐视频优胜奖

作品名：厦门大学图书馆百年展望

作品介绍

这是一部跨越时空、融合科技与人文的创意视觉作品，影片以一场穿越时光之旅为引，带领观众走进一个既古典又未来、既传统又创新的知识殿堂——2420年的厦门大学图书馆。

创作过程/工具：

结合AI工具文心一言生成视频分镜头剧本，然后由小组成员进行艺术加工，得到剧本；
结合AI工具DALL-E 2和即梦Dreamina生成图片，提示词即剧本中每个场景的画面描述，得到分镜共50余张；
结合AI工具Runway Gen 2根据以上分镜生成视频，Runway Gen 2可以根据图片生成4s的视频；
通过剪辑工具“剪映”进行视频片段剪辑，并加入背景音乐、配音和字幕。

AIGC工具优胜奖

作品名：LibBot

作品介绍：

“LibBot ”融合前沿的人工智能技术，目标是提升图书馆参考咨询的效率，有效减轻工作人员的工作压力，同时为读者带来快速、精确、个性化的信息查询体验。主要功能包括（1）数据管理和信息检索：依托机器学习和深度学习技术，分析处理数据并构建知识库，提供快速的信息检索；（2）需求分析和书籍推荐：分析用户的阅读偏好和情感诉求，推荐相关书籍，辅助阅读、促进文本和图像创作等。

AIGC工具优胜奖

作品名：AI·人文