王东升《大模型的技术发展与对知识图谱的影响》——“智慧图书馆技术应用讲座”2023年第7期（总第23期）
8月15日上午10点，2023年第7期（总第23期）“智慧图书馆技术应用讲座”在线下线上同步举办。本期讲座邀请英国伦敦JP摩根大通AI研究科学家王东升博士担任主讲嘉宾，报告题目为《大模型的技术发展与对知识图谱的影响》。线上线下总计1300余人参与了本次讲座。
王东升博士介绍了大语言模型的技术发展、现状及应用方向，同时回顾了知识图谱的发展，分析比较了大模型与知识图谱不同的技术方式，并谈了大模型技术对知识图谱带来的影响。
交流互动
在讲座的交流互动环节，现场和线上观众提问踊跃，部分精彩内容摘记如下。
问：对于ChatGPT的回答存在编造的问题，如何去解决？
王东升：对于大模型的hallucination（幻觉）问题，业界、学界目前还没有解。需要考虑的是对未来大模型的应用会不会有较大的限制？其实如果用传统方式，也存在正确率的问题，最终还是需要量化评估，那么如评估结果只要在可接受的范围内就可以。大模型思考的复杂度更强，维度更广、更深，如果最终评估有比较好的量化结果，我觉得不会限制其发展。另一方面，幻觉问题的原因可能在于训练大模型的方法和数据，这方面也可以有提升的空间。
问：知识图谱对于大模型有什么帮助和促进？怎样看大模型时代的知识图谱的发展前景？
王东升：刚刚PPT有一页提到，知识图谱在实体识别等领域还是有很大促进的。比如在医学领域包含了大量的细分领域医学实体，这些实体词汇可以帮助和促进大模型应用。我的感受是，十年前我在做知识图谱项目，将多个数据源抽取，通过三元组融合，然后可视化，然后提供搜索接口。十年后的现在，类似的项目还在重复，没有出现一些新的方向，因此，新的发展方向还需要思考。
问：如何微调大模型，以适合图书馆场景下的读者问答？
王东升：预训练的两个步骤都可以做一些微调。第一个微调大模型下一个词的推测，图书馆有很多自己的典藏和数据库，可以增加新的层（Layers），让大模型记住图书馆特定的数据信息。第二个是instruction tuning，可以在本步骤下功夫，让大模型学习图书馆需要的回答方式。学习用户具体是如何搜索如何使用的。
问：大模型可以精简吗？用很少的资源针对某个领域做一个小模型？比如做英语翻译的时候，就不需要它懂日语。
王东升：如果只是一个翻译任务，你确实可以用一个小模型来做，你只需要一个功能，那跟传统方法一样。如果想用问答的方式，比较完整地理解并回答一个问题，还是需要一定规模的模型才能完成任务。