王东升《大模型的技术发展与对知识图谱的影响》——“智慧图书馆技术应用讲座”2023年第7期(总第23期)

王东升《大模型的技术发展与对知识图谱的影响》——“智慧图书馆技术应用讲座”2023年第7期(总第23期)

8月15日上午10点,2023年第7期(总第23期)“智慧图书馆技术应用讲座”在线下线上同步举办。本期讲座邀请英国伦敦JP摩根大通AI研究科学家王东升博士担任主讲嘉宾,报告题目为《大模型的技术发展与对知识图谱的影响》。线上线下总计1300余人参与了本次讲座。

王东升博士介绍了大语言模型的技术发展、现状及应用方向,同时回顾了知识图谱的发展,分析比较了大模型与知识图谱不同的技术方式,并谈了大模型技术对知识图谱带来的影响。

交流互动

在讲座的交流互动环节,现场和线上观众提问踊跃,部分精彩内容摘记如下。

问:对于ChatGPT的回答存在编造的问题,如何去解决

王东升:对于大模型的hallucination(幻觉)问题,业界、学界目前还没有解。需要考虑的是对未来大模型的应用会不会有较大的限制?其实如果用传统方式,也存在正确率的问题,最终还是需要量化评估,那么如评估结果只要在可接受的范围内就可以。大模型思考的复杂度更强,维度更广、更深,如果最终评估有比较好的量化结果,我觉得不会限制其发展。另一方面,幻觉问题的原因可能在于训练大模型的方法和数据,这方面也可以有提升的空间。

问:知识图谱对于大模型有什么帮助和促进?怎样看大模型时代的知识图谱的发展前景

王东升:刚刚PPT有一页提到,知识图谱在实体识别等领域还是有很大促进的。比如在医学领域包含了大量的细分领域医学实体,这些实体词汇可以帮助和促进大模型应用。我的感受是,十年前我在做知识图谱项目,将多个数据源抽取,通过三元组融合,然后可视化,然后提供搜索接口。十年后的现在,类似的项目还在重复,没有出现一些新的方向,因此,新的发展方向还需要思考。

问:如何微调大模型,以适合图书馆场景下的读者问答

王东升:预训练的两个步骤都可以做一些微调。第一个微调大模型下一个词的推测,图书馆有很多自己的典藏和数据库,可以增加新的层(Layers),让大模型记住图书馆特定的数据信息。第二个是instruction tuning,可以在本步骤下功夫,让大模型学习图书馆需要的回答方式。学习用户具体是如何搜索如何使用的。

问:大模型可以精简吗?用很少的资源针对某个领域做一个小模型?比如做英语翻译的时候,就不需要它懂日语。

王东升:如果只是一个翻译任务,你确实可以用一个小模型来做,你只需要一个功能,那跟传统方法一样。如果想用问答的方式,比较完整地理解并回答一个问题,还是需要一定规模的模型才能完成任务。

发表评论

云瀚联盟-智慧图书馆技术应用联盟