AI绘画应用:二月二龙抬头,学AI展龙图

AI绘画应用:二月二龙抬头,学AI展龙图

2024年03期【行业交流】

3月10日下午,上海图书馆东馆少儿区举办了一场名为“二月二龙抬头,学AI展龙图”的少儿AI体验活动。现场少儿在听完关于二月二习俗和生成式人工智能相关的介绍后,上手体验了由上海图书馆员工打造的文生图模型应用。随后他们还在首次对外开放的POD区域(Print On Demand,按需印刷)体验了个性化印刷,拿到独属于自己的活动纪念品。

(活动应用界面)
(活动现场)

活动策划和开发小组基于开源的图像生成模型Stable Diffusion二次开发了本次活动的专用应用。Stable Diffusion是一种基于扩散过程的图像生成模型,可以生成高质量、高分辨率的图像。它通过模拟扩散过程,将噪声图像逐渐转化为目标图像。这种模型具有较强的稳定性和可控性,可以生成具有多样化效果和良好视觉效果的图像。

开发人员针对本次活动对象简化了操作界面,保留了正向提示词和反向提示词的输入,以及画风和快捷提示词选择,让少儿可以在不打字的情况下快速选择自己想要生成的图片内容。此外,应用还提供了11个预选提示词组合,可以生成特定内容的高质量图片。 

(Stable Diffusion的WebUI界面)

技术详解

本次服务用到的是Stable Diffusion XL版本,部署在上海图书馆内部的GPU服务器之上,通过IP配置共享内网访问使用。该服务器配备了2张16G NVIDIA-Tesla T4显卡,在迭代步数为20、采样方法为DPM++2M Karras、生成数量为单张、生成像素为512*512的情况下,生成时间不超过10秒。因此,本次活动在单台本地GPU服务器的支持下提供了5台终端的同时访问使用。

在原生Stable Diffusion开源项目做了二次开发,目的之一是为了降低面向用户的交互界面学习成本,其次是更灵活的调用微调后的LoRA模型,从而实现一键式切换生成不同的画风,画风包括但不限于龙年新春、卡通盲盒、工笔、动漫二次元等。同时,因为这次是试验性活动,所以在后台只配置了4种画风,但后台已经支持快速添加更多种类的画风。

未来展望

图书馆或其它公共文化场馆可以利用本地或云端的算力资源,部署开源的多模态大模型,通过二次开发的形式提供个性化的AI体验服务。随着开源大模型生成效果的不断增强和部署门槛的日益降低,未来的文化场馆必将为用户带来更加丰富多彩的AI服务。

日前,Stable Diffusion 3已正式对外发布,增强了多主题处理能力,提升了图像质量,改善了拼写和文本处理能力,并提供了从800万参数到80亿参数的不同版本,进一步降低了使用门槛。期待其正式开源后为读者用户带来更为理想的AI体验。

最后感谢嘉兴市图书馆提供的灵感来源!

发表评论

云瀚联盟-智慧图书馆技术应用联盟