1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能

导语:果麦文化即将发布的AI漫画模型将彻底改变漫画创作流程。该模型由阿里达摩院资深工程师打造,利用大量数据集和先进的技术原理实现了连续性保持、强中文叙事能力和语意解耦等静态特性,同时具备多条件控制的动态特性。该模型还可实现线稿上色、草稿勾线等功能,预计将于2024年1月份进行内测。

场景:AI漫画模型根据整个漫画创作流程进行设计。

图片[1]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记

一、研究目标及技术路径
1、技术团队:来自阿里达摩院资深工程师,2022年7月份开始出来创业。

图片[2]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记

2、数据集:
1)公司数据集为500万量级的数据集。
2)公司数据集特点:具有系列稿,市面上具有系列稿的数据集较少,主要需要和漫画家有互信。
3)公司预计将自己改一个漫画行业的数据库,重新给数据集进行标签,以使得产品更符合动漫进行使用。
4)主要数据来自于热萌创意。
未来计划将数据集开源。

图片[3]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记 图片[4]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记 图片[5]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记

3、技术原理:基于Diffusion+Transformer。区别于SD和Midjourney,主要在于漫画创作的连续性,需比较精准的保持一致性。

图片[6]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记
4、静态特性:1)ID连续性;2)强中文叙事能力;3)语意解耦能力。

图片[7]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记 图片[8]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记 图片[9]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记

5、动态特性:多条件控制。

图片[10]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记

6、公司产品特效展示:1)可以对漫画的局部位置生成局部动态图画。2)除此之外,还可以给出首图和尾图,可以生成中间的动漫效果。

图片[11]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记
二、产品功能:可实现线稿上色、草稿勾线(弱控制和强控制)、辅助填色能力。目前模型在网信办审批,24年1月份应该会开启内测。

图片[12]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记 图片[13]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记 图片[14]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记

© 版权声明
THE END
喜欢就支持一下吧
点赞5 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容