导语:果麦文化即将发布的AI漫画模型将彻底改变漫画创作流程。该模型由阿里达摩院资深工程师打造,利用大量数据集和先进的技术原理实现了连续性保持、强中文叙事能力和语意解耦等静态特性,同时具备多条件控制的动态特性。该模型还可实现线稿上色、草稿勾线等功能,预计将于2024年1月份进行内测。
场景:AI漫画模型根据整个漫画创作流程进行设计。
![图片[1]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记](https://www.xueshe9.com/wp-content/uploads/2023/12/20231208221631114-10.jpg)
一、研究目标及技术路径
1、技术团队:来自阿里达摩院资深工程师,2022年7月份开始出来创业。
![图片[2]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记](https://www.xueshe9.com/wp-content/uploads/2023/12/20231208221634336-11.jpg)
2、数据集:
1)公司数据集为500万量级的数据集。
2)公司数据集特点:具有系列稿,市面上具有系列稿的数据集较少,主要需要和漫画家有互信。
3)公司预计将自己改一个漫画行业的数据库,重新给数据集进行标签,以使得产品更符合动漫进行使用。
4)主要数据来自于热萌创意。
未来计划将数据集开源。
![图片[3]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记](https://www.xueshe9.com/wp-content/uploads/2023/12/20231208221636358-12.jpg) 
 ![图片[4]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记](https://www.xueshe9.com/wp-content/uploads/2023/12/20231208221638247-13.jpg) 
 ![图片[5]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记](https://www.xueshe9.com/wp-content/uploads/2023/12/20231208221640865-14.jpg)
3、技术原理:基于Diffusion+Transformer。区别于SD和Midjourney,主要在于漫画创作的连续性,需比较精准的保持一致性。
![图片[6]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记](https://www.xueshe9.com/wp-content/uploads/2023/12/20231208221643416-15.jpg)
4、静态特性:1)ID连续性;2)强中文叙事能力;3)语意解耦能力。
![图片[7]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记](https://www.xueshe9.com/wp-content/uploads/2023/12/20231208221645987-16.jpg) 
 ![图片[8]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记](https://www.xueshe9.com/wp-content/uploads/2023/12/20231208221647929-17.jpg) 
 ![图片[9]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记](https://www.xueshe9.com/wp-content/uploads/2023/12/20231208221649800-18.jpg)
5、动态特性:多条件控制。
![图片[10]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记](https://www.xueshe9.com/wp-content/uploads/2023/12/20231208221652444-19.jpg)
6、公司产品特效展示:1)可以对漫画的局部位置生成局部动态图画。2)除此之外,还可以给出首图和尾图,可以生成中间的动漫效果。
![图片[11]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记](https://www.xueshe9.com/wp-content/uploads/2023/12/20231208221654968-20.jpg)
二、产品功能:可实现线稿上色、草稿勾线(弱控制和强控制)、辅助填色能力。目前模型在网信办审批,24年1月份应该会开启内测。
![图片[12]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记](https://www.xueshe9.com/wp-content/uploads/2023/12/20231208221659119-22.jpg) 
 ![图片[13]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记](https://www.xueshe9.com/wp-content/uploads/2023/12/20231208221701714-23.jpg) 
 ![图片[14]-1208果麦文化AI漫画模型发布:革新漫画创作流程,实现线稿上色、草稿勾线等多条件控制功能-玖儿的学习笔记](https://www.xueshe9.com/wp-content/uploads/2023/12/20231208221703796-24.jpg)
© 版权声明
1、本网站名称:99学社
2、本站永久网址:https://www.xueshe9.com
3、本网站的文章部分内容可能来源于网络,仅供大家学习与参考,如有侵权,请点击跳转到免责声明页面处理。
4、本站一切资源不代表本站立场,并不代表本站赞同其观点和对其真实性负责。
5、本站一律禁止以任何方式发布或转载任何违法的相关信息,访客发现请向站长举报。
6、本站资源大多存储在云盘,如发现链接失效,请联系我们我们会第一时间更新。
THE END
    






















暂无评论内容