文摘

动画的起源可以追溯到人类文明的智人时期。如今,动漫是一个记录生活的一种受欢迎的娱乐和许多人的理想信任的来源。类和所有年龄段的孩子和个人喜欢动漫。在大多数人的意见,动漫不仅仅是娱乐和快乐的一种形式,但它也可以表达更深层次的含义,其他文化传播,激发个人追求自己的愿望。基于卷积神经网络的图像风格上的迁移已经发展作为中心近年来的研究路径,并尝试风格迁移已经进化。然而,很少有研究风格迁移。在本文中,我们提出一个基于深度学习卡通风格的迁移问题的解决方案。在相关数据库进行的实验表明我们的方法是有效和准确的,商业和学术意义。

1。介绍

在计算机图形学、图像风格迁移一般指应用特定的艺术风格(通常是一类绘画)到一个图像的语义内容生成一个新的目标的风格。深度学习在图像的快速发展也辅助风格迁移。形象艺术风格的定义是不精确的,主观的,和深度学习应用于图像风格迁移之前,大多数的解决方案需要人类建模的艺术风格,导致高劳动力成本和最少的应用场景(1- - - - - -3]。相关学科的研究人员更加关注神经风格迁移与深度学习技术的介绍。研究人员一直在摆脱烦人的建模工作特定的艺术风格,导致重大的经济收益同时将颜色的日常生活。作为一个受欢迎的艺术形式,动画有广泛的用途,从广告到孩子的教育,等等。像许多其他类型的艺术,许多著名的动画视觉效果是由利用真实的图像。因为卡通风格的迁移方法的结果基于深度学习技术目前不是很好,形象卡通风格的迁移方法有很高的研究价值。图1描绘了一个典型的图片风格转移示意图(4,5]。

基于深度学习图像处理最近受到更多的关注,包括超限分辨重建、图像恢复、黑白图像的彩色化,AI face-swapping最近非常流行。近年来,也有增加图像因袭的研究,目标是将常规的图像转换为一个艺术风格的油画。图像因袭迁移的概念源自使用卷积神经网络进行纹理合成的图像特征(6]。发现功能由卷积神经网络提取的图像可能显示风格和一个图像的内容特征。功能图代表了深度图像的特征。卷积神经网络(CNN)接收到图像作为输入并重建卷积层,随着提取图像的不同维度的特点。格拉姆矩阵,然后计算风格特征和复制各种风格的纹理特征地图,和融合重建达到最终结果内容的地图和地图创建一个美丽的绘画风格与形象的内容和艺术风格。

最近,风格化图像各领域引入了迁移,包括视频广播(7- - - - - -10和电影特效11,12,已经被年轻人经常寻求和崇拜在社交媒体平台。尽管风格化图像迁移得益于几个部门,目前主要在石油与明显的纹理图像,动画等线图像和图纸是很少参与。动漫在我们的生活中有重大影响(13),例如,日本的黑执事,樱桃药丸,和其他富有传奇色彩的动画中不可替代的一部分90年代一代的心;迪斯尼和惊奇的动漫,今天仍在全世界范围内无数球迷的感情(14]。很多人幻想动画产生的另一个世界。动漫可以帮助你平静你的心情,提升你的创造力,发现你的价值观和信仰在动漫,看看未来的乐观情绪。上述细节之后,我们仍然相信它是重要的提高当前研究和应用神经艺术算法创建卡通风格渲染(15]。

随着计算机信息技术的进步,计算机视觉已开始在日常生活中扮演一个角色在创建有趣的应用程序。近年来,风格迁移、计算机视觉和人工智能的结合,已经成为计算机技术发展的主要路径和商业计算机应用的一个重要手段。风格迁移有多个应用程序,在其广泛的定义16),是一种策略,它采用算法将照片变成另一个定义风格相同的纹理图片。风格迁移,从本质上讲,对应于image-to-image一类传统计算机视觉工作,动画风格的迁移是最具挑战性的方面整个风格的迁移问题。因为3 d动画是中国主导的方向根据国家产业计划(17),有一个2 d动画行业稀缺的艺术家。然而,二维动画部门将继续在不久的将来有一个相当大的市场份额。传统的2 d生产要求艺术家定义线,颜色,和分割镜头在动画制作周期中最耗时的任务。迁移研究风格生成对抗神经网络使当地的2 d动画行业有机会征服市场。

文明的进步18),经济的快速扩张,以及精神生活的追求导致了今天的动画产业发展。动画行业的特点是动画和漫画的主要载体。美国是一个历史悠久的动漫强国高度集中的市场,最近和许多好莱坞大片都是基于从1970年代和1980年代一流的动漫。国内动漫市场在2019年价值1600亿美元,1750亿美元,2020年和2500亿年的2025美元(19]。很明显,动漫风格迁移会导致重大的经济收益如果投入动画产业的发展。数字图像算法,很深的卷积网络(VGG) [20.),生成对抗神经网络发展的关键方法风格迁移(甘)。我们决定使用氮化镓在工作中由于前两个需要配对的训练集,这意味着艺术家必须创建相应的手工绘制动画基于实际照片。找到匹配的数据集的动漫风格是困难的。氮化镓的无监督技术允许很多不同的风格21),快工作周期,和更少的试验和错误成本。深度学习用于立即产生图像转化为动漫风格,可以显著降低动画生产的成本。根据论文的地区分布,GAN-related风格迁移论文主要集中在中国,香港,新加坡和韩国,而好莱坞特效艺术家提出的许多新想法和动画艺术家在西方,尤其是美国。然而,很明显,GAN-based风格迁移研究[22)提供了各种不同的应用场景,缓解电影动画的生产。不仅如此,动画形象提供了一个广泛的娱乐应用。相机的娱乐算法已经被公众在日常生活中,喜欢改变看起来改变风格,有大量的观众。跳吉特巴舞的赛车,例如,正变得越来越重要在人们的日常生活和享受。方法用来捕捉拍摄的短片和修改的审美是基于生成对抗神经网络(23]。

如今,动画和动画在世界各地越来越受欢迎,和许多知名动漫都是基于现实世界的位置。然而,动漫需要大量的艺术能力,需要很长时间才能发展。一个重要的工具,一个艺术家建立他或她独特的风格将是一个优秀的计算机软件,将真实生活环境的照片转换成动画视觉效果。此外,这种方法可能会集成到图片编辑软件将普通照片转换成卡通风格的图像。基于上述分析,在本文中,我们提出一个新的卡通风格渲染方法。我们用卷积网络卡通风格的迁移,通过实验,我们想出动漫风格的最合适的方法。该算法生成color-blocked平滑的动画图像通过生成模糊pseudoreal图像在添加身份一致性损失保持角色的身份特征。

2。相关工作

2.1。图片风格转移

人们渴望享受世俗的财富生活和精神世界的完整性,因而导致他们更频繁地欣赏伟大的绘画和寻求精神食粮。人们越来越多地采用程式化的绘画照片软件创建照片,像伟大的绘画在现代生活的文体效果。图像因袭越来越值得我们关注的背景下实现艺术美。电影具有独特的石油画风的话题正变得越来越受欢迎,使电影的研究因袭因袭形象的关键。由于图形处理器的发展,深度学习基于卷积神经网络近年来目睹了第二个春天。此外,相比标准图像艺术因袭依靠渲染和过滤的方法,深度上优于图像格式化算法更适应各种图像处理方法。现实和nonrealistic图像,可以发现这两种类型的图像。Nonrealistic图像计算机生成的图像具有一定Nonrealistic风格,和方法也被称为Nonrealistic呈现。现实的图像的图像表示现实世界的对象,而nonrealistic图像计算机生成的图像具有一定nonrealistic风格。风格迁移的过程将样式应用于一个真实的形象。 Image style artistry is related to style migration, which involves combining existing artwork with nonrealistic rendering to create a range of creative effects in actual images. More research was done when computers initially came out to display realistic scenes, also known as realistic sketching. Now that this realistic drawing can be easily recorded, there is a growing interest in allowing computers to copy painters’ brushstrokes or create more esthetic forms of drawing. Once such drawing style algorithms are created, a painter’s painting that takes more than a month may be done in only a few minutes by a computer, which can replicate or mix multiple artists’ styles to make an esthetic image that does not overlap. Realistic images depict realistic scenarios that do not address the demands of all sectors and users [24]。因为许多审美表达式有一个强大的视觉效果和文化意义,它们可用于各种行业,如广告设计、电影制作、动画和游戏渲染。因为nonrealistic图像需要在专业领域内特定的学科,如工程和工业设计,nonrealistic图像可以帮助完成,否则将模拟耗时且复杂。形象艺术因袭的研究意义重大,因为它允许计算机模拟人体艺术生产。认为艺术家的风格可以被复制的机器。在这种情况下,计算机有一个更高层次的智力和学习能力,允许创建大量nonrealistic图像更多的创造性表达和心理影响。

我们研究的重点是在油画风格的发展25),这是几千年的文明的结果,这些作品传递信息和深度比真正的照片。此外,因为有一个重要的现代人对创意图片的需求,越来越多的移动应用程序产生的艺术图像。这些艺术图像生成新作品的审美价值,除了提供读者和观众的视觉愉悦。Nonrealistic形象的研究已经广泛的应用和发展潜力,并用于各种行业,包括文化和娱乐媒体、计算机动画、工业和电影制作。例如,(1)美镜头和其他类型的美和审美在相机特效;(2)应用在广告、电影和电视,并在屏幕上生成手绘动画行业影响和创造艺术在影视作品和享受;(3)使用CT或MRI图像获得的肿瘤;和(4)工业设计模拟。

图2描绘了一个卡通图片风格传递的示意图。Gatys et al。1]提出一种基于纹理模型的特征空间卷积神经网络的结构是根据特征图之间的相互关系在网络的每一层,使对象信息越来越清晰,而纹理提取越来越捕捉风格自然图像的内容特征。原始图像送入神经网络,和纹理分析推导出在不同特征提取后卷积层使用格拉姆矩阵计算,和白噪声图像输入神经网络,和纹理损失函数计算出不同层纹理合成。作者利用纹理合成方法执行图像风格迁移在油画风格,然后融合与提取的纹理图像来创建最终的照片包括多样化的油画艺术风格。龚et al。26)采用传统方法进行创造性的代表图片和电影。网络是数百次更快利用前馈卷积网络时,即创造了许多相同的纹理样本变量的大小和创作风格从一个图像传送到另一个地方。风格转换方法的主要组件是一个块matching-based操作构建目标活动在一个固定的层,给定一个风格和内容图像,这一过程称为“Style-swap”,或替换内容图像风格的一个补丁图像,这种方法只在一层执行相关处理。实时自适应实例正常化任意风格转移使用新颖的自适应实例正常化实现实时任意风格转换,将内容特征的均值和方差与均值和变异的风格特征。不同的因素是基于风格的图像自适应调整和修改。新奇的是,方差和平均值来自多个样式地图直接计算的风格地图经过卷积神经网络,消除了需要拯救他们。两张图片,图片和图像B,是彼此的地图和风格地图内容。的转换需要想出图像共同风格的原创内容。这两个图片的方法必须有高度的相似性或使用VGG网络图像特征提取,高级卷积将提取图像的纹理。后VGG19特征提取后,粗粒度功能映射由顶部卷积层应该看起来非常相似,即特征图应该是几乎相同的。 If they are the same, the top layer feature map of A may be deconvoluted to reconstruct the content of BA and then fused with the features of image B to produce the final picture BA, and vice versa for image AB. Furthermore, by image style migration based on high-definition image style migration, this article is more inclined to style migration between two photos, detail and clarity are the characteristics of this article. The input of the style image is a high-quality photo. The result can change from day to night, is a different style of conversion from high-definition photos to high-definition photos, using to the style image is no longer an artistic painting. To prevent distortion of the resulting pictures, a set of realistic regularization loss functions is introduced to the loss function during the optimization phase. The semantic segmentation is used to transfer the grass’s style features to the lawn, the sky’s style features to the sky, and so on. The resulting image will thereafter be more realistic by avoiding the mismatch of the dropped style migration content. People have more and more research and ideas in image processing due to the unending image processing activity in recent years. Image stylization, image recognition, and video stylization have all seen recent advancements. Deep learning has been trendy in recent years, especially in the domain of image style migration, and has offered more new ideas and better outcomes for image processing. People’s living standards are rising, and so is the pursuit of art. Deep learning-based picture stylization algorithms are becoming increasingly interesting, and there is a good chance that deep learning and other similar algorithms may provide even better image stylization outcomes in the future.

3所示。方法

一般来说,动漫需要整洁,清晰的边界,以避免大颜色不均匀块的数量。然而,现有的方法容易产生一种棋盘外观和大量的颜色不均匀。为了解决这些问题,本节通过添加网络改造,从而增强了以前的方法,参数选择,和训练数据集的形成,最终得到一个适当的方法对卡通风格的转移。

3.1。该方法

图3描述了整体网络设计。一个图像转换网络和损失函数计算网络组成的网络结构 。网络训练时,转换网络 并将培训照片转换成目标的结果图像 。每一个损失函数计算 测量预想的结果之间的差异图片和内容和风格的图片,和反向传播两个平均损失函数来更新转换网络W的参数。

逆向转换网络的参数更新使用感知损失函数,然后可能被训练成多个风格模型使用不同风格的地图。损失计算网络可以检测出不同语义信息和特性差异内容图像风格的图像和照片的结果计算损失函数和风格损失函数的内容。VGG网络可以应用于人脸识别、图像分类、等,更好地理解语义图像信息,常常用作VGG16和VGG19 VGG网络。在本文中,我们使用一个pretrained网络模型对图像分类的先进知觉能力和语义差异,图像重建过程中,效果更好。内容损失和内容特征提取使用pretrained VGG网络内容损失函数的方程(3)和(2))。

感性的知觉产生损失函数失去网络,更新和转换的参数网络反过来使用损失函数,然后可能被训练成多个风格模型使用不同风格的地图。损失函数计算网络两个损失函数计算,损失函数的内容和风格的损失函数,可以检测出不同语义信息的内容和特性区别图像风格的图像和结果图片。VGG网络可用于人脸识别,图像分类、和其他应用程序更好地感知视觉语义信息,和VGG网络一般采用VGG16和VGG19。在本文中,我们采用pretrained网络模型对图像分类先进的知觉能力和语义差异。在图像重建过程中,影响更强。实验采用方程(2),表示th回旋的层,表示卷积层图在模型中,表示生成的图,图是输入内容,是图的尺寸特性,通道的数量,高度,宽度,分别。风格损失:因为内容损失导致重建图像保持原创内容,风格地图是预期匹配原始的纹理,线,和其他元素。让代表了网络的输入层 ,地图的形状特征 ,我们首先计算图像风格的格拉姆矩阵特性和输出图像。格拉姆矩阵可以表示图像的不同通道之间的相关性。所示的相关计算方程(3),我们使用VGG-19 pretraining模型,它使用的数据集ImageNet pretraining这样做: 在哪里的一个特点维度和维度的特性得到每个过滤器 ;然后,在方程(3)成正比的noncenter的协方差维度。每个网格点可能被视为一个独立的样本,可以获得和成对协方差特征信息;例如,黄色对应于广场和蓝色对应于循环。方程表明,风格重建损失方弗罗贝尼乌斯克之间的差别矩阵的参数化输出的图像和目标图像(3 - 4)。

3.2。图像转换网络

图像转换网络的主体由五个残块。在最初的研究中,网络有三个卷积转换层,五残块,卷积插值和三层。删除所有三个初始反褶积层在这篇文章中,插值和卷积用于抽样。这种替代大大防止棋盘模式的创建。空间批量标准化后的原始文章不再使用所有的非线性卷积层除了输出层。Tanh激活函数在输出层,保证了输出图像归一化Tanh激活函数。最后,输出层利用双曲正切激活函数来保证合成照片的像素是0到255之间,因为需要黑白动画地图,输出层采用双曲正切激活函数确保生成的图像是在0和255像素之间。

整个图像转换网络的输入和输出彩色图像的形式 。当一个图像大于或小于 提供,它是自动调整大小和转换后输入。因为图像转换网络采用卷积层和缺乏一个完全连接层,输入时可以任何分辨率的图像评估。首先,卷积有三层:第一个使用卷积核 的步长,而下面两个使用卷积核 步长为2。我们执行抽样使用卷积,取代所有的原始池层因为卷积层也可能降低增加步长,以减少大小的功能映射。增加知觉领域也提高了网络性能。接下来,我们把后续连接五残块和去年完全连接三层,原始的反褶积,通过插值,然后卷积,输出结果的原始RGB图像和灰度映射的两个。

4所示。试验和评估

4.1。数据集组成

在本文中,我们主要使用标准MicrosoftCoCo和黑白动画数据集的实验。可可数据集主要包括80000多个真实图像,和动漫数据库主要包含超过1000个黑白动画图像。批处理大小设置为4,每个训练图像的大小调整 。40000年MicrosoftCoCo训练数据集,迭代执行两个周期,动漫数据集,40000次迭代进行超过160周期。我们使用了亚当优化器0.0001学习速率。relu4 2层的内容重建失去的风格重建亏损VGG损失网络relu1 2、relu2 2, relu3 3, relu4 3, relu5 3层计算为所有类型的实验。我们使用TensorFlow cuDNN,需要大约12个小时火车在一个GPU。

4.2。实验装置和评价指标

我们进行了软件和硬件的实验设置见表1。

图像风格的优点迁移的结果是由个人的评级和美学评估技术的图像风格的图片迁移。我们采用问卷调查的方法对四种不同的观点和结果检查获得数据结果,因为没有标准的客观评价方法。综述了实验结果通过比较他们其他方法的结果以及其他参数和数据集的结果。

4.3。存在的影响的方法

如图4,我们比较我们的方法与Gatys et al。1)和裴et al。2)作为比较方法1和2,分别。本文的结果Gatys et al。1)和裴et al。2]比较,比较的结果方法1和比较法2,分别如图4:图4(一)是输入内容地图,图吗4 (b)样式图,图吗4 (c)是比较的结果方法1 (1),和图4 (d)是比较法2的结果(2),从结果图可以看出,两种方法产生的颜色不均匀块的结果。在图4 (d),线条更清晰地保留,但是在红色框中的内容地图空白的地方依然会产生纹理,风格和脸部纹理的密度,同时也有一些黑色块。在图4,图4(一)代表输入内容地图,图4 (b)代表样式图,图4 (c)方法1(代表的结果比较1),和图4 (d)代表的结果比较法2 (2),合成图显示,两种方法产生不平等的颜色块。在图4 (d),线条更清晰,但空点在红色框中的内容地图仍然形成了风格纹理,纹理的脸是富裕,一些黑色块。因此,在本文中,我们提出一种改进的基于卡通风格的迁移网络方法。首先,基线的卡通风格的网络本质上保留了网络结构方法2而修改转换网络结构以减少网状棋盘纹理的外观。适当的纹理合成设置然后由实验决定的,和一个标准的动漫培训创建数据集。纹理合成的设置和使用的训练集训练网络也更新和改变,这样的背景和面部纹理的效果被削弱和降低更好的动漫风格的特性相匹配。

4.4。比较的结果

图5地图描绘了四个不同的实验内容,与人物5(一个)代表风格地图,人物5 (b)代表地图内容,图5 (c)代表比较方法1的结果,图5 (d)代表的结果比较法2,图5 (e)代表我们的方法的结果。图5表明,基线方法1的结果没有明显的线条,不规则的颜色块出现,总的结果是凌乱;比较方法2的结果有更多的整体背景纹理和杂乱的背景。我们建议的方法消除了背景和额外的纹理在人脸,同时保留边界线和清晰的原始图像内容。

4.5。客观的实验比较结果

支撑材是一种流行的评估指标。低支撑材数量表明,创建机器生成的图像更接近真正的分布图像,这意味着改善图像质量和品种。整个测试集的FID评估本研究量化生产动漫图像之间的相似性和真正的动漫图片。测试集的支撑材在动漫领域的训练集动画计算域和命名的目标值。照片中的训练集的支撑材领域和训练集的动画领域也计算并命名为初始值,这是源和目标域之间的距离。表2描述了客观的实验结果,证明该方法的生产图片在这一章更接近真实图像分布。

表3描述了如何重构内容图片的质量随迭代的数量。在1000次迭代,呈现网络可以再现原始图像,重建和改善培训的进展。

该模型显示在图6收益率优于先前的模型和推广结果,精度平均得分为0.96。见图6建议模型无法学习足够的特性从训练数据相比,我们提出的模型中,从而导致更低的分数评估标准。这张照片还描绘了培训和验证准确性使用tensor-board从培训日志记录和显示。

5。结论

风格偏移算法变得越来越流行。我们提出了一个基于深度学习卡通风格的偏移算法本文,可以创建卡通风格的照片和清晰的线条和简单的背景纹理和比较结果与其他方法不同的设置和数据集。评估在真实的场景中,我们设计了一个调查问卷,主要是针对年轻女性的年龄在16到30人更熟悉动漫。354数据量得到的结果显示,更多的人喜欢动漫迁移创建的图片显示算法,结果相对较好。结果表明大部分人喜欢动漫迁移由本文的增强方法,照片和结果比较好。

数据可用性

在当前的研究中使用的数据集是可从相应的作者以合理的要求。

的利益冲突

作者宣称没有利益冲突。