甘斯与多个约束的图像翻译

文摘

未配对图像翻译是计算机视觉中的一个具有挑战性的问题,而现有的生成对抗网络(甘斯)模型主要用敌对的损失和其他约束模型。但约束程度对发电机和鉴频器是不够的,导致图像质量不好。此外,我们发现当前GANs-based模型尚未实现通过添加辅助域,用于限制发电机。解决上述问题,我们提出一种多尺度和多级甘斯(MMGANs)模型图像翻译。在这个模型中,我们添加了一个辅助域限制发电机相结合这个辅助域与原域建模和帮助发电机学习图像的详细内容。然后我们使用多尺度多层次特征匹配约束鉴别器。其目的是使训练过程尽可能的稳定。最后,我们进行实验六个形象翻译任务。结果验证该模型的有效性。

1。介绍

图片翻译(1类似于语言翻译,将源域的输入图像转换成相应的目标领域的形象。例如,输入图像的梨和苹果把它变成一个图像。有很多方法(1- - - - - -6为了解决图像翻译问题,但基于甘斯方法(1,7- - - - - -11在图像翻译)得到了越来越多的关注。在甘斯的方法,他们认为源域的输入图像发生器的输入,产生虚假欺骗样品鉴别器。然后是鉴别器负责判断他们是否真正的目标域或生成的假样本,样本,深卷积或反褶积神经网络(12- - - - - -17)通常被用来构建生成器或鉴别器。

根据数据集是否配对或未配对,甘斯的形象翻译方法大致可以分为两类:配对和未配对图像翻译。配对方法(1,18),它们需要配对的数据集。很难准备成对训练数据集在实际应用中,其成本是昂贵的19]。减少的成本获得成对训练数据集,(20.- - - - - -22提出未配对的方法,不受监督领域的翻译方法(23]。

然而,这些成对或未配对模型生成图像的详细信息是不够的。带来更好的形象翻译的结果,这仍然是一个挑战任务,因为以下问题:(1)如何限制生成器生成的详细内容在图像和(2)如何稳定模型的训练过程来获得更好的性能,如生成图像和泛化性能。

一方面,有约束生成器。这些基于甘斯逐渐接近真实数据分布的方法调整发电机的参数。换句话说,这种方法不需要被pre-modelled甘斯,所以他们太自由造型。的情况有很多像素在图像,这种方法有一个无法控制的问题。为了解决这个问题,24)提出了通过添加条件变量约束生成器和鉴频器 。通过添加约束的启发,许多研究者从不同的角度提出了模型。第一个是添加文本或语义信息模型。文献[25将文本信息添加到级联甘斯,从文本生成高清晰度的图像。文献[26]提出结构甘斯,将语义信息加入到有条件的生成模型。第二个是添加正则化项。文献[27)结合互信息进行对抗性的造型,这实际上增加了互信息的正则化项。文献[7]带来循环一致性约束实现跨域图像翻译。文献[28)利用瓦瑟斯坦距离和梯度点球进行对抗性的造型。然后,由于纳什均衡的原始点甘斯不是渐近稳定,为了克服这个困难,29日)添加一个正则化项梯度更新和原始甘斯证明了平衡的局部渐近稳定后添加。

通过查看类似的对象在现实生活中,我们发现,他们在外观或结构有某些相似之处。此外,还有一些方法来约束发电机通过添加辅助域(30.]。灵感来自于这一点,我们添加辅助域,用于帮助发电机学习图像在图像中的详细信息的翻译。

另一方面,有稳定的训练过程。获得更好的生成图像,许多研究人员提出自己的想法在稳定培训过程。首先,有丢失的模型视角。文献[31日]分析了原始甘斯目标函数的问题,很容易导致梯度消失当训练甘斯和缺失的模型。然后[28达到训练过程的改进。因为原始甘斯训练的收敛不是证明,(32)提出了一种训练甘斯两个时间尺度更新规则,从而使训练过程收敛于当地的纳什均衡。其次,有概率的角度来看。文献[33]研究分布的平方生成器的输入-输出雅可比矩阵的奇异值。第三,多尺度鉴别器。文献[34)提出了一种多尺度鉴别器稳定训练过程和生成高分辨率图像。受这些讨论,为了稳定训练过程,提高鉴别器的识别能力。我们利用多尺度的思想和多级约束鉴别器,它是由深实现卷积神经网络(15,35- - - - - -37]。

在本文中,我们专注于未配对图像基于甘斯的方法翻译任务。试图解决两个问题:(1)基于甘斯的方法(7- - - - - -9,20.,21),发电机缺乏控制的详细信息的过程中图像生成。我们试图限制发电机在图像生成更详细的内容翻译。(2)获得更好的生成的图像或泛化性能的模型,我们尽可能稳定甘斯训练的过程。

为了解决上述问题,我们提出一种新颖的未配对图像翻译框架的角度同时约束生成器和鉴频器。一方面,为了限制发电机,我们添加辅助域模型,它可以帮助发电机学习图像中的详细信息。然后我们将学会了额外的辅助域与域模型和设计多个发电机和鉴别器的图像转换。另一方面,提高鉴别器的能力或稳定的培训过程中,我们使用多尺度和多层次特征匹配约束鉴别器。最后,我们使用多个衍生损失,多尺度鉴别器损失,多层次特征匹配损失,损失和全周期的一致性约束模型。

我们的主要贡献是

(1)我们提出一个未配对,多尺度和多层次特征匹配生成对抗网络(MMGANs)通过添加辅助域实现跨域图像翻译。

(2)我们从的角度修改原始的甘斯模型联立约束生成器和鉴频器。在我们的模型中,我们添加了一个额外的辅助域作为辅助信息帮助发电机学习期间生成图像的细节信息。我们通过多尺度限制鉴别器和多层次特征匹配损失。

(3)最后,我们进行实验六个形象翻译的任务。根据提出的评价方法和生成的图像,实验结果表明,我们的模型具有更好的性能。

本文的其余部分组织如下。部分2描述了该方法和详细的模型。部分3提供结果和讨论。部分4本文总结道。

2。材料和方法

本文受约束发生器,周期的一致性CycleGAN,多尺度鉴别器和多层次特征匹配,我们设计MMGANs模型。一方面,我们限制发电机通过添加额外的域(30.作为辅助信息。另一方面,我们利用多尺度和多层次特征匹配约束鉴别器。为了实现这个模型,我们专门设计多个发电机损失和多尺度鉴别器损失,全循环约束损失,和多层次特征匹配损失。

2.1。公式描述

我们专注于未配对图像翻译问题。为方便下面的描述,我们假设图像实现翻译的领域和 。增加辅助域 。我们有 , ,和样本 , ,和域。为了实现该模型,我们设计六个发电机(即G1: ,G2: ,G3: ,外国游客1: ,F2: ,和F3: )和三个鉴别器(即 , ,和 )。特别是,稳定的训练过程中,我们的鉴别器具有多尺度( )。此外,提高生成的图像的质量,我们添加多级特征鉴别器的匹配。

例如,发电机G3生成样本的目标域 。它的输入域。F1生成器生成的样本目标域 ,是谁的输入域。然后鉴频器确定生成的样本 , ,和真正的样品 是真实的还是假的。的鉴别器和类似于 。MMGANs框架模型及其鉴别器模型图所示1和2。

2.2。敌对的损失与多尺度和多级

提出MMGANs模型启发(30.),它由多个发电机和鉴别器。在该模型中,我们使用多尺度和多级约束鉴别器。通过这种方式,训练过程可以稳定和鉴别器注重图像的识别的详细内容。

具体地说,有三个输入 , ,和 。这需要区分真或假样本的三个输入鉴频器。稳定的训练过程中,我们设计多尺度鉴别器的损失。敌对的损失与多尺度鉴别器如下: 在下标说意味着多尺度的情况下鉴别器。

进一步提高生成的图像的质量,我们在鉴别器上添加约束,重点详细的内容判断生成的图像。所以,我们特别添加的多层次特征匹配损失鉴别器。他们如下: 下标F意味着规范的多层次特征匹配损失。

2.3。目标函数的MMGANs

我们整个目标函数包括发电机和多尺度的多个损失鉴别器,循环损失,全循环损失和多层次功能损失。MMGANs模型优化的目的是 和L是 在哪里 , ,和是参数向量的行(维度13)。和 ,分别是循环和全循环损失(损失30.]。

我们用亚当优化器来解决这个模型,我们给出一个算法的描述。看算法1。

此外,本文进一步版本的我们的以前的工作30.),在以下地方已大大提高。

首先,我们通过多尺度和多级约束修改鉴别器。这样,训练过程更加稳定和鉴别器更多的关注在生成的图像的匹配特性。我们的目标是使生成图像的细节变得更现实。其次,我们还添加单元方法(9)的基线实验。此外,在绩效评估部分,AMT评价指标进一步修改,以使评价方法更客观和全面。

3所示。结果与讨论

我们的实验环境是ubuntu16.04, tensorflow python3, GPU: GeForce GTX 1080 Ti和内存:64 gb,英特尔CPU: XeonR@2.30GHz36。

3.1。训练和测试数据集

我们用水果和季节对本文实验数据集。,水果数据集包括图像的苹果、橘子,梨和季节数据集涵盖了图像的夏天,秋天,冬天。最后,我们采用的数据集30.128)和调整所有图像128年。训练和测试集如表所示1。

3.2。基线

评估MMGANs的性能,我们把我们的方法与CycleGAN [7],DualGAN [8),单位(9]。

CycleGAN:它利用敌对的损失和周期的约束实现的未配对和无监督图像翻译域域或域域。

DualGAN:它利用双重学习限制发电机和鉴频器。有两个发电机和两个鉴别器实现的未配对和无监督图像DualGAN翻译。这种方法扩展了基本的甘斯甘斯成两个耦合。

单位:这两个域的图像编码成共享潜在空间通过共享加权编码器,然后实现无监督跨域图像由甘斯翻译。

3.3。绩效评估

亚马逊的土耳其机器人(AMT) (8)是一种方法来评估图像生成甘斯。它要求观察者只挑出真正的或假的图像中检测图像。仅供选择是真是假样品,模型的性能不是很透彻了。生成的图像由观察员可以分为四类:更好的,更糟的是,这两个是好或坏。

基于上面的讨论,我们提出一个全面的方法来描述模型。首先,让一些观察人士区分更糟糕的是,好,好或坏的图片和计算四种选的数字图像。然后我们获得他们的平均数,分别计算出它们的比例。

假设的和测试图像。与CycleGAN相比,DualGAN,和单元模型,我们分别计算的值 , , ,和 ,这代表的意思是数量更糟糕的是,好,好或坏都使用MMGANs模型生成的图像。接下来,可以计算百分比分别为:

最后,我们分析模型,量化指标 , , ,和 。

3.4。测试的结果

公平地说,所有的实验都是训练有素的200000倍和测试本文中提到的数据集。实验着重于两点:(1)与CycleGAN相比,DualGAN,单位,MMGANs,我们显示生成的图像在不同的数据集,(2)我们使用我们的综合性能评价方法计算定量比率和分析它。

为方便叙述,我们组,分别六个实验案例形象翻译。如表所示2。

3.4.1。设置训练参数

在本节中,我们讨论对实验参数设置,其中包括 , , , , , , , ,和 ,并选择鉴别器的多尺度。此外,我们设置规范 当训练。在具体的实现中,我们采用CycleGAN模型的网络结构。

我们选择的参数通过考虑培训时间和生成的图像的质量。参数 :集=== 10,= 5,== 0,=== 1为所有情况。多尺度和多级参数如表所示3。例如,我们的结果表明,价值观不同的多尺度和多级从苹果橘子在图3。它解释了多尺度、多层次的不同价值观影响生成的图像。因此,我们使用不同的多尺度和多级参数不同的图像翻译任务。

3.4.2。生成的图像

相当比较模型,我们提出通过CycleGAN生成图像,DualGAN,单位,MMGANs。分别和辅助域,梨,橘子,苹果,冬天,秋天,夏天。的测试结果显示为数字4,5,6。

在数据4,5,6,结果表明,生成的图像由MMGANs更为现实。大纲、颜色、背景和前景被CycleGAN比生成的图像,DualGAN和单位。更重要的是,生成的图像的多个目标实体,我们的模型作品也更好。相比之下,由CycleGAN生成图像的保真度,DualGAN和单元更糟。这些结果告诉增强辅助域信息帮助MMGANs模型关注的生成图像的细节。发电机是制约增强辅助域,使得生成的图像更为现实。

3.4.3。性能结果

根据我们提出的评价方法,我们只能告诉一些观察家对测试结果的图片进行排序。例如,当测试apple2orange,基于观察者的第一印象,让观察者判断图像的测试结果是更糟糕的是,好,是好是坏。

与CycleGAN相比,DualGAN,单元测试结果表明,我们的模型可以获得更好的性能进行比较的值 , , ,和 。此外,他们还表明,更高质量的图像生成的概率高于CycleGAN, DualGAN和单位。具体的价值高于从表4,5,6,除了summer2autumn DualGAN。然而,所有图像的平均比率的翻译任务,我们MMGANs比CycleGAN DualGAN和单位。和的值意味着更好的模型相比有更高的概率生成图像。相反,的价值代表相比模型在图像翻译失败的可能性。

最后,通过实验的六个任务形象翻译,结果证明约束生成器和多尺度的损失和多级鉴别器使我们的模型更好的泛化性能。相比之下,我们的MMGANs生成的概率更高更好的图像。

3.5。讨论

在本文中,我们提出一个方法来提高甘斯形象翻译使用的能力增强辅助域限制发电机和使用多尺度和多级损失限制鉴别器。在这方面,我们已经研究了甘斯的可控性。甘斯通过可控性的研究,我们的MMGANs可以使生成的图像更现实的形象翻译。

然而,我们的模型图像中也没有翻译任务。可能的原因包括以下。(1)有不良样品在我们的训练集和测试集,这可能产生不良样品测试集。它显示为数字7和8。(2)模型的性能需要进一步改进。例如,引入注意力机制[38- - - - - -41]。此外,生成的图像多元化,互动,使生成的过程,我们将考虑使用语义控制图像生成在未来的工作中。

4所示。结论

我们提出MMGANs模型图像翻译,这限制了通过添加辅助域生成器和鉴别器,全循环一致性损失,多尺度、多层次的损失。特别是,发电机允许发电机上的约束学习图像中的详细内容。鉴频器的约束使得整个训练过程更加稳定和产生的图像更加逼真。通过实验的六个任务形象翻译,我们的模型实现更好的性能比CycleGAN DualGAN和单位。

数据可用性

苹果,橘子,梨,夏天,秋天,冬天数据集用于支持本研究的发现从ImageNet下载和Flickr。本文引用(7),研究人员可以轻松地访问数据从ImageNet和Flickr。

的利益冲突

没有关于这篇文章的出版的利益冲突。

确认

这项工作是支持部分由中国国家自然科学基金(61773093),主要研发项目(智能处理技术的多源诉讼信访国家2018 yfc0831800),重要的科技创新项目在成都(2018 - yf08 - 00039 gx),四川科技部门和研究项目(2016 jy0088 17 zdyf3184)。

引用

1. p .伊索拉J.-Y。朱、t .周和a . a .埃“Image-to-image翻译与条件对抗的网络”《30 IEEE计算机视觉与模式识别会议,CVPR 2017,页5967 - 5976,美国,2017年7月。视图:谷歌学术搜索
2. r·罗萨莱斯、k .亚干和b·弗雷“无监督图像翻译”学报》第九届IEEE计算机视觉国际会议,页472 - 478,法国,2003年10月。视图:谷歌学术搜索
3. 问:烹调的菜肴,f, d . cohen或者l .梁Y.-Q。徐,H.-Y。Shum”,自然图像彩色化”18 Eurographics会议程序渲染技术,第320 - 309页,2007年。视图:谷歌学术搜索
4. p . r . Zhang伊索拉,a . a .埃“彩色图像彩色化”计算机视觉——2016年大会卷,9907在计算机科学的课堂讲稿,页649 - 666,施普林格国际出版,可汗,2016年。视图:出版商的网站|谷歌学术搜索
5. a . Van Den Oord: Kalchbrenner, o . Vinyals l . Espeholt坟墓,和k . Kavukcuoglu“有条件的图像生成与PixelCNN解码器,”学报30年会在神经信息处理系统中,少量的2016西班牙,页4797 - 4805年,2016年12月。视图:谷歌学术搜索
6. 谢和z,“Holistically-nested边缘检测,”《IEEE计算机视觉国际会议,第1403 - 1395页,2015年。视图:谷歌学术搜索
7. J.-Y。朱,t .公园,p .伊索拉,a . a .埃“未配对Image-to-Image翻译使用Cycle-Consistent敌对的网络,”学报16 IEEE计算机视觉国际会议上,ICCV 2017,页2242 - 2251,意大利,2017年10月。视图:谷歌学术搜索
8. z, h·张,p . Tan和m .锣”DualGAN:无人监督的双重学习Image-to-Image翻译”学报16 IEEE计算机视觉国际会议上,ICCV 2017,页2868 - 2876,意大利,2017年10月。视图:谷歌学术搜索
9. M.-Y。刘、t . Breuel和j . Kautz“无监督image-to-image翻译网络”先进的神经信息处理系统,第708 - 700页,2017年。视图:谷歌学术搜索
10. h .咚,p . Neekhara c .吴郭y,“无监督image-to-image翻译与生成对抗的网络,”https://arxiv.org/abs/1701.02676。视图:谷歌学术搜索
11. 马,j .傅c·w·陈,t·梅,“Da-gan:翻译实例级图像深度关注生成对抗网络”《IEEE计算机视觉与模式识别会议,第5666 - 5657页,2018年。视图:谷歌学术搜索
12. w·刘,刘x, z . Wang n .曾y . Liu和f . e . Alsaadi“深层神经网络体系结构及其应用的调查,“Neurocomputing卷。234年,11-26,2017页。视图:出版商的网站|谷歌学术搜索
13. c .徐、刘问:和m .你们“年龄不变的人脸识别和检索由耦合auto-encoder网络”Neurocomputing卷,222年,第71 - 62页,2017年。视图:出版商的网站|谷歌学术搜索
14. f . x, m, y Liu, d . Liu和唐,“准确使用基于内存模型目标检测在监测场景,”模式识别卷,67年,第84 - 73页,2017年。视图:出版商的网站|谷歌学术搜索
15. 李x m .你们、刘y和c·朱”自适应深Scene-Specific对象卷积神经网络检测,”IEEE电路和系统视频技术, 2018年。视图:出版商的网站|谷歌学术搜索
16. y y, h . Chen, m .你们x Cai, d·张,“道路分割为全天的户外机器人导航,”Neurocomputing卷,314年,第325 - 316页,2018年。视图:出版商的网站|谷歌学术搜索
17. 谢,r . Girshick p .美元,z,和k .他“聚合残余转换为深层神经网络,”《30 IEEE计算机视觉与模式识别会议,CVPR 2017,页5987 - 5995,美国,2017年7月。视图:谷歌学术搜索
18. c . Ledig l·泰斯f . Huszar et al .,“写实的单一图像超分辨率使用生成对抗的网络”《30 IEEE计算机视觉与模式识别会议,CVPR 2017,页105 - 114,美国,2017年7月。视图:谷歌学术搜索
19. j·李、吴y和k,“结构域的适应,”IEEE电路和系统视频技术,27卷,不。8,1700 - 1713年,2017页。视图:出版商的网站|谷歌学术搜索
20. y Taigman, a波里亚克和l .狼“无监督跨域图像生成,”https://arxiv.org/abs/1611.02200。视图:谷歌学术搜索
21. M.-Y。刘和o . Tuzel耦合生成对抗的网络”学报30年会在神经信息处理系统中,少量的2016西班牙,页469 - 477年,2016年12月。视图:谷歌学术搜索
22. h . m . Li黄,l .妈,w·刘,t·张,和江y,“无监督Image-to-Image与堆叠Cycle-Consistent敌对的网络翻译,”计算机视觉——2018年大会卷,11213在计算机科学的课堂讲稿,页186 - 201,施普林格国际出版,可汗,2018年。视图:出版商的网站|谷歌学术搜索
23. 黄k . j . Li, z l .朱和h t .沈,“一起独立转让:广义框架领域适应气候变化,“IEEE控制论,2018年,页1 - 12。视图:出版商的网站|谷歌学术搜索
24. m·米尔扎和s Osindero条件生成敌对的网,“https://arxiv.org/abs/1411.1784。视图:谷歌学术搜索
25. 李和h, h, t .徐,“StackGAN:文本写实的图像合成与叠加生成对抗网络”学报2017年IEEE计算机视觉国际会议(ICCV)威尼斯,页5908 - 5916年,2017年10月。视图:出版商的网站|谷歌学术搜索
26. 邓z h·张,x梁et al .,“结构性衍生敌对的网络”先进的神经信息处理系统,第3912 - 3902页,2017年。视图:谷歌学术搜索
27. r . Houthooft x, y, j·舒尔曼Sutskever,和p . Abbeel”InfoGAN:可表示学习信息最大化生成敌对的网,”学报30年会在神经信息处理系统中,少量的2016西班牙,页2180 - 2188年,2016年12月。视图:谷歌学术搜索
28. 即Gulrajani f·艾哈迈德,m . Arjovsky诉Dumoulin和a·c·考维尔“改善训练瓦瑟斯坦甘斯,”先进的神经信息处理系统,第5779 - 5769页,2017年。视图:谷歌学术搜索
29. 诉纳和j . z科特勒,”甘梯度下降优化局部稳定,”先进的神经信息处理系统,第5600 - 5591页,2017年。视图:谷歌学术搜索
30. y y甘,j .龚m .你们钱,和k·刘,“孤跨域图像翻译辅助域信息,增强”Neurocomputing卷,316年,第123 - 112页,2018年。视图:出版商的网站|谷歌学术搜索
31. m . Arjovsky和l . Bottou”原则的方法生成对抗训练网络,”https://arxiv.org/abs/1701.04862。视图:谷歌学术搜索
32. m . Heusel h·拉姆绍尔,t . Unterthiner b·奈斯勒g . Klambauer s Hochreiter,”甘斯由两个时间尺度更新规则训练收敛到纳什均衡,”先进的神经信息处理系统,1卷,不。2、第四条,2017年。视图:谷歌学术搜索
33. a . Odena j·巴克曼c·奥尔森et al .,“发电机调节有因果联系gan性能?”https://arxiv.org/abs/1802.08768。视图:谷歌学术搜索
34. 苏耿赋。王,M.-Y。刘,J.-Y。朱,a . t j . Kautz, b . Catanzaro“高分辨率图像合成和语义操作条件甘斯,”https://arxiv.org/abs/1711.11585。视图:谷歌学术搜索
35. c . s .下巴,j . Si a . s .克莱尔和Maode妈,“智能图像识别系统对海洋污染使用Softmax传输学习和深卷积神经网络,”复杂性卷,2017篇文章ID 5730419、9页,2017。视图:出版商的网站|谷歌学术搜索|MathSciNet
36. 一个。莫累拉,。桑切斯,j·f·维a . b . Moreno”性别和构型预测使用卷积神经网络从离线笔迹,”复杂性ID 3891624条,卷。2018年,14页,2018。视图:出版商的网站|谷歌学术搜索|MathSciNet
37. z, w·谢,j . Dauwels b·李和j .元”的语义线索进行多流CNN”增强的多模动作识别,”IEEE电路和系统视频技术, 2018年。视图:出版商的网站|谷歌学术搜索
38. 答:Vaswani: Shazeer: Parmar et al .,“注意你所需要的,”先进的神经信息处理系统,第6008 - 5998页,2017年。视图:谷歌学术搜索
39. k .徐j·l .英航r . Kiros et al .,”节目,参加并告诉:神经图像标题代视觉注意力,”美国第32机器学习国际会议上,ICML 2015,页2048 - 2057,法国,2015年7月。视图:谷歌学术搜索
40. h·张,格拉汉姆·古德费勒、d·迈塔克瑟白兰地和a . Odena“Self-attention生成对抗网络”https://arxiv.org/abs/1805.08318。视图:谷歌学术搜索
41. a . Pumarola a . Agudo a . m .马丁内斯,a . Sanfeliu和f . Moreno-Noguer”GANimation: Anatomically-Aware面部动画从单一形象,”计算机视觉——2018年大会卷,11214在计算机科学的课堂讲稿,页835 - 851,施普林格国际出版,可汗,2018年。视图:出版商的网站|谷歌学术搜索

版权

版权©2018燕Gan et al。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。