基于高阶势和生成对抗网络的场景理解

抽象

场景理解是在图像的每个像素上预测一个类标签。在本研究中，我们提出一个基于经典生成对敌网络(GAN)的语义分割框架来训练一个完全卷积的语义分割模型和对敌网络。为提高分割图像的一致性，采用高阶势代替一元势或两两势。我们通过将敌对网络替换为CRF模型来实现高阶势，这种方法可以不断提高分割语义图像的一致性和细节，直到分割结果与地面真相无法区分为止。在PASCAL VOC 2012和Cityscapes数据集上进行了大量的实验，定量和定性评价表明了我们提出的方法的有效性。

1.简介

基于语义分割的场景理解是计算机视觉领域的一个核心问题，已应用于二维图像、视频甚至三维数据。它的目标是为每个像素指定一个标签，然后提供对场景的完整理解。图中显示了两个场景理解的例子1. 随着自动驾驶等应用的不断增加，场景理解的重要性日益凸显[1]，人机交互[2例如，机器人技术和增强现实技术。

最早的场景解析[三]是33级的场景分类有关LMO数据集，即采用标签转移技术来建立输入图像与各使用SIFT流算法的最近邻居的之间的密集的对应2688倍的图像。国家的最先进的现场分析框架主要基于完全卷积网络（FCN）4]。FCN将著名的网络—alexnet、VGG、GooLeNet和ResNet转换为完全卷积的，将完全连接的层替换为卷积层。FCN的关键观点是构建“全卷积”网络，接受任意大小的输入，并通过高效的推理和学习产生相应大小的输出，实现端到端和图像到图像的深度学习系统。由于所有这些原因和其他贡献，FCN被认为是深度学习的里程碑。大量的池化操作虽然扩大了FCN卷积核的接受域，但丢失了详细的位置信息，导致分割结果粗糙，阻碍了其进一步应用。

为了细化分割结果，在系统输出后采用条件随机场(CRF)后处理阶段[5]它利用完全连通的成对CRF来捕捉像素之间的依赖关系，从而获得精细的局部细节。扩张卷积是Kronecker因子卷积滤波器的推广[6]，它以指数方式扩展接受域，而不会因为丢弃某些池层而失去分辨率。作品(7]利用这种技术可以在任意分辨率上进行密集的特征提取，然后结合不同尺度的扩张卷积，在不增加成本的情况下获得更宽的感受野。结合CRF与扩张卷积，Chen等。[8]提出了“deeplab”系统，该系统在多个尺度上扩大了滤波器的接受域，并通过使用一个完全连接的CRF来响应网络的最后一层，克服了定位精度的缺点。为了将具有成对潜力的密集CRF作为网络的组成部分，Zheng等人[9]提出了一个称为CRFasRNN的模型来细化FCN的分段，使CRF与FCN完全集成并对整个网络进行端到端的训练成为可能。CRF虽然考虑了像素间的相关性，提高了分割精度，但也增加了计算复杂度。为了融入合适的全球特征，赵等。[10[]提出了一个金字塔场景解析网络(PSPNet)，它将像素级特征扩展到特殊设计的金字塔池，除了传统的扩张卷积。该算法获得2016年ImageNet场景解析挑战赛冠军。

在上述算法中，一个共同的特性是所有的标签变量都是使用一元势(如FCN)或成对势(如基于CRF的方法)来预测的。尽管两两配对的潜力提高了语义分割的准确性，但它们只考虑了两个像素的相关性。在一幅图像中，多个像素具有超像素间的一致性;高阶势应该是有效的细化分割精度。Arnab等人[11]已经在基于CNN的分割模型集成高阶电位的具体类。这种特殊的类可以是目标或超像素等等，为此我们需要设计不同的能量函数来计算高阶潜力，它的运算是复杂的。

的生成对抗网（GAN）由Goodfellow等人提出。[12]2014年的特点是训练一对相互竞争的网络，在这种情况下，对抗性网络可以估计生成模型，而不需要近似许多难以处理的概率计算。由于GAN不需要任何Markov链或展开的近似推理网络，因此在超分辨领域引起了许多研究者的关注[13]，图像到图像的转换[14,15]，以及图像合成[16,17]我们对高阶一致性感兴趣，而不局限于某个类。我们也不想有复杂的概率或推理计算。在各种GAN的启发下，我们提出了一个基于GAN的语义分割框架，该框架由生成网络和对抗网络两部分组成。前者产生分割后的图像，而后者则鼓励分割模型不断改进语义分割结果，直到无法根据损失函数的值将其与实际情况区分开来。与经典的GAN不同，我们将原始图像作为生成网络的输入，并将生成网络的输出或相应的地面真相作为对抗网络的输入，然后对抗网络对两个输入的相似性进行判别。如果框架的损失函数值较大，则通过反向传播来调整网络的参数；如果损失函数的值满足终止条件，则生成网络的输出就是最终的语义分割结果。基于GAN的语义分割框架如图所示2。该方法考虑了图像的高阶势，区分了分割后的图像与整幅图像对应的ground truth之间的相似性。

2.建议语义分割方法

该框架的目的是生成语义图像从原始图像 。为了实现这一目标，我们设计了一台发电机G网和敌对网络作为网络参数由D.发电机训练 。这些参数表示权重，通过最小化损失函数得到;然后输出发电机和地面的真相被送入敌方网络，参数化为 ,其中鉴别器被训练来区分真值或假值。为了达到预期的效果，网络结构和损耗函数的设计是非常重要的。

2.1。网络的体系结构

有研究表明，更深层次的网络模型可以提高分割的性能，同时使网络架构复杂化，导致训练困难[18]。我们做网络的深度和算法的性能之间的妥协。

在生成网络，这是图2的第一行中示出三其中包括卷积和反褶积两个模块。卷积模块的作用是提取10层图像的特征映射。每一层由卷积、激活函数和批量归一化组成。卷积是用 内核和64的特征图，然后RELU层作为激活函数，其作用是进行非线性运算。进行批标准化，以避免网络中的每个层的过度拟合。虽然集中行动扩大了网络的感受野，他们也减少了分割的准确性。为了改善特征映射的细节，最后三个池输出被集成为一个，在其上执行去卷积以获得与原始图像大小相同的输出。

区分来自分割图像的地面真值，我们培养了鉴别器网络，该网络是图2的第二行中示出的三. 这座建筑沿袭了文学[13]解决(4)与发电机交替使用。它包含八个卷积层，并使用LeakyReLU作为激活函数。卷积由 内核，最终得到大小为512的feature maps，然后是两个稠密层和最终的sigmoid激活函数来实现分类概率。

2.2。损失函数

在信息论中，交叉熵表示两个变量的相似性;两个变量的分布越相似，交叉熵越小，因此我们采用交叉熵作为损失函数。交叉熵的定义如下: 其中p和是真实值和预测值。方程式(1)当p和是平等的。在多分类任务中，我们使用一个热编码交叉熵。方程式(1)可改写为: 其中y指定一个基本真实像素，并且表示0或1。

该网络的损失函数是两项的加权和。第一个是发电机的多类交叉熵项，它鼓励与输入相似的分段输出。我们使用来表示对C类大小的类概率图 分割模型在给定输入图像x大小的情况下生成 . 此分割模型独立预测每个像素处的正确类标签，如下所述： 在哪里 表示大小图像上多个分类的交叉熵损失函数 ，其中每像素的类概率预测为 。

第二个损失项表示对敌网络的损失。如果对抗性网络能将发电机的输出信号与接地信号区分开来，则损耗值较大;否则，损失很小。由于损失是基于整个图像或图像的很大一部分进行计算的，因此这种高阶统计量的差异可能会受到对抗性损失项的惩罚。我们取敌对网络的输出为 。训练对抗模型相当于减少下面的二元分类的损失： 在哪里表示二进制交叉熵损失和和代表对抗网络的标记图在网络输入是地面实况或者发电机的输出 。

给定的数据集原始图像以及相应的基本事实 ,我们将基于GAN的语义分割网络的总损失函数定义如下: 在哪里表示重量系数。在本文中，我们将其设为0。01。

3.实验

为了评估基于GAN提出的现场了解的算法，我们对两种广泛使用的数据集进行一些实验，包括PASCAL VOC 2012 [19]和城市场景理解数据集风情[1]. 我们在NVIDIA Tesla K40 GPU和Intel Xeon E5 CPU上训练网络，使用2000次迭代，批量大小为16。

为了定量评估场景解析的准确度，本文采用了四个性能指标：像素精度（PA）、平均像素精度（MPA）、平均相交于联合（MeanIoU）和频率加权交集（FWIoU），其计算公式如下：[20在…中6)−(9）。我们假设一个总的 类和类的像素量是多少推断属于类 。 表示真阳性的数量，而和通常用假阳性和假阴性表示:

我们用一阶矩的自适应估计（ADAM）21]优化算法，因为它需要很少的参数调整，其中和分别设置为0.9和0.999。我们还比较了不同学习速率对算法的偏离度，以选择最优值，如图所示4。根据这个数字，我们选择作为这些实验中的速率学习。

3.1。实验一:PASCAL VOC 2012

我们在PASCAL VOC 2012分割数据集上进行了实验，该数据集包含20个目标类别和1个背景类。其扩充数据集[22]包括10582、1449和1456张图像，用于培训、验证和测试。我们将我们的方法与经典的FCN方法进行了比较[4]以及流行的DeepLab[5]:各类的准确率见表1. 除了自行车类外，我们的方法在其他20个类中达到了最高的精确度。表2阐述了不同算法的四个性能指标：PA、MPA、MeanIoU和FWIoU。很明显，从左到右，算法的精度逐渐提高。所提出的方法在这四个性能指标上具有最高的精度。

为了定性地验证所提出的方法，图中给出了几个例子5. 对于第一行的“cat”，我们的方法得到的cat符合地面真实情况，而FCN和DeepLab则分割了其他噪声区域。对于第二行和第五行中的“牛”和“孩子”，我们的方法可以分割腿部等细节，而使用其他两种方法则无法在图像中找到腿部。第四种分割方法分别与其他两种分割方法进行了比较。总的来说，DeepLab分割图像的主观质量优于FCN算法，分割结果优于FCN和DeepLab。

3.2。实验2:城市风光

城市风光(1]是2016年发布的语义城市场景理解数据集。它包含了5000幅高质量的像素级精细注释图像，这些图像来自50个不同季节的城市。这些图像由2975500和1524个图像组成，用于训练、验证和测试，分为19个类别。因为这个数据集是最近发布的，所以以前的算法没有为这个数据集发布代码。我们只使用我们的方法和FCN对城市景观进行主观评价。

图中显示了几个示例6。很明显，我们提出的方法优于FCN，可以实现更多的细节和区分道路，建筑，车辆等。

4。结论

本文提出了一种基于生成对抗网络的场景理解框架，利用对抗网络对全卷积语义分割网络进行训练，并采用高阶势来实现分割后语义图像的精细细节和一致性。我们在两个著名的数据集——PASCAL VOC 2012和Cityscapes上进行了大量的实验。采用不同的语义分割算法，分析了各分类的准确率和四个准确率指标。定量和定性评价表明，该方法在所有算法中具有最好的准确性。在未来，我们将在Cityscapes数据集上做更多的实验，解决类不平衡导致的误分类问题。

数据可用性

支持这项研究结果的数据包含在文章中。

利益冲突

作者声明他们没有利益冲突。

致谢

本课题得到上海市科学技术委员会(上海市科委)资助。15590501300)。

参考

1. M. Cordts, M. Omran, S. Ramos等人，“用于语义化城市场景理解的城市场景数据集”，刊于2016 IEEE计算机视觉和模式识别会议论文集，CVPR 2016，第3213-3223页，美国，2016年7月。视图:谷歌学术搜索
2. M. Oberweger，P. Wohlhart和V. Lepetit，手部深度深度学习用于手部姿态估计《计算机科学》，2015年。
3. C、 刘俊元，和A.托拉尔巴，“基于标签转移的非参数场景解析”IEEE模式分析与机器智能汇刊卷。33，没有。12，第2368至2382年，2011。视图:出版商的网站|谷歌学术搜索
4. J、 Long，E.Shelhamer和T.Darrell，“语义分割的完全卷积网络”，inIEEE计算机视觉与模式识别会议论文集，CVPR 2015，第3431-3440，USA，2015年6月。视图:谷歌学术搜索
5. L. C.陈，G.帕潘德里欧，一Kokkinos，K.墨菲和A. L. Yuille，“语义图像分割深卷积网和完全连接控释肥”计算机科学，第4卷，第357-361页，2014年。视图:谷歌学术搜索
6. S.周，J. N.吴Y.吴，和X.周，开拓局部结构与卷积网络克罗内克层，2015。
7. F、 Yu和V.Koltun，通过扩展卷积进行多尺度上下文聚合， arXiv预印本，2015。
8. L. Chen, G. Papandreou, I. Kokkinos, K. Murphy, A. L. Yuille， " DeepLab:深度卷积网、卷积和完全连接CRFs的语义图像分割"IEEE模式分析与机器智能汇刊，第40卷，第4期，第834–848页，2018年。视图:出版商的网站|谷歌学术搜索
9. S.郑S. Jayasumana，B. Romera - 帕雷德斯等人，“有条件的随机领域的递归神经网络”，在计算机视觉，ICCV 2015年第15届IEEE国际会议论文集，第1529至1537年，智利，2015年12月。视图:出版商的网站|谷歌学术搜索
10. 赵令欢，J.石，X.齐，王X.和J.佳，“金字塔场景解析网络”，在2017年IEEE计算机视觉和模式识别会议论文集，第6230-6239页，夏威夷州檀香山，2017年7月。视图:出版商的网站|谷歌学术搜索
11. 陈志明，“深度神经网路之高阶条件随机场”，国立中山大学物理研究所硕士论文计算机视觉-ECCV 2016，第9906卷计算机科学讲义，第524-540页，施普林格国际出版社，中国，2016。视图:出版商的网站|谷歌学术搜索
12. 刘建民，“网络对抗”，台北，“网路对抗”神经信息处理系统2014年第28届会议的论文集，NIPS 2014，第2672至2680年，加拿大，2014年12月。视图:谷歌学术搜索
13. 胡泽尔等人，“使用生成对抗网络的相片真实感单图像超分辨率”，刊于2017年IEEE计算机视觉和模式识别会议论文集2017年7月，檀香山，105-114页。视图:出版商的网站|谷歌学术搜索
14. “基于条件对抗网路的影像转换”，国立台湾大学资讯工程学研究所硕士论文2017年IEEE计算机视觉和模式识别会议论文集，第5967-5976，檀香山，夏威夷，2017年7月。视图:出版商的网站|谷歌学术搜索
15. 朱军，T.公园，体育伊索拉和A. A. Efros，“未成图片到影像翻译使用周期一致对抗式网络”，在计算机视觉在2017年IEEE国际会议（ICCV）论文集，第2242-2251页，威尼斯，2017年10月。视图:出版商的网站|谷歌学术搜索
16. 十、 Huang，Y.Li，O.Pourseed，J.Hopcroft和S.Belongie，“堆叠生成性对抗网络”，in2017年IEEE计算机视觉和模式识别会议论文集2017年7月，檀香山，1866-1875页。视图:出版商的网站|谷歌学术搜索
17. S. Reed, Z. Akata, X. Yan, L. Logeswaran, B. Schiele, H. Lee，生成对抗性文本对图像合成， arXiv预印本，2016。
18. C. Szegedy，W.刘，贾Y.等人，在“走出去与回旋更深，”IEEE计算机视觉和模式识别会议(CVPR '15)，第1-9页，美国马萨诸塞州波士顿，2015年6月。视图:出版商的网站|谷歌学术搜索
19. M、 Everingham，L.van Gool，C.K.I.Williams，J.Winn，和A.Zisserman，“pascal可视化对象类（VOC）挑战”国际计算机视觉杂志第88卷，no。2，第303-338页，2010年。视图:出版商的网站|谷歌学术搜索
20. A. Garcia-Garcia, S. Orts-Escolano, S. Oprea, V. Villena-Martinez, P. Martinez-Gonzalez和J. Garcia-Rodriguez，“深度学习技术对图像和视频语义分割的调查，”应用软计算，第70卷，第41-65页，2018年。视图:出版商的网站|谷歌学术搜索
21. D. P. Kingma和J. Ba，亚当:一种随机优化的方法， arXiv预印本，2014。
22. B.哈里哈兰，P.阿韦拉埃斯，L. Bourdev，S.马迹，和J.马立克“从逆探测器语义轮廓，”在2011年IEEE计算机视觉国际会议论文集，ICCV 2011，第991-998页，西班牙，2011年11月。视图:出版商的网站|谷歌学术搜索

版权

版权所有:赵晓丽等这是一篇开放获取下发布的文章知识共享署名许可协议，允许在任何媒体中不受限制地使用、发布和复制原创作品，只要原稿被正确引用。