文摘

针对场景的复杂性和多样性在场景分类,本文充分利用上下文对象之间的语义关系来描述场景的视觉注意力的区域,结合深卷积神经网络,这样一个场景分类模型使用视觉注意力和深层网络构造。首先,场景中的视觉注意力的区域图像使用基于上下文的显著标记检测算法。然后,原始图像和视觉注意力区域检测图像叠加获得视觉注意力增强图像区域。此外,深原始图像的卷积特性,视觉注意力区域检测图像,视觉注意力地区增强图像中提取使用深卷积神经网络pretrained在大规模场景图像数据集的地方。最后,深刻的视觉注意力功能是由使用多层的卷积特性深深卷积网络,并构造一个分类模型。为了验证该模型的有效性,实验进行四个标准场景数据集LabelMe UIUC-Sports Scene-15, MIT67。结果表明,该模型可以提高分类的性能良好,具有良好的适应性。

1。介绍

作为一个基本问题在计算机视觉和图像理解领域,场景图像分类和研究受到了人们的广泛关注(1- - - - - -7]。最重要的问题需要解决在场景分类是给适当的表达场景中的内容。为了提高场景分类的准确性,研究人员不断探索新方法,已利用全局特征和局部特征以及中间形成视觉词包;袋子将代表一个视觉场景形象词组合方法(8),通过迭代和交叉验证,得到图像块与分化程度、图像中间表达方法的9]。均值漂移算法找到区分模式在图像块分布空间,创造中层场景的图像表示方法10]。通过建立度量学习公式和学习最好的度量参数,在线度量学习和并行优化大规模高维数据可以解决(2]。这些方法虽然取得了一定的分类效果,分类性能降低当有许多对象或复杂场景中图像内容。

近年来,深的建议卷积网络使得人们有可能获取更丰富的高层语义的图像(11- - - - - -13]。多纳休等人直接使用卷积神经网络(cnn) [14),pretrained ImageNet数据集,场景分类。周等人建造了一个大型数据集训练集中在现场和卷积神经网络在此基础上(15),显著提高场景分类的性能。白提议通过CNN转移学习,深特性被用来表达特殊场景目标分类(16]。邹等人建立了一个基于非负矩阵分解的融合方法,可以保持非负特征属性和改善他们的表现性能。此外,开发一个自适应特征融合和提高算法提高图像的效率特性。有两个版本的提出了非负特征融合方法单一特征融合和multifeature融合(1]。

张等人提出了一个空间意识到聚合网络场景分类,检测一组视觉语义重要地区的每一个场景都通过semisupervised和结构保留非负矩阵分解(NMF)。目光转移路径(GSP)被用来描述人类感知的过程中每个场景图像,和空间知觉CNN称SA-NET深度开发来描述每个GSP。最后,深GSP函数从整个场景图像集成到内核的图片,将其集成到内核支持向量机分类现场(3]。仪等人提出一个DeepScene模型,利用卷积神经网络为基础架构,把灰度图像RGB图像。空间金字塔池纳入卷积神经网络(17]。这些方法大大提高了场景分类的效果。

然而,大多数现有的算法作为场景的组合多个对象(18- - - - - -20.)和缺乏语境的描述对象之间的语义关系,从而限制场景分类的准确性(21]。为此,检测算法基于上下文的意义(22),注释在现场视觉焦点区域,和区域包含场景中的主要目标,可以表达的背景区域的一部分,同时,结合卷积神经网络的深度,营造一种融合的深度场景视觉注意力模型的分类特征。它克服了限制的使用对象和结构特性有效地分类和获得良好的场景分类性能。

2。场景分类模型的建设

为了适应图像的多样性,本文将图像显著特征的背景下视觉注意力特点,叠加到原始图像和卷积的深度网络;构建场景分类模型;使模型的图像来表达深刻的内在特征在同一时间;同时可以表达场景中的目标上下文语义特征之间的关系。

2.1。检测区域的视觉注意力

主要影响视觉判断的区域被称为视觉注意力的面积。在这里,Goferman等人提出的基于上下文的特点检测算法用于提取图像的视觉感兴趣的领域(22]。提取显著区域充分考虑全球和本地的特性在不同的尺度和马克显著目标与他们不同程度的邻近地区。它反映了上下文场景中对象之间的关系和周围的风景和过滤掉一些重复的纹理信息。

图像块作为比较单位和在实验室相比颜色空间。距离越近,更大的区别是,它是更重要的。不同程度的表示为两个图像块 在哪里 代表了图像块, 是中央像素点的 ,和 和 代表颜色距离和两个街区之间的空间距离,分别。

不同程度的价值在一个规模,通常情况下,只有前一块之间的差异程度值和一个特定的块和意义价值的规模下的像素点需要计算如下: 在哪里 是最相似的块,前面 ,和 代表了一定规模。

为了使地区重要的多尺度检测意义,有必要计算多个single-scale意义值,然后取平均值,如下: 在哪里 表示数量的尺度和 代表了尺度空间。

此外,有必要结合图像的背景使该地区不同距离显著目标有不同的特点。像素点的意义价值终于被定义为 在哪里 代表像素点之间的欧氏距离 在规模 和最近的像素点在重要地区。 代表数量的尺度, 代表了尺度空间。

图1是检测领域的视觉注意力的一个例子。亮度值在图1 (b)是这个位置的视觉注意力。可以看出,背景区域的注意随的变化接近目标。

(一)原始图像
(一)原始图像
(b)视觉注意力检测区域图像
(b)视觉注意力检测区域图像
图1
视觉注意力检测领域的例子。
2.2。建设增强图像的视觉领域的关注

虽然现场原始图像中包含的信息是全面的,它不能区分有效信息无效信息。为了提高现场区域包含不同程度不同的信息,发现地图的视觉关注的领域是叠加在原始图像获得增强图像的视觉关注的领域。

假设 是原始图像, 是检测地图的视觉关注的领域,然后呢 增强地图的视觉关注的领域。在叠加之前,原始图像的大小和检测视觉关注的领域是规范化的地图 ,和检测的意义价值地图的视觉关注的领域是[0,1]规范化。

图2显示了增强视觉注意力的区域。场景中可以看出,不同地区有不同的视觉注意力,和一些重复的纹理和场景中不太明显的区域信息有效地抑制,如在机场通过现场和装饰绘画在卧室里。在保持视觉注意力,一些灰色地带的叠加图片补充信息(关注和unattention区域)之间的过渡区域。


图2
增强图像的视觉注意力的地方。
2.3。深特征融合

为了有效地描述图像场景的内容属性,AlexNet网络模型,已pretrained大规模场景数据集的地方,用于提取原始图像的深度卷积特性,视觉关注的领域检测图像,视觉关注的领域增强图像。此外,由于不同层深的卷积网络有不同的原始图像数据的抽象表达,多深的完全连接层的输出卷积网络用于本文形成的深层融合功能的最终表达场景图像。

如图3AlexNet的连接层,表示层6卷积特性,分类协会功能是表示层7。因此,在本文中,4096 - 7层和6层的维输出特性是串联连接生成图像的深度融合特性,计算公式如下: 在哪里 深度融合的特征吗 和 , 是输出层的功能 ,和 是输出层的功能 。


图3
原理图生成深度融合的特征。

然后,原始图像的深度融合特性,视觉焦点区域的检测图像,增强图像的视觉焦点区域相同的图像拼接生成深度视觉焦点的特性。计算公式如下: 在哪里 深刻的视觉注意力的特点, , ,和 是原始图像的深度融合特征,检测图像视觉注意力的区域,和增强图像的视觉注意力的区域,分别。

最后,深度视觉注意力的特征训练图像在目标数据集发送到随机森林分类器训练,训练分类器是用于场景分类。提取的特征都因为上下文语义图像中对象之间的关系和场景深度的固有特点,场景分类的有效性大大提高。

3所示。实验结果和分析

3.1。数据集和实验设置

本文对四种常见标准场景数据集进行测试,LabelMe (OT) [23),UIUC-Sports (SE) [24),Scene-15 (LS) [23,25,26],MIT67(是)27分别),每个场景的部分图像数据集在图所示4。为了比较相似的算法,实验进行了训练和测试所占的比例不同的数据集的引用,和10的平均分类精度实验是作为最终的测试结果。(我)LabelMe (OT)数据集包含2688彩色图像的8类, 大小。200年每个类别,图像被随机用于训练,剩下的图像被用作测试图像(2)UIUC-Sports (SE)数据集包含1579彩色运动场景图像的不同尺寸8类。每个类别是随机分配70图像训练和60图像测试(3)Scene-15 (LS)数据集包含4485室内和室外的场景图像15类,其中8 LabelMe数据集类别是一样的。100图像被随机在每个类别用于培训,和其余的图像被用作测试图像(iv)MIT67(是)是一个具有挑战性的室内场景图像数据集包含在67年总共15620张图片类别。80图像被随机在每个类别用于培训,和20个图像作为测试图像


图4
每个数据集的部分图片。
3.2。分类性能评价

图5显示分类的比较测试结果在四个数据集之间的深度学习功能没有视觉注意力区域检测和功能提出了通过使用相同的分类方法。


图5
使用视觉注意力的区域检测实验结果的比较。

可以看出,本文提出的所有特性有一定的影响的测试数据集,和分类精度效果最为显著提高LS数据集,主要是因为数据集包含了室内和室外的场景,这表明算法是通用的。此外,简单的户外场景的分类效果也显著提高。然而,SE和数据集的影响有限,主要是由于这样的事实,有很多场景中的对象,和著名的场景中对象的上下文关系是复杂的。人们在许多场景并不区分场景的主要对象,但有时,他们增强作为突出的对象,这干扰场景内容的歧视。特别是,场景的歧视SE数据集之间的关系主要是由人物的动作和场景,人物的动作有时会在多个场景非常相似。因此,视觉关注的领域的分类效果检测算法对这些数据集是有限的。

精度和召回被用来评估和分析OT, SE,分别和LS数据集。

表1显示了融合矩阵获得的测试方法的数据集。可以看出,该方法可以达到100%的准确率和召回率“MITinsidecity”类中,也可以为其他类别达到良好的分类效果。很容易混淆“MITopencountry”类与“MITcoast”类。图6显示部分误分类的图像数据集。这两个图像分类的图像“MITopencountry”到“MITcoast”,因为天空和土地之间的上下文关系“MITopencountry”是类似于在“MITcoast天空和海岸。“草坪和沙漠斜坡上有类似的结构。

表1
融合矩阵的数据集。

图6
在不误分类图像。

表2表明该方法得到的融合矩阵在LS某些测试数据集。最令人困惑的类别是“卧室”和“厅”和“MITtallbuilding”和“工业。“图7显示了LS的部分分割图像数据集。在(a),现场图像的“工业”是不是“MITtallbuilding”,因为图像中的高层建筑高楼大厦外观非常相似,和上下文与周边环境的关系是“MITtallbuilding相似。“右边,现场的形象”PARoffice”分类错误成“厨房。”的原因是,内阁的上部图像具有相同的位置和外观与内阁,与桌面和上下文的关系类似于“厨房,“因此导致误分类。

表2
融合LS数据集的矩阵。
(一)
(一)
(b)
(b)
图7
在LS误分类图像。

表3显示了融合矩阵通过某种测试方法的摘要SE数据集。可以看出,该方法可以达到100%的准确率和召回率的“航行”类。然而,“室外地滚球戏”最低的精度和召回率,它是最容易混淆“槌球”,主要是因为这两个场景的识别主要是基于角色的动作和人物之间的关系和场景,和性格这两个体育运动非常类似于周围的环境中,所以很容易误判。

表3
融合SE数据集的矩阵。
3.3。实验结果的比较

该方法的实验结果在四个标准场景数据集比较与参考方法。

OT数据集上的测试结果比较如表所示4。可以看出,该算法使用深卷积网络具有明显的优于传统的特征提取算法。GECMCT方法(28)将遥远的社区信息添加到非参数变换计算和空间信息。依据功能和空间校正普查变换组合起来形成一个新的图像描述符,但这种方法缺乏深层的描述场景图像。HGD算法(29日]使用向量训练多通道分类器对每个图像的主题分布向量,这不仅在建模复杂但也有限的分类效果。使用深卷积网络与其他算法相比,深卷积分类模型本文构建基于图像的视觉感兴趣的领域显然更好的分类效果。

表4
比较测试结果的数据集。

SE数据集上的比较测试结果如表所示5。可以看出,本文模型的分类性能明显优于其他分类算法。其中,实现+研究生+颜色+形状方法(8)图像和标签信息嵌入块级内核描述符形成监督内核描述符并使用视觉词包学习底层块表达式。该方法的实现过程相对复杂。和表征能力的视觉词包是有限的。LGF方法分类使用全局和本地特性的图像,没有图像的内容分析;使用视觉注意力的区域检测算法对图像的不同区域有效;并结合深度一直在训练数据集的地方卷积网络和可以更好的访问图像的空间结构信息30.]。AdaNSFF-Color提高(1]提出了一种新颖的融合框架的自适应非负特征融合(AdaNFF)场景分类。AdaNFF集成了非负矩阵分解,融合自适应特性,特征融合提高到一个端到端流程。然而,尽管这种方法融合和增强功能,训练数据缺乏针对性,从而影响其泛化能力。

表5
在SE数据集比较测试结果。

LS的数据集上的测试结果比较如表所示6。本文算法仍具有良好的分类效果,这不仅比传统的分类方法也比许多分类方法使用深度学习。SDO + fc算法的特性共存的场景中所有对象模式(4)和不同场景中物体的相关配置选择代表和区分对象,因此,类之间增强辨别力,识别对象在图像块的出现概率来表示图像描述符和消除公共目标的影响。虽然算法考虑场景中的对象之间的相关性,还局限于简单的对象,不考虑周围的背景区域相邻的对象,所以分类的效果是有限的。DeepScene [17)集成空间金字塔池到卷积神经网络进行多级池现场形象和实现卷积神经网络融合的加权平均合奏类分数从而提高场景分类的总体性能。然而,这种方法仍然需要整个场景和不提高场景的信息代表,所以分类的效果是有限的。

表6
比较测试结果数据集LS。

是数据集上的比较测试结果如表所示7。可以看出,类似于其他数据集的结果,利用卷积神经网络的效果明显优于传统的特征一般来说,摘要和分类结果仍有明显的优势。其中,Places-CNN算法(15)使用数据集的地方pretraining网络优于ImageNet-CNNS算法(11]数据集使用ImageNet pretraining网络近12%,主要是因为网络使用现场培训更有效地判断场景类别。然而,hybrid-CNN算法使用pretrained ImageNet和地方的网络数据集提取深度图像卷积的特性(15]。因此,提高分类效果较前两种算法。然而,本文的算法只使用pretrained卷积神经网络数据集的地方,结合上下文信息的图像的视觉注意力的区域比hybrid-CNN算法实现更好的分类效果。

表7
比较测试结果的数据集。

4所示。结论

本文提出一个场景分类模型基于视觉焦点区域的深度特征。基于显著区域检测场景的背景下图像视觉图像中感兴趣区域,与原图像叠加,提高图像的视觉感兴趣区域,然后,将这三个图像到AlexNet,分别提取深度视觉焦点特性,最后,将它变成随机森林分类器进行训练和分类。

自深视觉注意力的特征提取模型本文还描述了图像中目标信息和目标之间的上下文语义信息和周围的场景,不同的构造视觉注意力和场景特征的表达能力提高。结合多层深卷积的特点,深构造场景图像的视觉表达。四个标准场景图像集上的测试结果验证了该方法的有效性,它比几种方法具有良好的特点。

测试数据集的分类方法作为一个整体有很好的效果,但当个人场景图像内容本身存在歧义或视觉注意力内容区并不完全表达现场;仍有故障现象,,和另一个步骤在未来的研究工作将挖掘更深层次的视觉关注上下文信息,为了获得更好的分类效果。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项研究是由陕西省自然科学基础研究计划,拨款2021号金桥- 487。