文摘
确定一组最直观地突出地区配对RGB和深度地图,在本文中,我们提出一个多通道特性融合监管RGB-D图像特点检测网络,学会了RGB和深度分别由两个独立的数据流,使用一个dual-stream side-supervision模块获得显著地图基于RGB和深度特性分别为每一层的网络,然后使用一个多通道特性融合模块融合后者3层的RGB和深度高维信息生成高层重要的预测结果。实验三个公开的数据表明,该网络优于目前主流RGB-D凸起检测模型具有较强的鲁棒性由于使用dual-stream side-surveillance模块和一个多通道特性融合模块。我们使用该RGB-D SOD模型背景散焦在现实场景,实现出色的视觉效果。
1。介绍
图像显著检测的目的是提取感兴趣区域的图像更多的人类通过智能算法模拟人类视觉特征,并承诺为广泛的应用在各种计算机视觉任务,如图像检索、图像压缩、视觉跟踪(1]。近年来越来越多的特点检测研究工作设计了大量的深卷积神经网络(cnn) RGB显著目标检测,取得了更好的性能(2]。与传统方法相比,深度学习可以自动从大量数据中提取特征。然而,这些RGB凸起检测模型可能无法区分凸时凸目标从背景中目标和背景是相似的。
事实上,深度数据包含明确的目标形状和丰富的空间结构,它可以提供许多额外的特点提示RGB数据相比,它提供了详细的外观和结构信息。此外,深度传感器的感知健壮性(例如,微软Kinect或英特尔RealSense)照明变化大大有助于扩展特点的应用场景检测。因此,对于RGB-D凸起检测任务,如何充分融合RGB和深度信息是关键问题。如何明确形式的两个模式之间的互补信息RGB和深度,充分融合,大多数先前的RGB-D融合网络探索跨通道的RGB互补和深度数据流分为两种类型的单个流网络架构和dual-stream网络架构(3]。的网络体系结构认为深度数据可以作为未分化的通道与RGB数据获取凸映射通过学习RGB和深度在一起通过网络特性。本文研究[4superpixel分割后,输入的RGB数据和深度数据,计算每个superpixel地区的重要的特征向量,然后计算重要的价值特征向量作为网络的输入,产生显著图的紧密耦合的RGB信息和深度信息结合superpixels的显著特征。dual-stream网络架构学习RGB数据和深度数据分别通过两个独立的流,然后学习的联合表示RGB和深度特征通过一个共享的网络层添加在早期或晚期获得最终的显著图。研究[5)输入RGB数据和深度数据,两个小网络,火车分开,然后形成一个融合网络生成的RGB和深度特性通过多路径和多通道交互训练他们在一起。研究[6)提出了一个CNN-based框架自动融合RGB和深度数据获取的地图。迟到的融合网络模型提出了研究[7)来捕获RGB和深度模式的高阶特性产生显著的地图。研究[8)认为,这个深CNN的特性,只有融合RGB和深度模式不太可能捕获的互补信息交叉形式。因此,累进complementary-aware融合网络提出了有效利用跨通道互补信息在多个水平。人们普遍认为特性在不同层次上是互补的,他们在不同尺度的抽象的现场。然而,并不是所有的跨通道信息是互补的。
因此,对于如何融合不同层次的跨通道的问题信息,使用dual-stream网络结构。首先,RGB和深度地图作为网络输入两个VGG16Nets [9]。此外,dual-stream side-supervision模块用于显著预测RGB的监督和深度流加快网络收敛性和帮助每一层的网络学习特性更好。为了充分利用和融合RGB的语义信息和深度在不同层次的网络,最终得到显著的预测结果采用高级指导网络的层次越低,从全球到当地。其中,一个多通道特性融合模块构造生成高维多通道信息的多尺度多通道融合功能的最后三层网络,以获得网络高层重要预测结果,而不使用多通道特性融合模块的融合特征的前两层网络,因为网络的低层特征包含目标细节信息。显著的预测结果会出现吵了。为了消除低维深度特性带来的负面影响,本文选择不包括低级特征的低维特征深度融合。广泛使用的数据集的实验表明,本文模型优于目前主流RGB-D凸起检测模型,具有较强的鲁棒性。它能够准确地检测凸目标区域。
2。相关工作
2.1。RGB显著目标检测
早期的2 d显著目标检测方法通常依赖于手工特性和启发式等先验图像对比度,颜色,质地,和其他低级视觉线索。显然,手工功能不足以捕获高层语义信息,所以方法基于这些特性不是普遍适用的,只能在有限的场景实现显著目标检测。
最近,受益于卷积神经网络(cnn)的发展,一些工作已经取得了很大的进步在使用cnn学习深度特性。一些深上优于凸起方法把图像分成小块或superpixels和提取单个或多个规模从每个块或superpixel特性来确定是否一个图像区域突出。虽然获得了更好的性能比传统的方法,处理图像每个块的方式忽略了潜在的整个图像的空间信息,这限制了完整的显著目标检测的准确性。研究[10)使用一个完全连接CNN提取特征和局部和全局特征来预测特点结合地图。文献[11)提出了一种循环CNN与预测地图指引下前一个循环步骤。文献[12)使用一个辍学技术学习深度网络中的不确定卷积特性来提高其泛化能力。然而,由于这些方法只采用特征提取更深层的CNN,他们往往会错过细节突出对象主要捕获在浅层次。最近的一些工作改善显著对象的质量检测通过进一步聚合功能跨多个CNN层同时利用更多的全球和本地上下文信息的推理过程。其中,研究[13)探讨了语义突出对象的属性和视觉对比。文献[14]创建短连接聚合特性在不同的层。文献[15派生一个分辨率的功能模块和boundary-preserving组合优化策略。文献[16迭代)聚合深特性利用多层次之间的互补特点信息特性和在每个层的特性。后,(17)使用剩余交替学习定义深和浅的特性。文献[18制定一个双向消息传递模型选择性聚合功能改善显著目标检测的准确性。文献[19)设计一个attention-guided网络逐步选择和集成多个级别的信息来预测显著目标。文献[20.)设计了一个对称的CNN学习互补特点信息,提出加权结构损失提高显著对象的边界。文献[21]探索全球和本地空间关系深陷网络定位凸对象和定义对象边界。尽管提高检测质量,探索全球空间上下文(特别是在浅层次)仍然严格限制在cnn卷积算子,本质上是当地的空间滤波器。近年来,2 d - base显著目标检测算法迅速发展,甚至一些算法已经应用于工业,但仍有应对的挑战,如不清楚边缘突出预测对象,不完整的透明、反光的预测对象,错过了小对象的检测。为特定的任务,我们应该根据数据的特点设计相应的模型。
2.2。RGB-D显著目标检测
在过去,大多数传统的显著目标检测方法依赖hand-extracted特性捕捉局部细节和全局上下文信息分别或同时进行。然而,高层语义信息的缺乏限制了他们在复杂的场景检测能力。显然,手工制作的高层语义特征并不足以捕捉,所以方法基于这些特性不是普遍适用的,只能在有限的场景实现显著目标检测。最近,多亏了卷积神经网络提取能力的高级语义特征和低级细节特征的多尺度空间,突出目标检测一直在快速发展。这些神经网络方法相比,实验结果取得了质的飞跃,传统手工基于特征的方法。大规模RGB-based显著目标检测一直专注于使用彩色RGB图像识别的对象,取得了很好的效果。尽管许多RGB-based显著目标检测方法取得了有吸引力的性能,这些方法可能仍然无法准确地检测凸区域在处理复杂的场景,因为穷人的外观特性的预测能力贡献RGB数据。例子包括低对比度场景,透明物体,类似的前景和背景,多个对象,和复杂的背景。在这些环境中,很难确定凸目标仅靠指的RGB彩色图像。随着消费级深度照相机的出现如Kinect摄像头,光场相机、激光雷达、深度线索和大量的几何结构信息已经广泛用于突出对象检测(SOD)。 To better mine salient information in challenging scenes, several CNN-based methods combine depth information with RGB letters to obtain more accurate results. Long-standing research has produced the practice and theory of extracting RGB and depth representations equally for symmetric two-stream structures. Reference [22)设计了一个自动熔断特性的对称结构的深度和RGB视图来获取最终的凸映射。文献[23)使用二束CNN-based模型引入crossmodel在多层交互直接求和。最近,几个不对称结构提出了处理不同的数据类型。文献[24)使用增强的深度信息作为辅助提示和一个金字塔解码结构获得更准确的显著区域。文献[25)提出了一个结构,包含一个骨干网处理RGB值和一个子网,充分利用深度线索,将地融合到骨干网直接级联特性。然而,简单的融合策略直接级联或求和不适合定位凸物体由于在现实世界中位置的无限的可能性。综上所述,这些方法忽略了一个事实,那就是深度线索预测在各种场景中为突出贡献不同的对象。此外,现有RGB-D方法不可避免地遭受损失的细节信息时采用卷积RGB和池操作的步骤和深度流。一个直观的解决方案是使用跳跃连接或短连接重建的细节信息。尽管上面提到的这些策略带来满意的改进,他们仍然难以准确预测的完整结构。
3所示。方法
本文中的方法使用两个VGG16Nets为骨干的基础网络,如图1。RGB和深度地图是用作输入提取RGB和深度特性形成RGB溪流,溪流和深度。自网络获得高维语义信息的高级特性的显著目标和忽略目标的边界信息,因此,在本文中,我们采用高级指导低水平,从深到浅,从全球到当地,获得显著图和多通道融合卓越的地图每一层基于RGB和深度特性,分别;和优化网络参数的监督下真理地图;最后把凸起RGB地图的输出流,最终的预测结果。网络层的功能是连接RGB和深度,真理的重要输出地图旁边监督和上层的重要输出作为指导,获得高水平的显著预测结果使用多通道特性融合模块。网络层,高层特征融合方法不使用前两层的特性融合,因为底层特性更关心当地的信息。和低层深度信息是不好的影响最终的预测结果,所以深度流的监督下两层移除,指引着每一层的重要的地图,上面的层。
3.1。二束横向监督
根据(10,11),它可以得出结论,网络监督能促进网络收敛速度和生成更好的分层表示在每个阶段满足功能需求。考虑到单一卷积将导致渠道的数量剧减,失去的更多信息,逐渐减少的数量特征的方法渠道通过使用三个运算是使用,而裁判。11,12)充分考虑深高维特性输出保留更多的目标和位置信息,而忽略了目标细节信息,而低维特征更关注当地和边界信息。因此,通道的数量减少到64年的每一层VGG16Net骨干基地网络三卷积后操作,然后结合显著图的输出更高的层,然后通过卷积,反褶积和卷积操作生产特点这一层的地图。网络学习过程监督的真正价值地图,这可以帮助网络更好地学习每一层的功能。上面的操作是RGB流和深度流分别处理,如图2,具体表现在以下方程:
基于文献[13,14)和实验,可以得出的结论是,前两层的深度特性有信心不足;,包含更多的本地信息的深度特性不发挥积极作用显著目标检测的整个RGB-D形象,因此,前两个的提取和监督层深度流特性的消除。也被发现在实验,表明高层显著地图更有效时的显著图融合高层RGB流和深度流;因此,融合卓越地图是用来计算方面的特点的高3层双流第一和第五行右侧的图2。
3.2。多通道功能融合
考虑到生成的特性在更高层次的网络有完整的关键信息,简单地生成凸图使用一个卷积操作的规模可能通过一些坏的噪声特性图突出预测的输出没有限制。因此,在本文中,我们提出一个多通道特性的RGB和深度特征层融合方法1的骨干网VGG16Net,如图3,这两个功能是连接在系列和特色频道指数减少了卷积操作, , , ,和 。然而,缺乏高层次的指导或输出信息,并排输出之间的误差和真正价值地图由监督直接优化方法变得更大,其效果也差。类似于二束横向监督模块,高层的输出和监督RGB流输出和深度流输出用于提供语义和位置信息的多通道加快网络的收敛特性,优化目标边界,并获得更适合多通道融合特性,计算如下(见图3): 在哪里表示激发函数乙状结肠,规范化特征值和重要值相同的间隔以防止重大输出地图被忽视。
多通道特性融合RGB和深度可以补充和融合的层次特性表示跨模态信息和为产生分层的基于多通道输出特性,相比单一RGB特性和单一深度处理功能分开。形成多通道融合的特性后,本文使用多尺度卷积模块我强大的融合特性表征。多尺度卷积模块提取多尺度的上下文信息,其目的是为了获得一个空间响应映射,以自适应权重特性映射在每个位置和使每个给定输入定位最关心的部分通过学习为每个像素的权重,从而使它更适用于具有复杂背景的场景。多尺度卷积模块使用4尺度卷积核( , , ,和 ),和卷积层有不同的内核大小不同大小的知觉领域获得在不同尺度的特征信息。同时,由于更大的卷积核对应多个网络参数,本文修改多尺度卷积模块提出了(16)通过添加 卷积层之前和之后 卷积层和 卷积层减少渠道的数量,然后恢复通道的数量来减少网络参数,然后由通道串联形成多尺度多通道融合的特征。
然后,重要的输出相应的多尺度多通道融合功能
骨干网络的多通道融合特性VGG16Net更好结合RGB和深度的高维特性和更好的描述突出对象多尺度卷积处理后的特性。由于多尺度卷积对应于不同的卷积核,卷积内核越大,其相应的知觉场,和更多的全球信息。低维特征保留更多关于目标的细节信息,和一个大卷积内核可能破坏其完整性。因此,本文不使用多尺度卷积模块在高层融合过程中熔融特性的前两层低维语义信息融合的部分。产生的显著图融合网络同样由真相图学习更好的多通道融合特性。就像前面提到的2。1,低层次的深度信息不是很可靠,会影响最终结果,所以在本文中,下两层的深度流监督被删除,和每一层的显著图是在上层的指导下,最后凸起的RGB地图的输出流被认为是最终的预测。
4所示。实验结果
4.1。数据集
本文评估这个模型在三个最广泛使用的数据集。NLPR1000数据集包含1000个RGB图像和深度地图及其对应的真理地图,包含11个室内和室外场景与超过400个对象。NJU2000数据集包含2003立体声RGB图像和相应的真理上手写地图,其深度地图生成的光流的方法。立体数据包含797 RGB图像和相应的真理地图(GT),采集主要来自互联网和3 d电影,及其深度地图生成的光流的方法。对于一个公平的比较,相似文献[8),同样的训练集和测试集用于训练和评估。解决不足的训练集的问题,在这篇文章中,训练集受到数据增强操作;即。,the original image is flipped, and the boundary 1/10 cropping operation is performed to retain the main target information, and the training set is increased by a factor of 16.
4.2。评估标准
评估标准是用来评估不同的显著目标检测方法的性能。在这篇文章中,五个评估标准用来评估的模型和其他模型。公关binarizing意义映射生成的曲线是通过一系列的阈值,然后比较其与真实价值地图。在 - - - - - -测量,精确率( )和检出率( ),他们是负相关,为了平衡它们之间的影响, - - - - - -措施是用来评估实验的效果。这个公式是
美:平均绝对误差(MAE)评估之间的绝对误差的平均值显著地图逐个像素和真正的价值。它的计算公式是 在哪里和分别是图像的长度和宽度,然后呢 表示重要和真正的像素值,分别。
测量:结构相似性评估标准评估区域相似性和目标凸之间的相似性和真正价值地图,这被定义为
测量: - - - - - -衡量措施在图像级统计信息和局部像素匹配的信息。为了与其他方法有一个公平的比较,评估标准进行了测试使用所有代码提供的文献[23]。
4.3。实验的细节
本文实验使用Python和咖啡的工具箱,GTX公司Titan-x gpu (12 GB)机器配置。脉冲实验培训、学习速率、体重衰变率,和最小批量大小设置为0.99,1 - - - - - -10、0.0005和1。本文的网络结构是基于两个pretrained VGG16Net网络,和最后的网络模型是通过使用它们作为初始权重和微调模型训练迭代10周期,共计160000次,大约需要8 h。
4.4。实验比较
该模型与其他TAN相比,PCFN, MMCI,和DF模型下上面的评估标准,并提供的显著图相应的论文或由其提供的代码生成。与四个代表模型相比,本文基于深度学习模型在公关曲线如图4。从图中,可以看出,本文的模型已经显著提高相对于这四个模型和一般表现在其他的评估标准。表1显示了这一模式在三个数据集的实验结果基于四个评估标准, - - - - - -测量,美, - - - - - -测量, - - - - - -测量;与其他模型相比,价值越高 , ,和 ,越好,梅的价值越小,越好。
4.5。实验比较的横向监督模块
实验比较dual-stream横向监督模块部分2。1表所示2。NDS(没有很深的监督)意味着上述监督模块不用于横向输出监督,且只有一个卷积是用来制造横向特性的数量1监督渠道。从实验结果表2,可以看出本文监督模块可以更好的监督过程中,保留特征信息生成更好的分层特征表示在每个阶段满足功能需求。
4.6。多通道功能融合的实验比较
多通道特性的实验比较融合节2。2表所示3。BN表明通过只使用正常的卷积方法获得的结果没有改进的多尺度卷积模块。从比较的结果,发现多尺度卷积有重要作用显著的四个评估标准下的计算结果 - - - - - -测量,美, - - - - - -测量, - - - - - -衡量。
4.7。实验比较的低维深度特性
在实验中,发现深度特性位于低维度并不好,影响最终的结果;如数据所示5和6深度,深度1到5代表深度的重要地图对应于每个阶段流网络,RGB1 RGB5代表重要的地图对应于每个阶段的RGB流网络,和Conv1 Conv5代表结合多通道特性所产生的巨大的地图。从图5,可以看出,由于低维的深度特征深度流网络,深度的影响1和深度2导致噪音低电平输出,即。,最后重要的预测结果。因此,为了消除低维深度特性带来的负面影响,本文选择不包括低级特征的低维特征深度融合,即。,不包括深度1和深度2。如图6,没有低维深度特性的影响,本文使用RGB1作为最终结果,从可视化的比较,可以看出已经显著提高,噪声的影响的负面影响。表4显示了特定的数据比较。
5。结论
在本文中,我们提出一个CNN-based RGB-D凸起检测网络,由两个模块协助网络指导低水平从全球到地方,从深到浅,获得更好的显著预测结果。横向监督模块有助于网络的收敛速度并生成更好的分层表示的要求每个阶段的特性,在多通道特性融合模块获得的多尺度纹理信息的高级目标网络和补充和融合跨通道的健壮的高级特性信息,提出一个不同的网络的低层特征融合方法比高级特性。该方法可以融合的低层特征和高层特征提取模型。信息不是很好导致噪音在最后的预测结果,所以低两层的深度流特征从最终功能融合中删除。实验结果在三个广泛使用的数据集的实验结果表明,本文的方法通常比当前的主流算法,具有较强的鲁棒性。未来的研究可以考虑如何使用深度信息,使其更有效的协助RGB信息来获得更好的RGB-D显著预测结果。本文的方法可应用于人工智能自动相机的焦外成像现实场景加速人们的创造性的发展。
数据可用性
使用的实验数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突的这方面的工作。