无线通信和移动计算

PDF
无线通信和移动计算/2020/文章
特殊的问题

城市计算与智能学习方法

浏览特刊

研究文章|开放获取

体积 2020 |文章的ID 7917021 | https://doi.org/10.1155/2020/7917021

张成,何丹 基于低秩稀疏分解的遥感影像目标显著性深度多尺度融合检测方法",无线通信和移动计算 卷。2020 文章的ID7917021 14 页面 2020 https://doi.org/10.1155/2020/7917021

基于低秩稀疏分解的遥感影像目标显著性深度多尺度融合检测方法

学术编辑器:Qingchen张
收到了 2020年2月06
接受 2020年4月16日
发表 2020年5月08

摘要

城市数据提供了丰富的信息,可以支持人们的生活和工作。在本工作中,我们研究了光学遥感图像中的目标显著性检测,这有助于城市场景的解译。显著性检测选择了遥感图像中具有重要信息的区域,这些区域严重模拟了人类的视觉系统。它在其他图像处理中起着重要的作用。在变化检测、目标跟踪、温度反转等任务中取得了成功。传统方法存在鲁棒性差、计算复杂度高等缺点。为此,本文提出了一种基于低秩稀疏分解的深度多尺度融合方法,用于光学遥感图像的目标显著性检测。首先,对遥感图像进行多尺度分割。然后计算显著性值,生成建议区域。将分割图中剩余建议区域的超像素块输入卷积神经网络。 By extracting the depth feature, the saliency value is calculated and the proposal regions are updated. The feature transformation matrix is obtained based on the gradient descent method, and the high-level semantic prior knowledge is obtained by using the convolutional neural network. The process is iterated continuously to obtain the saliency map at each scale. The low-rank sparse decomposition of the transformed matrix is carried out by robust principal component analysis. Finally, the weight cellular automata method is utilized to fuse the multiscale saliency graphs and the saliency map calculated according to the sparse noise obtained by decomposition. Meanwhile, the object priors knowledge can filter most of the background information, reduce unnecessary depth feature extraction, and meaningfully improve the saliency detection rate. The experiment results show that the proposed method can effectively improve the detection effect compared to other deep learning methods.

1.介绍

随着信息技术的飞速发展,城市数据已成为人类重要的信息来源之一。人们接收到的信息量呈指数级增长[12]如何从海量的城市图像信息中选择人类感兴趣的目标区域成为一个重要的研究课题。研究发现,在复杂场景下,人类视觉处理系统会聚焦于几个对象,称为感兴趣区域(ROI)[3.].ROI与人类视觉感知相对接近。显著性作为图像预处理过程,在视觉跟踪、图像分类、图像分割、目标重定位等遥感领域具有广泛的应用前景。

显著性检测方法主要包括自顶向下和自底向上两个方面。基于自顶向下的显著性检测方法[4- - - - - -6]是一个任务驱动的过程。地面真实图像被手动标记,用于监督训练。它整合了更多的人类感知,以获得显著的地图。然而,自底向上的方法是一个数据驱动的过程,它更关注图像的对比度、位置和纹理等特征来计算显著性贴图(SM)。Itti等人[7]提出了充分利用局部对比度的空间视觉模型,通过图像中心与周围的差异得到显著性地图。侯和张[8],提出了一种基于光谱残差(SR)的显著性检测算法。Achanta等人[9]提出了一种基于图像频域的频率调谐(FT)显著性计算方法。提出了一种结合直方图计算全局对比度的检测方法[10].此外,还提出了其他相关方法,并显示了较好的效果[11- - - - - -15].但他们并没有从维度来分析图像。

Yan等人[16]将图像的显著性区域作为稀疏噪声,背景作为低秩矩阵,利用稀疏表示和稳健主成分分析算法计算图像的显著性 块。对每个图像块进行稀疏编码并合并成一个编码矩阵。然后,对编码矩阵进行鲁棒主成分分析分解。最后,通过分解得到的稀疏矩阵用于建立相应图像块的显著性因子。但是,由于大尺寸显著性对象包含在很多图像块中,每个图像块中的显著性对象不再满足稀疏特征,从而极大地影响了检测效果[17]利用多任务低秩恢复方法进行显著性检测。采用多任务低秩表示算法对特征矩阵进行分解,约束同一图像块中所有特征稀疏分量的一致性。该算法利用了多特征描述的一致性信息,提高了算法的效果。但是,由于大尺寸目标包含大量特征描述,因此特征不再稀疏。重建误差不能解决这一问题,因此该方法不能完全检测出大尺寸的显著性目标。为了完善上述方法的结果,沈和吴[18]提出了一种低秩矩阵恢复(LRMR)算法,该算法结合了自底向上和自顶向下算法(分别提供高层和低层信息)。首先对图像进行超像素分割,提取多个特征;然后,通过网络学习得到特征变换矩阵和尺寸、纹理、颜色等先验知识,对特征矩阵进行变换。最后,利用鲁棒主成分分析算法对变换后的矩阵进行低秩稀疏分解。该方法在一定程度上改进了该缺陷。然而,由于中心先验的限制和复杂场景之前颜色的失效,该算法对复杂背景图像的检测并不理想。

采用不同低层次特征的显著性检测方法通常只对特定类型的图像有效,不适用于复杂场景中的多目标图像[19- - - - - -21].图1是显著性检测的实例。视觉刺激的低级特征缺乏对显著性对象本质的理解,不能在更深层次上表现特征。对于图像中的噪声目标,如果它们与低阶特征相似但不属于同一类别,往往会被错误地检测为显著性目标。Yang等人[22展示了一袋单词模型来检测显著性。首先,通过目标特征得到先验概率显著图,建立表示中间语义特征的词包模型,计算条件概率显著图;最后,通过贝叶斯推理合成了两幅显著性图像。中间语义特征比底部语义特征能更准确地表示图像内容。因此,检测效果更准确。Jiang et al. [23]将显著性检测作为一个回归问题,在多尺度分割条件下综合区域属性、对比度和区域背景知识的特征向量,通过监督学习得到显著性图,由于引入背景知识特征,该算法具有更好的识别bac的能力将目标旋转,从而获得更准确的前景检测结果。

深度学习(Deep learning, DL)是将低级特征结合起来形成更抽象的高级特征,卷积神经网络(convolutional neural network, CNN)就是其中的典型代表。许多显著性检测方法都采用CNN对结果进行优化。李等人[24]提出了深度CNN来检测显著性。首先,利用超像素算法和双边滤波获得区域和边缘信息;利用DCNN提取原始图像中的区域和边缘特征。最后,将CNN生成的区域置信图和边缘置信图集成到条件随场中,对显著性进行判断。Wang等[25]提出了用于显著性检测的充分循环CNN(即RFCNN),主要包括两个步骤:预训练和微调。利用RFCN对原始图像进行训练,对显著性先验图像进行校正。然后,利用传统算法对改进后的显著图进行进一步优化。李等人[26]提出了一种深度显著性(deep saliency, DS)算法,在统一的CNN框架下利用低阶和高阶信息进行显著性检测。利用VGG-Net进行高级特征提取。主要提取底层特征。然后利用CNN对距离图进行编码。最后,将编码后的低层距离图与高层特征进行连接。采用全连接CNN分类器评估特征信息,得到显著性图[27].上述方法在显著性检测率方面表现出了良好的性能。但仍存在速度慢、计算复杂等缺点。

本文提出了一种基于低秩稀疏分解的深度多尺度融合方法,用于光学遥感图像的目标显著性检测。主要贡献如下。(一)首先,对遥感图像进行多尺度分割。对于第一个分割图,利用CNN提取所有超像素块的深度特征(b)然后计算显著性值,生成建议区域。将分割图中剩余建议区域的超像素块输入CNN网络。通过深度特征提取,计算显著性值,更新建议区域。同时,计算每个超像素中所有像素的颜色、纹理和边缘特征均值,构建特征矩阵。为了使图像背景便于低秩稀疏分解,需要对上述特征矩阵进行变换,使背景在新的特征空间中表示为一个低秩矩阵(c)为了充分利用高层信息,提高感兴趣区域的检测效果,采用全卷积神经网络进行特征学习,得到高层语义先验知识矩阵。利用特征变换矩阵和高级语义先验知识对特征矩阵进行变换。采用鲁棒主成分分析算法将变换后的矩阵分解为低秩稀疏分解,得到显著性图。该过程不断迭代,以获得每个尺度上的显著性图(d)最后,权元胞自动机方法融合了多尺度显著图。结果表明,与其他DL方法相比,该方法能有效提高检测效果

本文的其余部分组织如下。第二节分析了本文提出的用于显著性检测的深度多尺度融合方法。第三节介绍了基于多尺度分割的显著性区域提取。第四节根据深度特征计算显著性。第五节评价性能和鲁棒性。第六节得出结论。

2.基于深度多尺度融合的显著性检测

本文提出的用于光学遥感图像显著性检测的深度多尺度融合方法如图所示2

首先,图像 采用超像素分割算法将图像分割成少量的超像素块。从所有超像素块中提取深度特征。计算每个超像素中所有像素的颜色、纹理和边缘特征均值,构建特征矩阵。为了使图像背景便于低秩稀疏分解,需要对上述特征矩阵进行变换,使背景在新的特征空间中表示为一个低秩矩阵。采用主成分分析(PCA)方法提取图像中包含关键信息的多维特征。通过计算关键特征得到粗分割显著性图,提取初始显著性区域得到超像素集 然后,我们采用 为了集中超像素和非目标区域之间的相似度,对输入图像进行了不同尺度的分割 选择Set进行深度特征提取。卓越地图和 下一个比例尺的集合是基于同样的方法得到的。利用鲁棒主成分分析将变换后的矩阵分解为低秩稀疏分解,得到显著映射。采用权元胞自动机融合的方法得到最终的最小二乘

3.基于多尺度分割的显著性区域提取

超像素分割是根据亮度等低层次特征,将相邻的相似像素点聚集成不同大小的图像区域,从而降低显著性计算的复杂性。超像素分割算法主要包括分水岭[28]和简单线性迭代聚类(SLIC)[25)方法。我们结合它们各自的特点,在粗分割时使用SLIC方法得到形状规则、大小均匀的分割结果,在细分割时使用分水岭算法得到更好的目标轮廓。

分割尺度 表示在一定分割尺度下得到的超像素集。 表示刻度处的超像素数 为像素在超像素中的颜色特征向量。

对于输入图像,我们提取颜色、纹理和边缘特征来构造特征矩阵。(一)颜色特征。提取R、G、B、色调和饱和度的灰度值来描述图像的颜色特征(2)边缘特征。使用可调金字塔滤波器对图像进行多尺度和多方向分解。选择具有3个尺度和4个方向的滤波器,获得12个响应作为图像的边缘特征(3)纹理特征。Gabor滤波器用于提取不同尺度和方向的纹理特征。这里选取3个尺度,12个方向,得到36个响应作为纹理特征

计算每个超像素中所有像素特征的平均值来表示特征值 所有特征值构成特征矩阵

将图像的显著区域视为稀疏噪声,将背景视为低秩矩阵。在复杂背景下,聚类后的图像背景相似度仍然不高。因此,原始图像中的特征不利于低秩稀疏分解。为了寻找合适的特征空间,大多数图像背景可以用低秩矩阵表示;本文利用梯度下降法得到了特征变换矩阵。特征变换矩阵的获取过程如下:(一)构造标记矩阵 如果superpixel 是在手动标记的显著区域内, 否则, (b)根据下面的公式,变换矩阵的优化模型 是用来学习原始图像的特征

在哪里 是的特征矩阵 th形象。 的超像素数 th形象。 标记的矩阵是 th形象。 表示矩阵的核范数,即矩阵所有奇异值的和。 为权重系数。 表示 矩阵的范数 常数是用来防止的吗 从任意增加或减少。如果特征变换矩阵 是合适的,则TFQ等级较低。 是为了避免在T的秩很小的情况下得到通解。(c)找到 梯度下降方向,即 (d)采用以下公式更新特征变换矩阵 直到算法收敛到局部最优。 为步长

3.1.提取建议地区

粗分割尺度的分割图 作为输入。卓越的地图 通过深度特征提取和显著性值计算得到。的 作为下一个分割中的目标先验知识,用于指导建议区域的提取。的特点 是关键。的价值 分为 信道的自适应阈值策略。 用于表示通道中的像素数 英吉利海峡 以所有通道中最大的像素数确定。阈值 ,由公式(4).

为了防止 当显著性对象占据图像中大部分空间时,显著像素从变大开始不会二值化为0。每个通道中的像素数必须满足 在哪里 是图像的像素数吗 是一种体验价值。先验映射的二值化对象记为 我们采用 作为先验知识。超像素集对应的超像素区域 在下一个量表中 构成建议显著性超像素集 是标度上的建议显著性超级像素数 假设 是超像素的总数吗 在二进制映射的对应位置是否有值为1的像素数 如果 在相应位置的超像素被认为属于

3.2.地区优化

建议的目标超像素集可能包含一些背景区域或缺少显著区域。需要优化提案对象区域。它移除了可能的背景区域 并在背景区域中添加可能的显著区域。根据两个颜色空间之间的欧氏距离,差分矩阵为 它是一个对称矩阵 秩序。

在哪里 超像素区域的th特征 分别为R, G, B, L, a, B。为 通过公式()计算局部平均不相似度6),

在哪里 建议显著区域集中的超像素数 我们计算每个超像素的平均不相似度 及其邻近的背景区域:

在哪里 是相邻的 表示相邻的超像素数 在背景区域。如果 它表明, 与相邻的背景区域更相似,然后 将从

同样的,对于任何 平均差异 之间 与相邻的背景区域,平均不相似度 之间 并计算出相邻的建议显著区。如果条件 满意了,那么两者之间的相似性呢 相邻显著区域的显著性高于其他背景区域。因此, 被添加到 是通过比较超像素不断更新 与其他突出区域和背景区域。直到超像素 已不再改变。

3.3.建议区域的深度特征提取

这种基于CNN的深度特征提取方法如图所示3..第一超像素分割,提取所有超像素的深度特征。在后续的深度特征提取过程中,只有超像素在 设置提取。在一定的分割策略下,大大减少了计算量,提高了计算速度。

假设这不是第一次分割超像素,则提取超像素的局部和全局特征 超像素的局部特征包括两部分:(1)深度特征 包含自己区域的;(2)功能 包含自身和相邻的超级像素区域。

首先,根据 集合,提取最小矩形区域 每个superpixel 由于大多数超像素不是规则矩形,因此提取的矩形必须包含其他像素。这些像素由超像素的平均值表示。深度特性 只有包含自己的区域才能通过深度CNN获得。

如果我们只采用显著性计算 获取显著性检测值是没有意义的,如果不与相邻超像素的显著性进行比较,就无法判断是否为显著性,因此仍然需要进行提取 为了进一步获得 深层局部特征。区域在图像中的位置是判断其是否显著性的重要因素。一般认为,图像中心的区域比边缘区域更有可能是显著的。因此,将整幅图像作为输入,并进行深度特征提取 对全球区域进行了提取。

如果只使用底部特征来提取显著性图,由于干扰对象较多,最终的显著性图并不理想。因此,需要增加高层信息来提高检测效果。采用的高级语义先验知识主要是基于以往经验(即训练样本)预测最有可能的ROI。利用FCNN训练高级语义先验知识,将其融入特征变换过程中,优化最终显著图。在CNN的多阶段全局训练过程中,无需预处理,即可从原始数据中学习到高阶特征。

FCNN可以接受任意大小的输入图像。FCNN和CNN的区别在于反褶积层代替了全连接层。最后,对上采样的特征图进行像素分类。对每个像素生成一个二进制预测,并输出像素级的分类结果。从而解决了图像语义层次的分割问题。语义先验是ROI检测中的一个重要的高级信息,它可以辅助ROI的检测。因此,本文采用FCNN获取高级语义先验知识,并将其应用于感兴趣区域的检测。

FCNN的网络结构如图所示4.本文在原有分类器的基础上,利用反向传播算法对FCNN各层的参数进行微调。在网络结构中,第一行依次经过7层卷积层和5层池化层得到特征图。反褶积层的最后一步是对步长为32像素的feature map进行上采样。本文的网络结构表示为FCNN-32s。结果发现,由于最大池操作,精度降低。它直接对下采样的特征图执行上采样,输出非常粗糙,细节丢失。因此,本文将上采样得到的步长为32像素的特征扩展2倍,并与步长为16像素的特征求和。然后将得到的特征恢复到原始图像进行训练,得到FCNN-16s模型。从而获得比FCNN-32s更准确的详细信息。 We adopt the same method to train the network to obtain the FCNN-8s model, the prediction of detailed information is more accurate. Experiments show that although lower-level feature fusion for training networks can make detailed information prediction more accurate, the effect of low-rank sparse decomposition on the result is not significantly improved. Since the training time will increase sharply, this paper adopts FCNN-8s model to acquire the high-level priori knowledge of images.

深层CNN模型包括输入层、多个卷积层、下采样层、全连接层和输出层。下采样层和卷积层构成神经网络的中间结构。前者用于特征提取,后者用于特征计算。全连接层与下采样层相连,下采样层可输出特征。卷积层的输出为:

在哪里 是当前层和前一层的特征图。 是模型的卷积核。 是神经元的激活功能。 为神经元偏差。下采样层的特征提取结果为:

在哪里 是下采样模板比例。 是模板权重。本文使用训练好的GoogleNet模型提取提议对象区域的深度特征。根据该模型的强度,去掉标记的输出层以获得深度特征。卷积层C1使用96个滤波器 大小来过滤输入图像的大小 卷积层C2、C3、C4、C5分别以下采样层的输出作为输入。利用自滤波进行卷积处理,得到多个输出特征图并传输到下一层。全连接层F6和F7有4096个功能。各全连接层的输出可表示为:

3.4.基于深度特征的显著性计算

主成分分析(28]是对高维数据进行降维的常用方法,可以替代 高维特征的数量较少 特性。为 超像素,输出的特征可以构成一个样本矩阵 维度。相关系数矩阵 的计算公式(11):

在哪里 通过解这个方程 我们找到特征值并对它们排序。然后计算各特征值的贡献率和累积贡献率

我们计算相应的正交单位向量 每个特征值的 对应于第一个的单位向量 选取累积贡献率为95%的特征组成变换矩阵 高维矩阵 由公式(13). 表示 -尺寸主成分特征。利用同一变换矩阵提取不同比例尺分割图的主成分特征。

3.5.对比功能

对比特征反映了区域与相邻区域的差异程度。功能的对比 的superpixel 是由它与其他超像素特征的距离定义的,如式(14):

在哪里 表示超像素数。 2-norm。

3.6。空间特性

在人类的视觉系统中,我们在不同的空间位置会受到不同的关注。不同位置的像素与图像中心的距离满足高斯分布。对于任何superpixel 其空间特征 计算为:

在哪里 超像素的中心坐标是什么 是中心区域。距离图像中心的平均距离越小,空间特征越大。超像素的显著性值 表示是:

我们获得第一个分割图像的SM,并将其作为目标先验知识来指导建议区域的提取和优化。

3.7。基于低秩稀疏分解的显著性检测

图像中的背景可以表示为一个低秩矩阵。显著区可以看作是稀疏噪声。对于原始图像,特征矩阵 以及特征变换矩阵 得到了。然后,我们使用FCN来获取高层次的先验知识 利用鲁棒主成分分析对变换矩阵进行低秩稀疏分解。

在哪里 特征矩阵。 是学过的特征变换矩阵。 为高级先验知识矩阵。 是一个低秩矩阵。 表示稀疏矩阵。 表示矩阵的核范数,即矩阵所有奇异值的和。 代表了 -矩阵的范数,矩阵中所有元素的绝对值之和 为稀疏矩阵的最优解。显著性映射可通过以下公式计算。

在哪里 表示超像素的显著性值 代表了 -规范的 的第Th列向量 也就是向量中所有元素的绝对值之和。

3.8.基于加权元胞自动机的显著性图融合

Wang和Wang [29]采用多层元胞自动机(MCA)进行对象融合。每个像素代表一个单元格。在m层元胞自动机中,显著映射的元胞有m-1邻居。它们在其他显著图中处于相同的位置。

如果细胞 被标记为前景,其邻居的前景概率是多少 在其他短信的相同位置是 通过不同方法得到的显著性映射被认为是独立的。当同步更新时,所有显著映射都被认为具有相同的权重。在不同的分割比例尺下显著性图之间存在着指导和细化的关系。在融合过程中,权重不能被认为是相等的。在不同的分割尺度下,假设第一个分割尺度得到的SM的权重为 代表 不同尺度的SM权重表示为:

在哪里 表示提议对象集中的总像素数。 超像素数在 显著图。集 同步更新机制 定义如下:

在哪里 表示所有细胞的显著性值 当时的SM 矩阵 是一个矩阵 元素。如果判断细胞的邻居为前景,则需要增加显著性值。通过公式(21). 这是下一次。

本文提出的用于目标显著性检测的深度多尺度融合方法在算法中进行了总结1

输入:原始图像I,多尺度段数N,各尺度段参数。
输出:卓越的地图。
{
如果我= 1
(1)根据确定的参数,使用SLIC对图像进行分割
(2)确定输入区域 每个superpixel;
(3)输入GoogleNet提取深度特征
(4)将所有超像素的深度特征组成一个矩阵W,利用主成分分析计算W的变换矩阵a,得到主成分特征;
(5)根据主成分特征,计算无目标先验的显著性值,得到第一个分割显著性图
其他的
(6)根据确定的参数,采用分水岭算法对图像进行分割;
(7)显著性图 取为目标先验映射。然后提取并优化提案对象集
(8)确定输入区域
   (9) 上面是输入GoogleNet来提取深度特征
(10)所有超像素的深度特征组成一个矩阵W,利用主成分分析计算W的变换矩阵a,得到主成分特征;
(11)根据主成分特征,计算具有对象先验的显著性值。我们得到了显著图
如果
}
(12)计算显著性图权重 在每个规模;
(13)采用权元胞自动机对得到的N个显著性映射进行融合,得到最终的SM。
算法1:提出的显著性检测方法。

4.实验和分析

在这一部分中,我们从Google Earth获得了实验数据,遥感图像的大小来自 空间分辨率为1 m。实验环境为Intel(R), Core(TM), i7-8750, CPU2.2 Hz, Geforce GTX1060, MATLAB 2017a平台。

4.1.评价指标及参数设置

在实验中,PR曲线 -比较显著性图的平均绝对误差(MAE)和测度,评价显著性检测的效果,选择更好的分割尺度。

精度和召回率是图像显著性检测中最常用的两个评价标准。PR曲线越高,显著性检测效果越好。否则,它是贫穷的。对于给定的手工标注的Ground Truth G和显著性map S, Precision和Recall的定义用公式(22):

在哪里 表示视觉特征图S的像素与G的像素相乘后的值的和。 为视觉特征图S中所有像素的和。 表示G中所有像素的和。

在计算 -测量,自适应阈值 ,用于分割图像。

其中W和H分别表示图像的宽度和高度。它计算的平均精度和召回率的SM。平均 -测量值按式(24).显着效果较好,如果 -测量值非常好。 -测量值用于准确度和召回率的综合评价。 通常设置为1。

MAE通过比较SM和GT之间的差异来评价显著性模型。我们使用公式(25)来计算每个输入图像的MAE值。计算出的MAE值可以用来绘制直方图。MAE值越小,算法越好。

4.2.市场规模的决心

该算法的主要参数是分割尺度。许多分割尺度会增加计算复杂度。少数尺度会影响显著性检测的准确性。因此,根据经验设置了15个分割尺度。我们对随机选取的遥感图像数据进行了实验。然后,提取分割图中所有超像素的深度特征并计算显著性图。不同分割比例的PR曲线直方图如图所示5.从中选择了3种效果较好的分割尺度。通过对比分析,发现10、11、12三个分割尺度具有较好的显著性检测效果。选取这三个分割尺度作为最后的分割尺度。

4.3.PCA参数测定

为了验证PCA从深度特征中选择主成分的有效性,本节采用从每个超像素块中提取的深度特征作为数据集。用被解释方差百分比(PEV)来衡量总体数据中主成分的重要性,如公式(26).PEV是描述数据失真率的主要指标。

在哪里 主成分矩阵的正确矩阵是什么 经过奇异值分解。 为协方差矩阵。数字6显示了PEV与前50名主成分的关系。结果表明,随着主成分数的增加,PEV呈上升趋势。但这种趋势发展缓慢。当主成分数超过20时,PEV达到90%,认为PEV代表了数据的整体信息。本文选取前20个主成分进行显著性计算。

4.4。显著性检测与其他最先进的方法比较

本节将介绍包括RA在内的五种最先进的方法[30.], RB [31], SC [32],RAD[33,及SCLR [34与所提出的深度多尺度融合方法进行了比较。我们对一些基于城市数据的光学遥感图像进行了实验,即飞机( ),操场上( ),船( ),车辆( ),云彩( ).由于空间有限,我们只展示了几个遥感对象的结果。测试图像及其相关的GT地图如图所示7.数字8用不同的方法显示显著性结果。

数字8对比了不同方法的显著性检测结果。可以看出,该算法的检测效果明显优于其他算法。

表格1 -测量结果。随着查全率的变化,本文方法的精度具有较好的价值,并保持了较高的水平。然而,就 -测量值,我们的方法比第二好方法高7.18%。在背景信息复杂的情况下,PR曲线值与 -该方法的测度值明显高于其他算法。充分展示了该算法在相对复杂的图像信息中所具有的优势。同样,该算法的MAE也低于其他算法。数据9- - - - - -14是对六个对象的主观评价结果。


对象 方法 精确 回忆 -测量

Airplane1 类风湿性关节炎 79.9% 73.5% 72.8% 19.3%
RB 81.1% 75.8% 76.4% 17.2%
SC 81.8% 74.6% 77.2% 15.7%
RAD 87.4% 77.4% 79.5% 14.6%
SCLR 91.7% 75.4% 81.8% 12.5%
提出 95.6% 65.3% 82.5% 9.8%

类风湿性关节炎 84.6% 68.9% 73.8% 21.2%
RB 89.1% 71.8% 75.4% 17.8%
SC 90.7% 74.1% 76.2% 14.1%
RAD 91.6% 73.7% 78.4% 12.6%
SCLR 93.6% 72.8% 80.9% 11.3%
提出 97.4% 71.5% 83.6% 7.6%

车辆 类风湿性关节炎 89.2% 77.4% 78.7% 19.5%
RB 91.5% 79.9% 80.8% 17.6%
SC 93.1% 79.3% 82.1% 13.8%
RAD 93.6% 79.5% 82.5% 13.1%
SCLR 94.3% 78.6% 83.7% 11.7%
提出 98.2% 72.4% 89.1% 8.7%

游乐场 类风湿性关节炎 85.7% 77.8% 81.9% 16.5%
RB 87.8% 74.2% 83.7% 14.8%
SC 89.9% 74.6% 84.1% 13.1%
RAD 91.8% 73.3% 84.5% 12.5%
SCLR 92.4% 71.8% 86.7% 10.2%
提出 97.2% 59.6% 89.7% 9.4%

Airplane2 类风湿性关节炎 86.4% 78.9% 77.1% 15.8%
RB 87.6% 78.3% 78.6% 14.6%
SC 88.2% 77.1% 79.4% 13.5%
RAD 88.3% 76.6% 80.8% 12.9%
SCLR 91.3% 75.8% 81.6% 11.9%
提出 96.3% 62.4% 83.9% 8.1%

类风湿性关节炎 85.4% 84.1% 72.4 24.5%
RB 88.6% 78.2% 74.1% 21.2%
SC 89.7% 76.1% 76.4% 19.4%
RAD 91.6% 74.8% 79.2% 15.7%
SCLR 92.7% 73.4% 82.5% 11.4%
提出 95.2% 68.3% 89.7% 7.4%

我们还采用了联合上的交集(IoU)来说明该方法的有效性[3536].欠条的计算方法如下:

借据越大,效果越好。结果如表所示2


方法 类风湿性关节炎 RB SC RAD SCLR 提出

Airplane1 69.3% 72.5% 76.7% 77.5% 79.8% 82.4%
68.4% 72.7% 77.1% 79.2% 81.6% 83.5%
车辆 69.7% 73.8% 76.5% 78.5% 79.4% 81.6%
游乐场 66.4% 72.9% 80.1% 81.4% 83.7% 86.4%
Airplane2 63.9% 71.3% 74.9% 76.4% 78.2% 81.9%
65.4% 70.8% 73.2% 75.9% 77.2% 79.5%

从桌子上2,可以看出,我们提出的方法比其他方法有更好的显著性检测效果。

不同算法的检测时间也存在明显差异。在显著性检测速度方面,本文方法比其他方法快,如图所示15尽管基于深度学习的算法需要训练大量样本,但与其他深度学习方法相比,处理效率提高了约4%。总体而言,深度多尺度融合方法在遥感图像显著性检测方面具有更好的效果。

5.结论

基于DL的显著性检测算法克服了传统显著性检测算法的不足。但检测效率明显不足。为此,提出了一种基于城市数据的光学遥感图像目标显著性深度多尺度融合检测方法。通过深度特征提取,计算显著性值,并利用权重元胞自动机对比例显著性图进行整合和优化。结果表明,与其他方法相比,该方法能有效地获得显著性检测结果。在未来,一些新的基于深度学习的模型将被研究。新方法将在实际工程中得到应用。

数据可用性

用于支持本研究发现的数据可由通讯作者要求提供。

的利益冲突

作者声明本文的发表不存在利益冲突。

参考文献

  1. 张骞,杨磊,陈志强,李鹏,“无线大数据特征学习的增量深度计算模型”IEEE大数据汇刊,没有。第一条,2019年。浏览:出版商的网站|谷歌学者
  2. 李鹏,陈志强,杨利涛,张青,李鹏,“物联网大数据特征学习的深度卷积计算模型,”IEEE工业信息学学报,第14卷,第2期,第790-798页,2018年。浏览:出版商的网站|谷歌学者
  3. S.Yin,Y.Zhang和K.Shahid,“基于模糊区域竞争和高斯混合模型的大规模遥感图像分割,”IEEE接入,第6卷,26069-26080页,2018。浏览:出版商的网站|谷歌学者
  4. 冯绍峰,“一石两鸟:基于多实例学习的显著性和协同显著性检测的统一方法”,IEEE接入, vol. 5, pp. 23519-23531, 2017。浏览:出版商的网站|谷歌学者
  5. 郎c . Feng, J. Feng, J. Wang, and S. Yan,“Dual Low-Rank Pursuit: Learning Salient Features for Saliency Detection,”,神经网络与学习系统第27卷第2期6、pp. 1190-1200, 2016。浏览:出版商的网站|谷歌学者
  6. 朱军,邱勇,张瑞敏,“基于上下文池的自顶向下显著性检测”,信号处理系统学报,第74卷,第1期,第33-46页,2014年。浏览:出版商的网站|谷歌学者
  7. L. Itti, C. Koch,和E. Niebur,“基于显著性的快速场景分析视觉注意模型”,模式分析与机器智能学报,第20卷,第2期。11,第1254-1259页,1998。浏览:出版商的网站|谷歌学者
  8. Hou和L.Zhang,“显著性检测:光谱残差法”,年计算机视觉与模式识别会议论文集, pp. 1-8, IEEE, Minneapolis, MN, USA, 2007。浏览:谷歌学者
  9. R.Achanta、S.Hemami、F.Estrada和S.Susstrunk,“频率调谐显著区域检测”,年计算机视觉与模式识别会议论文集, pp. 1597-1604, IEEE,迈阿密,佛罗里达,美国,2009。浏览:谷歌学者
  10. 程明,张刚,黄旭东,胡士生,“基于全局对比度的显著区域检测”2011年IEEE计算机视觉与模式识别会议论文集,第409-416页,IEEE,普罗维登斯,RI,2011年。浏览:谷歌学者
  11. 张先生、白先生、杨先生、陈先生、李先生和余先生,面向医疗保健和医疗服务的统一智能中医框架,IEEE/ACM计算生物学和生物信息学学报,2019年。浏览:出版商的网站
  12. 李鹏,陈志强,杨利涛,“面向工业大数据特征学习的增量深度卷积计算模型”,IEEE工业信息学学报,第15卷,第5期。3,第1341-1349页,2019。浏览:出版商的网站|谷歌学者
  13. G.Lee,Y.W.Tai,J.Kim等人,“ELD网络:用于精确显著性检测的有效深度学习体系结构,”模式分析与机器智能学报,第40卷,第5期。7, pp. 1599-1610, 2018。浏览:出版商的网站|谷歌学者
  14. Q.Zhang,C.Bai,Z.Chen等人,“利用云计算诊断智能中医脾胃疾病的深度学习模型”,年并发与计算:实践与经验, e5252, 2019。浏览:出版商的网站|谷歌学者
  15. 王伟,陈建军,王建军,龚志刚,“基于地理感知的智能城市个性化兴趣点推荐的归纳矩阵完成,”IEEE物联网期刊, 2019年。浏览:出版商的网站|谷歌学者
  16. 严俊,朱敏,刘慧,刘颖,“基于稀疏追踪的视觉显著性检测”,IEEE信号处理信,第十七卷,第二期8,第739-742页,2010。浏览:出版商的网站|谷歌学者
  17. “基于多任务稀疏性追踪的显著性检测”,IEEE图像处理汇刊第21卷第2期3, pp. 1327-1338, 2012。浏览:出版商的网站|谷歌学者
  18. Shen x.h and Y. Wu,“一种基于低秩矩阵恢复的显著目标检测方法”,in2012年IEEE计算机视觉与模式识别会议论文集, pp. 853-860, IEEE, Providence RI, USA, 2012。浏览:谷歌学者
  19. “5G环境下智能城市应用的人类行为深度识别体系”,IEEE网络第33卷第3期第5页,206-211页,2019。浏览:出版商的网站|谷歌学者
  20. 王伟,陈建军,王建军,陈建军,刘建军,龚志刚,“基于信任增强的个性化兴趣点推荐协同过滤方法”,中文信息学报,2018,31(4):429 - 434。IEEE工业信息学学报第1页,2019年。浏览:出版商的网站|谷歌学者
  21. “基于双流注意的LSTM网络的人体动作识别,”应用软计算,第86卷,第105820页,2020。浏览:出版商的网站|谷歌学者
  22. Yang S., C. Zhao, and W. Xu,“一种新的基于特征袋的显著目标检测方法”,《自动化学报》,第42卷,1259-1273页,2016。浏览:谷歌学者
  23. 蒋H.Jiang,J.Wang,Z.Yu.Wu,N.Zheng和S.Li,“显著目标检测:一种有区别的区域特征整合方法”,年2013年IEEE计算机视觉和模式识别会议记录,第2083–2090页,美国波特兰IEEE,2013年。浏览:谷歌学者
  24. “基于深度卷积神经网络的显著性检测,”图像与图形学报,第21卷,第53-59页,2016。浏览:谷歌学者
  25. 王磊,张鹏,阮旭东,“基于卷积神经网络的显著性检测”,计算机工程与应用,vol . 21, no . 2, pp计算机视觉- eccv 2016论文集。计算机科学讲义,第9908卷,第825-841页,施普林格,荷兰阿姆斯特丹,2016。浏览:谷歌学者
  26. G. Lee, Y. Tai,和J. Kim,“编码低级别距离地图和高级别特征的深度显著性”,在2016年IEEE计算机视觉与模式识别会议论文集,第660-668页,IEEE,内华达州拉斯维加斯,美国,2016年。浏览:谷歌学者
  27. 李鹏,陈志强,杨立涛,“一种用于网络流量分类的改进的层叠自编码方法”,IEEE网络,第32卷,第2期6,页22-27,2018。浏览:出版商的网站|谷歌学者
  28. 杨春春,濮建军,董勇,谢国胜,司彧,刘铮,“面向场景分类的显著性检测方法”,可视计算机第35期4,第473-488页,2019。浏览:出版商的网站|谷歌学者
  29. A. Wang和M. Wang,“基于最小障碍距离变换和显著性融合的RGB-D显著目标检测”,IEEE信号处理信,第24卷,第2期5,页663-667,2017。浏览:出版商的网站|谷歌学者
  30. 陈胜,谭旭东,王博等,“面向显著目标检测的逆向注意”,计算机工程与应用欧洲计算机视觉会议,施普林格,Cham, 2018。浏览:谷歌学者
  31. 朱伟,“基于鲁棒背景检测的显著性优化,”2014年IEEE计算机视觉和模式识别会议, pp. 2814-2821, 2014。浏览:谷歌学者
  32. Q.Hou,M.-M.Cheng,X.Hu,A.Borji,Z.Tu和P.Torr,“具有短连接的深度监督显著目标检测,”2017年IEEE计算机视觉和模式识别会议(CVPR), pp. 5300-5309, 2017。浏览:谷歌学者
  33. 胡旭东,朱磊,秦建伟。傅,中国。恒,"循环聚合深层特征用于显著目标检测"第三十二届AAAI人工智能会议, pp. 6943-6950, 2018。浏览:谷歌学者
  34. Liu N., Han J.,“用于显著性检测的深度空间上下文长期循环卷积网络”,IEEE图像处理汇刊第27卷第2期7、第3264-3274页,2018。浏览:出版商的网站|谷歌学者
  35. 高志强,李沛,陈志强,张志强,“多模态数据融合深度学习研究综述,”神经计算,第32卷,第5期,第829-8642020页。浏览:出版商的网站|谷歌学者
  36. J.Gao,P.Li和Z.Chen,“物联网中用于大数据特征学习的规范多元深度卷积计算模型,”下一代计算机系统,第99卷,第508-5162019页。浏览:出版商的网站|谷歌学者

版权所有©2020张成和何丹。这是一篇在知识共享署名许可协议,允许在任何媒介中不受限制地使用、分发和复制,前提是原作被正确引用。


更多相关文章

PDF 下载引用 引用
下载其他格式更多的
订单打印副本订单
的观点202
下载364
引用

相关文章