文摘

在过去的二十年里,许多遥感图像融合技术旨在提高空间分辨率低空间分辨率的多光谱波段。主要目标是融合低分辨率的多光谱图像(MS)和high-spatial-resolution全色(PAN)图像获得融合图像有较高的空间和光谱信息。最近,许多基于人工智能的深度学习模型设计融合的遥感图像。但是这些模型没有考虑图像固有的分布差异和潘女士图片。因此,获得融合图像可能遭受梯度和颜色失真问题。为了克服这些问题,本文提出了一个高效的基于人工智能的深转移学习模型。Inception-ResNet-v2模型提高了使用color-aware知觉损失(CPL)。获得的融合图像进一步提高利用梯度通道作为后处理步骤之前。梯度频道之前是用来保持颜色和梯度信息。广泛的实验是由考虑基准数据集。 Performance analysis shows that the proposed model can efficiently preserve color and gradient information in the fused remote sensing images than the existing models.

1。介绍

融合多光谱(MS)和全色(PAN)图像吸引了研究人员的兴趣,因为它导致融合图像有更好的空间分辨率和光谱信息(1]。女士图像的空间分辨率是更好比一锅的形象。但是女士图像只有一个乐队。因此,获取图像,并显著的光谱信息和更好的空间分辨率,需要使用高效pan-sharpening方法(2]。

到目前为止许多pan-sharpening技术已经实现。传统方法受模糊的效果和颜色失真(1,3]。稀疏表示理论基础融合方法可以轻松克服颜色失真的问题通过提高空间分辨率的图像(女士4]。intensity-hue-saturation (IHS)方法也用来融合图像。这些模型非常简单,高效和能产生high-spatial-quality图像(5,6]。然而,他们的经验光谱扭曲。光谱保真度可以执行使用一个edge-adaptive IHS方法(7]。压缩感知(CS)的理论也可以用于pan-sharpening多光谱图像。它可以恢复稀疏信号从一个小数量的线性测量(8]。优化pan-sharpening技术也发展到保留光谱和几何约束(9,10]。贝叶斯理论基础融合模型解决问题的线性模型和获得优越的空间和光谱融合(11]。

最近,各种深度学习模型被用来实现pan-sharpening技术生产人力资源锅图像。这些技术可以有效地模型变量之间的复杂关系通过几个层面的构成的非线性12]。在深pan-sharpening模型中,LR /人力资源之间的关系图像补丁是一样的LR女士/ HR锅图像补丁。此后,这个假设是用来学习映射使用卷积神经网络(CNN) [13]。不同类型的CNN被用来融合图像。CNN包含三个卷积等输入层、隐藏层和输出。每一层中包含的激活函数。输入和隐藏层包含非线性激活层而输出层包括线性激活函数。每层输入的乐队,输出乐队,过滤器,参数需要学习,张量,重量和偏见。在融合的情况下,潘乐队作为CNN的输入。女士的组件是upsampled然后辐射指数提取。最后,非线性组合的乐队是由女士提高性能(14]。然而,大多数这些方法受到空间结构改进和光谱失真不足问题。为了克服这些问题,许多技术被开发。双通道融合网络(DPFN)增强空间纹理和光谱失真(15]。Shallow-deep卷积网络(SDCN)可以用最小生成融合图像光谱失真(16]。动态深度学习模型提出了构建敏感模型对输入图像(15]。耦合的多尺度卷积神经网络被认为是潘女士和更好的图像在不同分辨率特征提取(17]。但是CNN和损失函数的设计可以从原始图像中提取有效空间和光谱特性。它不需要任何参考融合图像,因此不需要模拟数据训练(18]。生成敌对的学习(GAN)也被用来实现PAN和女士图像的融合。它有一个产生高保真融合图像的能力(19]。

从现有的文献,它已经发现,深度学习和深度转移学习模型能够有效地融合遥感图像。然而,这些模型没有考虑图像固有的分布差异和潘女士图片。因此,获得融合图像可能遭受梯度和颜色失真问题。为了克服这些问题,在本文中,一个高效的深提出了转移学习模型。本文的主要贡献如下:(1)一个高效Inception-ResNet-v2模型提高了使用CPL。(2)获得的融合图像进一步提高利用梯度通道作为后处理步骤之前。(3)广泛的实验是由考虑基准数据集。

本文组织如下。部分2讨论了文献综述。部分3提出了该模型。比较分析讨论部分4。部分5总结了纸。

2。文献综述

王等人。20.)提出了一种基于channel-spatial pan-sharpening技术模型(CSA)的关注。在这方面,剩余的关注模块旨在产生高分辨率图像。徐et al。21)实现土壤使用pan-sharpened遥感指数预测模型。在这方面,全球视界2号被带来的Landsat 8,已和融合。使用随机森林预测模型设计。马等。22使用生成的对立网络实现pan-sharpening技术。网络培训,不需要地面真理。阿库拉et al。23)实现pan-sharpening技术利用自适应主成分分析和当地变异contourlet变换。王等人。24)利用area-to-point回归克里格(ATPRK) pan-sharpening。王等人。25)提出了一个pan-sharpening基于压缩传感技术。联合稀疏模型被用来恢复高分辨率多光谱图像。

吴et al。26)利用多目标决策对提高融合多波段图像。信息注入模型用于提高纹理和梯度女士形象的细节。光谱保真度融合设计使用注入信息和光谱调制融合图像。壮族et al。27)设计了一个概率模型融合和潘女士图片。梯度domain-guided图像过滤也用来提炼的结果。最大后验模型也实现了锅和女士图像之间的区别和各自的梯度域。Sibiya et al。28)结合图像纹理获得融合图像与偏最小二乘判别分析监测和地图商业森林物种。这个模型证明了图像纹理能辨别商业森林物种。

方等。29日)设计了一个framelet-based融合模型通过使用变分模型。迭代分割师也用于获得更好的结果。师的方法解决了凸优化问题使用正则化。它是最适合那些优化问题的约束指定。由于错误取消效果,它是收敛速度非常快。王等人。30.)提出了融合锅和稀疏的张量的邻居嵌入图像使用多方块女士的追求。稀疏的张量与邻居嵌入连接,获得一个新的高维稀疏的张量嵌入潘女士和图像融合的一个有效方式。卡和法耶兹(可并31日)利用可移动的contourlet变换和多目标粒子群优化(MPSO)保险丝潘女士和图像。潘女士和图像直方图匹配之前融合的过程。方等。32)设计了一个pan-sharpening技术使用变分方法。在这方面,三个假设进行了构造能量函数。最小化的解决方案是使用师算法获得的。Zhang et al。33)实现了一个变分保存频谱能量函数,几何,而pan-sharpening关联信息的原始图像。

你们et al。34基于]提出了梯度女士深网络融合前锅和图像。卷积神经网络(CNN)是在梯度受训领域使用问题特定的递归。邢et al。35)实现pan-sharpening技术使用深度指标学习(DML)。深度量学习用于火车精制几何multimanifold邻居嵌入。面具的分层特性被考虑各种非线性深度学习模型使用。Gogineni和查图尔维迪(36)使用多尺度学习词典(MSLD)设计一个pan-sharpening技术。它可以获得图像的底层特征,在学习词典和多尺度都具有的特征。黄等。37使用多个深度学习模型)开发了一种融合模型(MDLMs)。的non-subsampled contourlet变换(NSCT)用于盘图像分解为频带。高频波段的特征被深度学习学习模型。

从文献,发现深应该改进学习模型通过使用更好的损失函数和一些预处理技术(38- - - - - -40]。

3所示。提出的模型

提出了一个高效的基于人工智能的深处转移学习模型。Inception-ResNet-v2模型提高了使用马休得到融合图像进一步提高利用梯度通道作为后处理步骤之前。

3.1。Inception-ResNet-v2

Inception-ResNet-v2是一个著名的模型改善与残余InceptionNet连接。它是通过更换的过滤器连接阶段InceptionNet(见[41])。图1显示了Inception-ResNet-v2的体系结构。

3.2。Color-Aware知觉损失

产线(42)是利用分配小系数特性更敏感的颜色每一个渠道Inception-ResNet-v2层在知觉损失的计算。

之间的差异各自的颜色和一个女士grayscale-inverted形象( )利用计算系数的特性。更高的差异表明,颜色更敏感的特性。测井是更敏感的梯度信息。的平均特性的区别是那么赋给一个变量的指数函数(见[42])。它可以表示为 在哪里 , ,和女士形象的代表颜色通道。每层颜色通道的CPL系数 , ,可以计算为 在哪里用于忽视对颜色敏感的特性。潘形象( )和CNN-based融合图像( ),产线可以计算 在哪里 显示最大池大小的实现层功能用于实现平均移不变性的一等兵可以有效地管理失调问题。

尽管CPL分配高频信息 ,额外的损失也是富达所需颜色。因此,知觉和使用的损失。可以被定义为富达损失 在哪里显示了缩减规模PS图像分辨率女士,损失是平均绝对差,即 ,和 , ,和设置为0.85,0.02和0.95,分别。

3.3。梯度通道前

GCP利用恢复任何退化的图像。它有能力保持恢复图像的梯度和纹理信息(43]。质量可以被定义为

的振幅可以计算为

一个方向角可以计算为

为 , 和可以使用各种面具(见[计算44])。

4所示。性能分析

提出了模型训练使用100时代mini-batch大小为10用亚当优化器(45]。学习速率是用作 。所有实验都进行MATLAB2021a软件。实验是在昴宿星团,QuickBird,全球视界2号图片。带来IKONOS,有六个著名的竞争技术进行比较。

4.1。视觉分析

数据2和3显示该模型的可视化分析。结果表明,该模型具有更好的能见度比现有的技术。红色矩形显示获得融合图像的特定区域。所选地区反映了空间和光谱信息以及任何类型的工件中获得融合图像。同时,该模型显示了更好的梯度和颜色保存相比现有技术。该模型获得的结果显示更好的空间和光谱信息。它清楚地表明,现有的模型可以提高融合图像的空间和光谱信息的融合图像。但是每当有冗余信息锅和女士的图片,然后现有方法无法融合内容有效。此外,纹理和梯度保存更多的使用该模型获得的融合图像。

4.2。定量分析

五个著名的质量指标,即。均方根误差(RMSE) (46),通用图像质量指数(UIQI) (47),相关系数(CC) [46),光谱角制图者(山姆)46,误差相对整体adimensionnelle de综合(ERGAS) [48),用于比较分析。

表1显示CC的分析,提出深pan-sharpening模型。CC是可取的最大。发现该模型优于竞争pan-sharpening模型 。

表2描述了UIQI提出深pan-sharpening模型的分析。最大UIQI是可取的。发现该模型优于竞争pan-sharpening模型 。

表3显示了山姆的分析,提出深pan-sharpening模型。山姆是可取的最低。发现该模型优于竞争pan-sharpening模型通过显示平均减少 。

pan-sharpened质量的图像可以使用ERGAS评估。它决定了光谱和空间信息之间的过渡49]。表4演示了ERGAS提出深pan-sharpening模型的分析。ERGAS最低是可取的。发现该模型优于竞争pan-sharpening模型通过显示平均减少 。

表5演示了RMSE提出深pan-sharpening模型的分析。RMSE最低是可取的。发现该模型优于竞争pan-sharpening模型通过显示平均减少 。

5。结论

获取遥感图像有更好的空间和光谱信息,高效的图像融合技术是可取的。然而,它已经发现,现有的模型没有考虑到固有的图像分布差异和潘女士图片。因此,获得融合图像梯度和颜色失真问题。为了克服这些问题,在本文中,一个高效的深转移提出了学习模型。Inception-ResNet-v2模型提高了使用color-aware知觉损失(CPL)。获得的融合图像进一步提高利用梯度通道作为后处理步骤之前。梯度频道之前是用来保持颜色和梯度信息。广泛的实验是由考虑基准数据集。性能分析表明,该模型可以有效地保持颜色和梯度信息融合遥感图像比现有的模型。该模型优于竞争的CC和UIQI pan-sharpening模型和 ,分别。另外,与现有的模型相比,该模型取得了平均减少山姆,ERGAS, RMSE , ,和 ,分别。

数据可用性

使用的数据来支持本研究的结果包括在本文中。

的利益冲突

作者宣称没有利益冲突。

确认

作者扩展他们的升值Deputyship的研究与创新,教育部在沙特阿拉伯,资助这个研究工作通过项目数量(ifprc - 027 - 135 - 2020)和阿卜杜拉国王大学,安全域,吉达,沙特阿拉伯。