杂志上的传感器

PDF
杂志上的传感器/2020年/文章
特殊的问题

先进的传感器技术在2020年地理空间科学和工程

把这个特殊的问题

研究文章|开放获取

体积 2020年 |文章的ID 8873079 | https://doi.org/10.1155/2020/8873079

王(Wang孝义, 时空融合基于深度学习的遥感图像”,杂志上的传感器, 卷。2020年, 文章的ID8873079, 11 页面, 2020年 https://doi.org/10.1155/2020/8873079

时空融合基于深度学习的遥感图像

学术编辑器:sang hoon香港
收到了 2020年4月23日
修改后的 2020年5月21日
接受 2020年6月17日
发表 2020年6月29日

文摘

高时空分辨率遥感数据发挥重要作用在监测地球表面的快速变化。然而,有一个不可调和的矛盾的空间和时间分辨率的遥感影像获得相同的传感器。遥感数据的时空融合技术是一种有效的方法来解决这个矛盾。在这篇文章中,我们将研究时空融合方法基于卷积神经网络,可以把陆地卫星数据与高空间但低时间分辨率和空间较低但高时间分辨率的MODIS数据,并生成时间序列数据具有高空间分辨率。为了提高时空融合的准确性,提出了残余卷积神经网络。MODIS图像作为输入来预测剩余图像MODIS和陆地卫星之间,和预测剩余之和形象和MODIS数据作为预测Landsat-like形象。本文剩余网络不仅提高超限分辨网络的深度,也避免了梯度消失的问题由于网络结构。实验结果表明,我们的方法的预测精度大于几种主流方法。

1。介绍

由于硬件的限制技术的遥感卫星和卫星发射的成本,很难相同的卫星获取遥感影像与高空间和时间分辨率。陆地卫星系列卫星可以获得多光谱数据空间分辨率为30米。在多光谱图像反映地面特征的光谱信息,当执行分类和其他处理,与高光谱不同,这些国家拥有丰富的维度,降维处理是必需的。尽管有许多降维方法,它可以实现降维的高光谱图像1]。但多光谱图像成像更方便,使其广泛应用于许多领域。有了这个特性,已广泛应用于陆地卫星数据的探索地球资源,管理的农业、林业、畜牧业、自然灾害和环境污染监测2- - - - - -4]。然而,16天的访问地球资源探测卫星和云的影响圈污染限制其潜在的使用监控和研究地表动态变化。另一方面,中分辨率成像光谱仪(MODIS) Terra / Aqua卫星每1 - 2天访问圆,具有高时间分辨率、可以应用于植被物候学(5,6和其他领域。然而,MODIS数据的空间分辨率是250 - 1000,有一个贫穷的表示地面物体的细节和观察异质景观是不够的。

1995年,Vignolles et al。7]首次提出利用时空融合技术生成高时空分辨率数据。从那时起,不同类型的时空融合方法已经出现。遥感图像的时空融合技术是融合的空间特征高度的时间但是低空间分辨率图像和低空间但高时间分辨率的时间特性与高空间分辨率图像生成时间序列图像。根据原则,现有的时空融合模型可以分为三种类型:基于重建的,基于空间分离的,和学习的基础。

reconstruction-based方法的基本原理是计算中心的反射通过加权函数充分融合像素的光谱,时间和空间信息在相似的像素。高et al。8)首次提出的时空适应性反映融合模型(STARFM),它使用一对MODIS和ETM +反射图像已知时间阶段和MODIS反射率图像预测阶段产生30米空间分辨率图像。Hilker et al。9)提出了一种时空融合算法映射反射率变化(STAARCH)基于流苏帽改变。该算法不仅能产生30米空间分辨率ETM +图像但也探测高度详细的表面类。然而,融合精度STARFM和STAARCH高度相关的表面景观异质性,导致低的融合精度异构。大卫et al。10)考虑双向反射效果的影响,提出了一种semiphysical方法生成融合陆地卫星ETM +反射使用MODIS和陆地卫星ETM +数据。朱et al。11)基于STARFM考虑不同传感器之间的反射率不同成像系统由于不同的轨道参数,带带宽、光谱响应曲线和其他因素,不同传感器之间的传递系数差异增加,和增强STARFM (ESTARFM)模型提出了提高融合精度复杂的表面积(异构区)在某种程度上。模型使用两套MODIS和ETM +反射图像和MODIS反射率图像生成30米空间分辨率ETM +图像。小王和阿特金森12)提出了一种时空融合算法包括三个部分:回归模型拟合(RM配件),空间滤波(SF)和残余补偿(RC),称为Fit-FC;这个方法只使用一对已知的高低分辨率图像作为输入,可以更好地预测不同时期的图像之间的空间变化。Chiman et al。13)提出了一个简单而直观的方法,有两个步骤。首先,两个MODIS图像之间建立一个映射,一个是在一个更早的时间, ,另一个是时间的预测, 第二,这种映射应用于一个已知的陆地卫星图像 生成一个预测陆地卫星图像

时空融合方法基于空间分离执行已知的低分辨率图像像素的空间分离和分类结果适用于高分辨率图像在未知的时间预测高分辨率图像。茹科夫et al。14]提出了一种时空融合方法,该方法考虑了像素的空间变异性反射率基于假设像素的相邻像素之间反射率不发生剧烈变化。这种方法介绍了窗口技术预测每种类型的高分辨率反射特性。这种方法并不理想的耕地面积在短时间内急剧变化。吴(15)提出了一种时空数据融合方法基于的假设(STDFA)类的时空变化特征反射率与组内像素反射率相一致。该方法从时间序列中提取地面特征的时序变化信息低空间分辨率图像和执行分类和密度分割在两个时期的高空间分辨率图像获取机密图像,以获得类的平均反射率图像融合。的基础上(15吴),和黄16)综合考虑像素的空间变化和时间变化的反射率,并提出了一个提高STDFA;失踪的遥感数据的方法解决问题。Hazaymeh和哈桑17提出了一个相对简单的和更高效的算法;的时空图像融合模型(STI-FM)首先聚类适用于图像,每个集群,执行一个独立的预测。朱et al。18)提出了一个灵活的时空数据融合(FSDAF)基于光谱分层分析、薄板样条插值。算法使用更少的输入数据,适用于异构的领域,可以有效地保护低分辨率图像预测期间的细节。

基于遥感图像处理,学习方法更常用的地面特征分类(19]。近年来,基于学习的时空融合方法已被广泛关注。2012年,黄和歌曲20.)首次引入稀疏表示技术进时空融合的过程,提出了一种基于稀疏表示的一个时空反射(SPSTFM)融合模型,利用MODIS和ETM +图像前后阶段的预测时间阶段。首先,使用高和低分辨率的差异图像训练几个字典代表高和低分辨率的特性,然后使用一个低分辨率的图像来预测高分辨率图像。歌和黄21)提出了一种时空的反射率融合模型的稀疏表示只使用一对已知的高和低分辨率的图像对,第一增强MODIS图像的稀疏表示获得过渡图像,然后预测图像结合,生成高分辨率图像通过高通与过渡图像调制。已知图像的模型减少需要输入,所以该算法可以应用在缺乏数据的情况下,更普遍的适用性。基于特征的时空融合方法学习认为改变图像的空间信息。然而,也有一些局限性在以前的基于稀疏表示的方法。首先,图像功能需要设计,这带来了复杂性和不稳定性能。其次,该方法不考虑实际的大量遥感数据只有开发和验证算法小规模的研究领域。

卷积神经网络(CNN) (22)模型有一个简单的结构,可用于解决目标识别问题(23)和图像分类(24在计算机视觉)。近年来,美国有线电视新闻网也已超限分辨领域的使用。作为老先锋CNN模型,超限分辨卷积神经网络(SRCNN) [25)预测的非线性LR-HR映射通过完全卷积网络和明显优于经典non-DL方法。在遥感领域,歌曲等。26)提出了一个五层卷积神经网络(CNN)时空融合模型。这种模型类似于(21),是一个两阶段模型。它学习CNN MODIS和陆地卫星图像之间的非线性映射,结合了高通调制和加权策略预测Landsat-like图像。刘等人。27)提出了一种二束卷积神经网络月31净,不仅考虑了时间依赖的遥感图像,还介绍了时间约束,邻近的网络需要粗差图像好的图像作为输入和相应的好的区别图像作为输出,该方法可以恢复空间更大的细节。目前,所面临的两个主要问题上优于时空融合方法:首先,深层网络可以提高预测精度;然而,深层网络将导致梯度消失或收敛困难,第二,很难获得前两双合适的图像对作为输入的网络训练。例如,月31网络是一个融合方法使用前两双图像作为输入。考虑到上面的两点,我们提出一个时空融合基于残余卷积神经网络模型。之前的模型只能使用一对图像作为输入训练。MODIS图像非常类似于预测陆地卫星图像。换句话说,低分辨率图像的低频信息相似的高分辨率图像。事实上,低分辨率图像和高分辨率图像只有缺乏剩余的高频部分。要是火车之间的高频残余高分辨率和低分辨率,不需要花太多的时间在低频部分。并且可以深化网络结构以避免梯度消失等问题。出于这个原因,我们引入ResNet[的想法28),建立时空融合框架适合小样本训练集的遥感影像为CNN。考虑图像序列之间的时间依赖性,我们使用MODIS-Landsat图像对的前后阶段预测图像构造预测网络,分别。实验结果表明,与标准方法相比,光谱的颜色和空间的细节,我们的方法更接近真正的陆地卫星图像。

本文的其余部分分为三个部分。节2,剩余的原则CNN。部分3提供了实验验证的过程和结果。部分4给出了结论。

2。方法

在本文中,我们使用CNN和ResNet构建双重流网络预测Landsat-like图像。所涉及的原理简要介绍如下。

2.1。美国有线电视新闻网

卷积神经网络(CNN)是一种最具代表性的网络模型在深学习方法(29日]。与近年来深度学习技术的不断发展,它取得了很好的图像处理领域的结果。CNN与传统数据处理算法相比,避免了复杂的预处理工作,如手动提取数据从数据,以便它可以直接用于原始数据。

CNN是一个nonfully连接的多层神经网络,如图1。主体结构由一个卷积层、汇聚层,激活层,和完全连接层(30.]。卷积层、汇聚层和活化层是CNN的特征提取层,用于提取信号特征。完全连接层是CNN的分类器。由于本文主要使用深卷积网络提取遥感图像的空间特征,特征提取层深卷积神经网络进行了分析。

2.2。剩余的学习

如果输入的神经网络 ,和预期的输出 ; 是预期的映射。如果我们想了解这样一个模型,训练难度会更大;如果我们学会了更饱和的准确性(或者当我们发现较低的层的误差变大),则会变成下一个学习目标标识映射的学习,也就是说,输入 一个近似输出 ,这是为了保持在以后的层次结构不会造成精度下降。

剩余网络结构所示图2、输入 直接转移到输出作为初始结果通过“快捷方式连接,”和输出结果是什么 ,然后 ,这是上面提到的恒定的映射。因此,ResNet相当于改变了学习目标,学习不是一个完整的输出,但目标价值的区别 ,也就是说,所谓的残余 因此,后来的训练目标是接近残留结果为0,因此,在网络的深化,准确性不下降。

2.3。时空融合在CNN使用剩余的学习

摘要陆地卫星图像被认为是高空间但低时间分辨率数据;MODIS图像被认为是时间但是低空间分辨率高的数据。我们表达的陆地卫星图像和MODIS图像 作为 ,分别。如果有两双图像之前,二束残余CNN网络使用已知的Landsat-MODIS图像对 ,和MODIS图像 预测Landsat-like形象。

2.3.1。训练阶段。

在训练阶段,为了建立一个非线性MODIS和Landsat-MODIS残留图像之间的映射模型,我们首先样本的空间分辨率 相同的大小 然后,陆地卫星和MODIS图像同时差获得剩余的形象 因此,我们希望学习映射函数 它接近 像素值 可能是零个或小。我们想要预测残余图像。现在的损失函数 ,在哪里 是网络的预测。我们把高和低分辨率图像对应的在同一时间重叠的图像补丁。高和低分辨率样本的集合定义为 ,相应的样品在哪里 执行重叠分割来增加训练样本的数量。预测剩余图像后,地面实况陆地卫星图像是通过输入之和MODIS图像和预测剩余的形象。

网络中,损失层有三个输入:剩余估计,输入MODIS图像和陆地卫星图像。损失计算重构图像之间的欧氏距离和真正的陆地卫星图像。为了实现高精度时空融合的目的,我们使用一个很深的卷积网络。我们使用18层,层除了第一个和最后一个相同类型的:64过滤器的大小 ,一个过滤器操作在哪里 空间区域在64个频道(特征图)。第一层作用于输入图像。最后一层,用于图像重建,由一个单一的过滤器的大小 流程结构如图3

培训是由使用back-propagation-based minibatch梯度下降优化回归的目标。我们将动量参数设置为0.9。培训是正规化减肥( 点球乘以0.0001)。

2.3.2。预测阶段。

之前有两双Landsat-MODIS图像和MODIS图像预测日期,我们的目标是融合他们预测Landsat-like图像预测日期。表示之前的日期 ,预测日期为 ,我们预测 基于剩余学习CNN。 , , 分为补丁,和相应的图像补丁 , , ,分别。采取 作为输入的CNN,标签 ,和剩余的和形象 用作预测。在本文中,网络层的数量设置为18。在重建的过程中,输入 训练网络,得到预测 同样的, 可以预测Landsat-MODIS图片对吗 考虑图像之间的时间相关性预测时间和参考图像,我们使用相应的时间重量当重建每个图像块。最后,高空间分辨率图像补丁预计获得时间: 在哪里 th预测块使用 分别作为参考图像, 对应的重量,确定如下:

当地的重量总和计算 归一化植被指数(NDVI) (31日)和归一化建筑指数(NDBI) [32), 是用来测量两次MODIS图像之间的变化程度,它是绝对的平均变化 ,在哪里 代表了MODIS图像变化在不同的时间。每个图像补丁后重建一个接一个,这是整个图像恢复。为了保证重构图像的连续性,相邻块之间有重叠,重叠部分的像素值的图像块作为均值时整体图像恢复。

3所示。实验

两个数据集用于实验。第一个数据集包含两双MODIS-Landsat图像,第二个数据集包含三个双MODIS-Landsat图像。这两个区域都位于Coleambally,澳大利亚新南威尔士州。MODIS数据使用的表面反射率MOD09A1(500)和MOD09Q1密集合成产品(250米)。我们取样所有MODIS数据集相同的分辨率的陆地卫星图像对应的日期。与自然图像相比,遥感图像有很大的规模和丰富的细节。因此,遥感图像重叠,获取训练集划分为补丁。本文的图像重叠分为两个区域 图像补丁。上面的图像补丁集用作训练集和预测集。我们比较我们的方法与主流和先进的方法(包括STARFM、FSDAF Fit-FC, STDFA, STI-FM, HCM, ESTARFM, SPSTFM,和月31净),本节将详细描述。

3.1。第一个实验数据集

为了验证我们的适用性提出了基于剩余的时空融合方法为一对之前Landsat-MODIS图像卷积神经网络,我们使用一个网络到验证和比较STARFM的相同的数据作为输入,FSDAF, Fit-FC, STDFA STI-FM, HCM。

在这个实验中,两对陆地卫星和MODIS地表反射率图像覆盖 使用地区Coleambally。两副图像获得2013年7月2日和2013年8月17日。图4展示了30米陆地卫星图像(上层行)和500米MODIS图像(行)降低使用green-red-NIR RGB合成图像。然后,我们使用双立方插值方法来缩减500 MODIS图像为30米。我们的实验任务用一双Landsat-MODIS图像2013年7月2日2013年8月17日和MDOIS图像预测30米Landsat-like形象2013年8月17日。FSDAF,与此同时,STARFM Fit-FC, STDFA, STI-FM,与HCM测试相同的输入在这个实验中,而真正的30米陆地卫星图像获得2013年8月17日作为参考评价融合结果的准确性。

5显示了融合结果的四种方法(STARFM、Fit-FC FSDAF, STDFA, STI-FM, HCM,和我们的方法)。显然,更大的预测精度的方法。例如,强调地区分区的左下部分,Fit-FC, STDFA, FSDAF, STI-FM、HCM, STARFM,一些深绿色像素错误地预测是紫色的像素。此外,右下角中突出显示的区域分区的一部分,Fit-FC, STDFA, FSDAF, STI-FM HCM, STARFM错误地预测某些红紫色和蓝色的像素像素。然而,我们的方法更接近参考图像。主要原因是Fit-FC方法直接应用已知的线性系数的低分辨率图像以适应高分辨率图像的预测。因此,当空间分辨率高和低分辨率图像之间的区别很大,会有明显的“块效应”,例如,陆地卫星图像和MODIS图像的空间分辨率区别是近17倍。STDFA假设相同的表面覆盖的时空变化特征类粗像素是一致的,但在实际应用中可能存在不一致,所以融合结果的影响。FSDAF时空融合算法的准确性较低,这主要是由于两个方面:FSDAF的预测精度是更糟糕的是,这主要是由于两个方面:首先,已知的高分辨率数据需要分类和非监督分类方法的分类精度(如 - - - - - -意味着方法)对结果有一定的影响;第二,当空间分辨率高和低分辨率的数据之间的差别很大,在endmember(即高分辨率像素)代表区域将会更加完善。当类别的数量很小,融合结果将是相对平静,当类别的数量很大,拟合精度也将减少(如在低分辨率的像素,如果某个类别的丰富性是低,总预测误差将增加)。从局外人STI-FM容易受到干扰,所以空间特征变化明显时,预测效果并不好。使用渐变映射的方法大大地受到复杂的地区,所以HCM未能在这个实验显示最佳的性能。STARFM考虑相邻像素的相似性,因此预测精度相对稳定。STARFM的前提是,相似的像素的光谱在附近是恒定的,没有土地覆盖变化在观察期间,这使得该模型容易受到环境和物候变化,导致大预测错误,特别是对异构的地区。我们的方法更有效地使用深卷积神经网络提取低分辨率的图像和残余图像的特点和构造一个低分辨率图像之间的映射关系和残余图像通过剩余的学习网络。这种映射关系是非线性映射和更符合地面特征的变化。此外,网络的层数是通过剩余的学习加深,加强网络的鲁棒性。 Therefore, the experimental results based on our method have better visual effects.

1列出四种融合方法的客观评价结果,并使用三个常见的遥感图像融合评价方法,包括均方根误差(RMSE) [33),相关系数(CC) [34),和通用的图像质量指数(UIQI) (35]。理想的RMSE值、CC和UIQI是0,1,1,分别。从表1,我们可以看到六个乐队的融合结果,我们的方法的融合结果有较小的RMSE,较大的CC和UIQI。我们的方法是与其他六个方法相比(STARFM、Fit-FC FSDAF, STDFA, STI-FM,和HCM);的增加意味着CC是0.0259,0.0365 - 0.0168,0.0253,0.0620,和0.0487,和的获得意味着UIQI是0.0261,0.0368,0.0175,0.0254,0.0620,和0.0489,分别。平均RMSE减少0.0018,0.0024,0.0012,0.0021,0.0040,和0.0032,分别。此外,基于我们的方法的融合结果比STATFM STARFM比Fit-FC,其余的序列是STDFA > FSDAF > HCM > STI-FM。主要原因是当空间分辨率高和低分辨率图像之间的区别很大,Fit-FC直接适用于低分辨率图像的拟合系数高分辨率图像,导致大错误;FSDAF也有类似的拟合误差。STDFA假设相同的表面覆盖的时空变化特征类粗像素是一致的,但在实际应用中可能存在不一致,所以融合结果的影响。尽管STARFM认为邻近像素的相似性,每个像素的重建方法不能考虑图像的连续性。从局外人STI-FM容易受到干扰,所以空间特征变化明显时,预测效果并不好。 HCM using gradation mapping is greatly affected by the heterogeneous region. Our method can better restore the continuity of the image by reconstructing the image patch.


乐队 Fit-FC STDFA FSDAF STI-FM HCM STARFM 我们的方法

RMSE 蓝色的 0.0088 0.0089 0.0091 0.0098 0.0094 0.0086 0.0081
绿色 0.0113 0.0115 0.0117 0.0124 0.0120 0.0110 0.0105
红色的 0.0150 0.0152 0.0154 0.0164 0.0159 0.0146 0.0139
近红外光谱 0.0240 0.0244 0.0248 0.0268 0.0258 0.0233 0.0219
SWIR1 0.0328 0.0331 0.0339 0.0363 0.0351 0.0318 0.0299
SWIR2 0.0308 0.0317 0.0319 0.0344 0.0331 0.0299 0.0279
的意思是 0.0205 0.0208 0.0211 0.0227 0.0219 0.0199 0.0187

CC 蓝色的 0.8761 0.8773 0.8674 0.8463 0.8574 0.8833 0.8967
绿色 0.8786 0.8928 0.8705 0.8510 0.8612 0.8853 0.8976
红色的 0.8925 0.8931 0.8856 0.8687 0.8775 0.8982 0.9085
近红外光谱 0.7713 0.7722 0.7550 0.7171 0.7367 0.7850 0.8098
SWIR1 0.8327 0.8331 0.8207 0.7925 0.8072 0.8429 0.8627
SWIR2 0.8393 0.8398 0.8269 0.7978 0.8130 0.8497 0.8697
的意思是 0.8484 0.8489 0.8377 0.8122 0.8255 0.8574 0.8742

UIQI 蓝色的 0.8653 0.8662 0.8564 0.8350 0.8462 0.8728 0.8867
绿色 0.8680 0.8687 0.8597 0.8400 0.8503 0.8750 0.8879
红色的 0.8835 0.8841 0.8763 0.8591 0.8681 0.8895 0.9008
近红外光谱 0.7644 0.7652 0.7488 0.7125 0.7313 0.7775 0.8011
SWIR1 0.8251 0.8259 0.8132 0.7855 0.7999 0.8352 0.8557
SWIR2 0.8313 0.8319 0.8190 0.7903 0.8053 0.8418 0.8622
的意思是 0.8396 0.8403 0.8289 0.8037 0.8168 0.8486 0.8657

3.2。第二个实验数据集

在这个实验中,三双Landsat-MODIS图像覆盖 面积Coleambally用于验证我们方法的适用性两对之前的图像。图像的三双是在4月6日,2012年,5月12日,2012年7月20日,2012年,分别。图6显示了30米陆地卫星图像(上层行)和500 MODIS图像(行)降低使用green-red-NIR RGB合成图像。这个实验来验证我们的方法的准确性是基于前两双图像,我们使用两个图像对4月6日,2012年7月20日,2012年,5月12日和MODIS图像,2012年预测Landsat-like图片5月12日,2012年。

7显示了30米预测结果在8月12日,2012年基于四种方法(ESTARFM SPSTFM,月31网,我们的方法)。值得注意的是,ESTARFM结果最差,月31净比SPSTFM,我们的方法比月31网。例如,左下角中突出显示的区域分区的年代,ESTARFM, SPSTFM错误地预测某些亮绿色像素为深绿色像素。虽然预测月31净类似于参考图像,但是有一些黄色像素被错误地预测是蓝色像素。然而,对于我们的方法,预测更接近真实的参考图像。与三个基准方法相比,我们的方法提供了优秀的性能。主要原因是ESTARFM假定在观察期间,高和低分辨率图像之间的转换系数保持不变,但在实际条件下,土地类型和范围将会改变,所以这个假设并不适用于地区的重大改变。SPSTFM利用稀疏表示字典学习方法在信号域土地覆盖变化提高预测精度和异构。虽然网络结构,与我们的方法相比,SPSTFM只适用于小规模的地区,不能提取足够的图像特征。虽然月31网可以通过深层网络产生更准确的预测结果,但数据包含在训练过程太大,网络很难收敛,也对预测精度有一定的影响。我们的方法使用剩余学习网络只能学习信息高和低分辨率图像之间的区别。由于低频高和低分辨率图像之间的信息是相似的,如果我们直接学习高和低分辨率图像之间的映射关系,将增加的计算量,也介绍了错误。通过剩余的学习,不仅高,低频信息之间的非线性映射关系可以直接了解到,还可以加深,网络层,提高了精度和网络结构的稳定性。

2显示比较结果RMSE、CC和UIQI。从表2,我们可以看到六个乐队,融合结果的方法可以获得较小的平均均方根误差和较大的CC和UIQI。很容易发现我们的方法比月31净,月31净比SPSTFM, ESTARFM是最差的在四个方法。具体来说,在ESTARFM CC收益的方法,SPSTFM,月31净0.0508、0.0257和0.0134,UIQI收益是0.0467,0.0238,和0.0126,分别。主要原因是ESTARFM假设转换系数在观察期间保持不变,但在这一领域有土地覆盖类型,如次区域年代,所以转换系数是不一致的,预测结果极大的偏见。SPSTFM以图像补丁为重建单元,考虑相邻像素之间的连续性,所以它具有较强的鲁棒性在处理复杂表面变化。然而,由于不稳定迫使相同的稀疏系数高和低分辨率字典构造映射关系,在这个实验中表现还不如我们的方法。StfNet有一个深刻的网络层;然而,由于直接培训很难收敛高和低分辨率图像之间的映射关系,这也会导致网络不稳定。我们的方法通过残余网络不仅可以提高网络的稳定性,也增强了融合结果的准确性。


乐队 ESTARFM SPSTFM 月31 我们的方法

RMSE 蓝色的 0.0118 0.0112 0.0109 0.0104
绿色 0.0139 0.0132 0.0128 0.0122
红色的 0.0217 0.0208 0.0203 0.0196
近红外光谱 0.0361 0.0332 0.0317 0.0301
SWIR1 0.0306 0.0288 0.0279 0.0268
SWIR2 0.0369 0.0356 0.0348 0.0340
的意思是 0.0252 0.0238 0.0231 0.0222

CC 蓝色的 0.8512 0.8727 0.8837 0.8964
绿色 0.8520 0.8729 0.8833 0.8951
红色的 0.8537 0.8756 0.8864 0.8990
近红外光谱 0.7131 0.7601 0.7824 0.8055
SWIR1 0.8519 0.8735 0.8843 0.8955
SWIR2 0.8725 0.8900 0.8987 0.9077
的意思是 0.8324 0.8575 0.8698 0.8832

UIQI 蓝色的 0.8425 0.8622 0.8723 0.8847
绿色 0.8431 0.8624 0.8719 0.8834
红色的 0.8297 0.8483 0.8574 0.8688
近红外光谱 0.7040 0.7500 0.7714 0.7940
SWIR1 0.8455 0.8655 0.8753 0.8858
SWIR2 0.8529 0.8667 0.8735 0.8810
的意思是 0.8196 0.8425 0.8537 0.8663

4所示。结论

在本文中,我们提出一个残余卷积神经网络预测Landsat-like形象,和方法可以应用到之前的情况只有一对图像。该方法主要包括两个步骤:首先,使用已知MODIS-Landsat图像对剩余卷积神经网络训练,其次,输入MODIS图像在预测阶段重建Landsat-like形象。与几个基准算法(STARFM、FSDAF Fit-FC, ESTARFM, SPSTFM,和Sft净),我们的方法学习算法的优点,以图像补丁为重建单元,考虑相邻像素之间的连续性。残余构造深度网络训练不仅增强了网络的稳定性,而且提高了预测精度。

时空融合方法基于异构地区学习有更大的预测精度。在本文中,我们使用一个多层卷积神经网络提取空间特征。在未来的工作中,我们将尝试设计更有效的方法来提取空间特征来提高识别能力变化的信息。近年来,深度学习已经收到了广泛的关注。深度学习需要大量的数据来训练模型。由于大量的数据的特征和丰富的遥感数据信息,我们可以使用遥感数据的“大数据”特征来训练更有效的MODIS和陆地卫星图像之间的映射关系,深度学习培训,以提高预测精度。此外,尽管时空融合模型基于学习有杰出的表现,但计算时间较长,这也是一个“共同的失败”基于学习方法。因此,未来的工作将遵循的理念提高融合结果的准确性和减少计算复杂度。

数据可用性

数据不可用的原因如下:在本文中,我们收到了遥感数据来自中国科学院遥感应用研究所做了一个实验,但是没有同意中国科学院遥感应用研究所,作者不能判断数据是否可用。

的利益冲突

作者宣称没有利益冲突。

引用

  1. b Rasti,参与者d .香港,r . et al .,“高光谱图像的特征提取:由浅到深的进化(概述和工具箱),“IEEE地球科学和遥感杂志,8卷,不。3、63 - 92年,2020页。视图:出版商的网站|谷歌学术搜索
  2. m·c·安德森,r·g·艾伦,a·莫尔斯和w·p·Kustas”利用陆地卫星热影像监测土壤水分蒸发蒸腾损失总量和管理水资源,”环境遥感卷。122年,50 - 65年,2012页。视图:出版商的网站|谷歌学术搜索
  3. f·d·范德梅尔·h·m·A·范德Werff f·j·A·范Ruitenbeek et al .,“多和高光谱地质遥感:审查,”国际地球观测与地理信息应用杂志》上,14卷,不。1,第128 - 112页,2012。视图:出版商的网站|谷歌学术搜索
  4. d .香港:Yokoya:通用电气,j . Chanussot x x朱,“可学的流形对齐(眼肌):半监督学习交叉模式框架,土地覆盖和土地利用分类,“ISPRS杂志摄影测量与遥感卷,147年,第205 - 193页,2019年。视图:出版商的网站|谷歌学术搜索
  5. s . Ganguly m . a . fiedl的用于检查电子邮件地址,棕褐色,x,和m . Verma”从MODIS地表物候学:表征的集合5全球土地覆盖动态产品,”环境遥感,卷114,不。8,1805 - 1816年,2010页。视图:出版商的网站|谷歌学术搜索
  6. 张x m . a . fiedl的用于检查电子邮件地址,c . b . Schaaf et al .,“使用MODIS监测植被物候学,”环境遥感,卷84,不。3、471 - 475年,2003页。视图:出版商的网站|谷歌学术搜索
  7. c . Vignolles m .同性恋、g . Flouzat和p . Puyou-Lascassies“时空遥感数据的连接有关农业生产modelisation中等规模,”1995年国际地球科学和遥感研讨会,雪茄烟的95。定量遥感科学和应用程序1995年7月,佛罗伦萨,意大利,意大利。视图:出版商的网站|谷歌学术搜索
  8. f·高,j . Masek m . Schwaller f·霍尔,“混合的陆地卫星MODIS地表反射率:预测每日陆地卫星表面反射,”IEEE地球科学和遥感,44卷,不。8,2207 - 2218年,2006页。视图:出版商的网站|谷歌学术搜索
  9. t . Hilker m . A .贵方觉得n c . et al .,“一个新的数据融合模型对高空间和时间分辨率森林干扰根据陆地卫星和MODIS的映射,”环境遥感,卷113,不。8,1613 - 1627年,2009页。视图:出版商的网站|谷歌学术搜索
  10. p·r·大卫·j . Junchang l . Philip s .水晶,h·马特和l . Erik”Mufti-temporal MODIS-Landsat融合相对和陆地卫星数据的预测,”环境遥感,卷112,不。6,3112 - 3130年,2008页。视图:谷歌学术搜索
  11. f . x朱、陈、高,x,和j·g . Masek”一个增强的时空适应性反射复杂异构融合模型区域,”环境遥感,卷114,不。11日,第2623 - 2610页,2010年。视图:出版商的网站|谷歌学术搜索
  12. 问:小王和p . m .阿特金森,“每日Sentinel-2图像时空融合,”环境遥感卷。204年,31-42,2018页。视图:出版商的网站|谷歌学术搜索
  13. c .关颖珊b Budavari、f·高和x朱,“混合颜色映射方法为远期预测融合MODIS和陆地卫星图像,”遥感,10卷,不。4、520 - 529年,2018页。视图:出版商的网站|谷歌学术搜索
  14. 茹科夫,d . Oertel f . Lanzl, g . Reinhackel”Unmixing-based多传感器多分辨率图像融合。”IEEE地球科学和遥感,37卷,不。3、1212 - 1226年,1999页。视图:出版商的网站|谷歌学术搜索
  15. m·吴”,利用MODIS和陆地卫星时间序列数据来生成高分辨率时间合成使用时空反射率陆地卫星数据融合模型,”应用遥感技术杂志》上》第六卷,没有。13,063507页,2012年。视图:谷歌学术搜索
  16. w·m . Wu黄、z .妞妞和c .王”生成每日合成陆地卫星影像结合陆地卫星和MODIS数据,”传感器,15卷,不。9日,第24025 - 24002页,2015年。视图:出版商的网站|谷歌学术搜索
  17. k . Hazaymeh和k·哈桑,“时空图像融合模型提高时间分辨率Landsat-8表面反射率图像,采用MODIS图像”应用遥感技术杂志》上,9卷,不。1,p。096095年,2015。视图:出版商的网站|谷歌学术搜索
  18. x朱、e·h·赫尔默f·高,d . Liu j . Chen和m . A . Lefsky“灵活的时空融合不同分辨率的卫星图像的方法,”环境遥感卷,172年,第177 - 165页,2016年。视图:出版商的网站|谷歌学术搜索
  19. d .香港n . Yokoya j . Chanussot x x朱,“从hyperspectral-multispectral通讯CoSpace:常见的子空间学习。”IEEE地球科学和遥感卷,57号7,4349 - 4359年,2019页。视图:出版商的网站|谷歌学术搜索
  20. 黄b和h的歌,“时空反射率融合通过稀疏表示,“IEEE地球科学和遥感,50卷,不。10日,3707 - 3716年,2012页。视图:出版商的网站|谷歌学术搜索
  21. h .歌曲和b .黄”,通过一对图像学习时空的卫星图像融合,”IEEE地球科学和遥感,51卷,不。4、1883 - 1896年,2013页。视图:出版商的网站|谷歌学术搜索
  22. d . Yu和l .邓小平“深度学习和信号与信息处理探索性的应用程序,“IEEE信号处理杂志,28卷,不。1,第154 - 145页,2011。视图:出版商的网站|谷歌学术搜索
  23. f·h·c·Tivive和A . Bouzerdoum”一类新的convolu-tional神经网络(SICoNNets)和人脸检测的课件,”学报》国际神经网络联合会议,2003波特兰,页2157 - 2162,或者美国,2003年7月。视图:出版商的网站|谷歌学术搜索
  24. a . Krizhevsky即Sutskever, g·e·辛顿”形象净与深卷积神经网络分类”学报2012年神经信息处理系统的进步太浩湖,页1097 - 1105年,内华达州,美国,2012年,柯伦Associates Inc .)视图:谷歌学术搜索
  25. c, c . c .阿来k .他和x唐,“图像超分辨率使用深卷积网络”EEE交易模式分析与机器智能,38卷,不。2、295 - 307年,2016页。视图:出版商的网站|谷歌学术搜索
  26. r·h·歌,问:刘,g . Wang挂,和黄,“时空的卫星图像融合使用深卷积神经网络,”IEEE选择杂志的主题应用地球观测和遥感,11卷,不。3、821 - 829年,2018页。视图:出版商的网站|谷歌学术搜索
  27. c·邓x Liu j . Chanussot d .香港和b .赵”StfNet:二束卷积神经网络时空图像融合,“IEEE地球科学和遥感卷,57号9日,第6564 - 6552页,2019年。视图:出版商的网站|谷歌学术搜索
  28. k . x张,他任美国,j .太阳,“深残余学习图像识别,”2016年IEEE计算机视觉与模式识别会议(CVPR)美国拉斯维加斯,NV, 2016年6月。视图:出版商的网站|谷歌学术搜索
  29. 任,k .他、r . Girshick和j .太阳,“快R-CNN:对与地区建议网络实时目标检测,”IEEE模式分析与机器智能,39卷,不。6,1137 - 1149年,2017页。视图:出版商的网站|谷歌学术搜索
  30. 梁和x,“卷积神经网络目标识别,复发”2015年IEEE计算机视觉与模式识别会议(CVPR)美国,波士顿,MA, 2015年6月。视图:出版商的网站|谷歌学术搜索
  31. e . f . Lambin和a·h·特拉”的覆盖指标变化change-vector分析多瞬时空间在粗糙的空间尺度上,“国际遥感杂志》上,15卷,不。10日,2099 - 2119年,2007页。视图:出版商的网站|谷歌学术搜索
  32. c .他施p、d .谢和y赵,“改善城市居民区周围的归一化组合指数映射使用半自动分割方法,”遥感信,1卷,不。4、213 - 221年,2010页。视图:出版商的网站|谷歌学术搜索
  33. z张和r·s·布卢姆“multiscale-decomposition-based图像融合分类方案与数码相机应用程序的性能研究,“IEEE学报》,卷87,不。8,1315 - 1326年,1999页。视图:出版商的网站|谷歌学术搜索
  34. k·d·金和j . h . Heo”比较研究洪水分位数估计的非参数模型,”《水文,卷260,不。1 - 4、176 - 193年,2002页。视图:出版商的网站|谷歌学术搜索
  35. 王z和A·c·Bovik“通用图像质量指数”IEEE信号处理信件,9卷,不。3、81 - 84年,2002页。视图:出版商的网站|谷歌学术搜索

版权©2020(王,王孝义。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。


更多相关文章

PDF 下载引用 引用
下载其他格式更多的
订单打印副本订单
的观点952年
下载703年
引用

相关文章

文章奖:2020年杰出的研究贡献,选择由我们的首席编辑。获奖的文章阅读