文摘
随着遥感技术的迅速发展,变化检测(CD)方法基于遥感图像已广泛用于土地资源规划、灾害监测、和城市扩张等领域。CD的目的是准确地确定地球表面的变化。然而,大多数CD方法关注多瞬时遥感图像像素之间的变化对而忽视它们之间的耦合关系。这通常会导致不确定性对边缘像素改变对象和错误分类的小对象。要解决这些问题,我们提出一个CD方法遥感图像使用耦合字典和深度学习。该方法实现了时空建模和多瞬时遥感图像的相关性通过耦合的字典学习模块,确保多源图像块之间的重建系数的可转让性。此外,我们构建了一个微分特性判别网络计算的不同概率变化区域。一个新的损失函数,认为真/假歧视损失,提出了分类损失、损失和叉。最歧视的特性可以提取并用于CD。该方法的性能验证了两个著名的CD上的数据集。大量的实验结果表明,该方法优于其他方法在精度方面,记得,F1分数, ,和 。
1。介绍
1858年,第一个遥感影像接管了巴黎,法国。地球人类的认知已经进入了一个新阶段从当地大型表面观察由于遥感技术在各种平台上。近年来,随着传感器和信息技术的迅速发展,它已成为可能的收购和储存大量的遥感图像。遥感图像提供广泛的地球观测数据,具有精度高、范围宽,短时间内,提供重要的数据支持军事、科学、农业、环境、资源、交通运输、城市管理(1]。使用这些遥感图像研究地表生态环境具有重要的社会和科学意义2]。
遥感图像变化检测(CD)是一个重要的应用遥感图像判读,旨在比较两个(或更多)和分析遥感图像在不同的时间在同一地区和获取地物的变化信息。这项技术已广泛应用于土地规划(3,城市扩张4],灾难评估[5调查),农业(6),场景分类(7),和生态环境监测8)等领域。传统的人工目视判读方法主要检测获得的遥感图像变化使用目视判读经验,效率低,很容易受主观条件的影响。因此,这种方法不能满足当前需求环境的动态监测。遥感影像光盘技术的发展,尽管新的CD方法继续出现,出现许多新的问题和挑战由于改善成像能力和不同性能的传感器。的主要问题和挑战如下。首先,持续改进的空间和光谱分辨率遥感图像提供了丰富的地物信息,大大增加冗余和噪声。其次,随着传感器技术的不断发展,各种新兴新数据源。这造成了新的挑战现有的遥感图像处理方法的普遍性。如何准确、迅速从特定任务的大规模数据集,提取有用的信息已成为一个迫在眉睫的问题。第三,应用遥感图像不断涉及到越来越多的领域。 Thus, a single model can no longer complete most of the complex tasks required. Therefore, the existing image classification and CD models must start with a practical application and fully combine the advanced technologies in various fields to meet the needs of different industries. However, for a variety of complex tasks, it is difficult for human beings to obtain an effective and comprehensive model due to limited prior knowledge of the task. Identifying new methods to solve the aforementioned problems has increasingly attracted researchers’ attention.
随着计算机理论和技术的迅速发展,人工智能技术已经出现在图像分割、图像分类、CD,和其他相关研究领域。特别是最近出现的深度学习方法是一个强大的驱动力的人工智能技术极大地刺激了各种研究领域利用深度学习的热情来解决现有的问题。优秀的深度学习模型UNet广泛用于分割,取得了良好的性能,进一步研究多目标(在9,10和多尺度11遥感图像分割。对遥感图像的分类,提出了DRL-GAN由文献[12];网络不仅可以提高图像表征能力,但也从遥感图像识别微小物体。对于遥感图像翻译,注意机制生成敌对的网络体系结构,介绍了和SPA-GAN模型提出了文献[13]。对遥感影像dehazing,考虑到CNN dehazing性能优良的图像,提出了FD-GAN由文献[14];模型可以产生更多的现实和自然图像色彩失真少、工件。关于遥感图像目标检测,与ESRGAN架构,甚至,和检测网络提出了文献[15];遥感图像的质量是增强通过使用EESRGAN,和检测性能得到了改进backpropagating EESRGAN损失。从上面的成就,我们可以发现,深度学习网络的丰富层次架构有利于采用浅到深的方法。目标任务是分析了深度和彻底,和高层的理解和高维特性是通过底层信息分析逐渐形成的。深度学习的强大功能学习和表达能力模型可以用于实现自动强劲的学习如果模型能够有效地利用大量的现有信息。大量的培训模型基于深度学习方法在监督学习的范畴可以提供足够的参考大量的多源数据集,大大提高数据的利用率和各种遥感任务的及时性,包括CD。
目前,深学习方法被用来开展大量的研究领域的遥感影像目标提取。这种方法的基本理论也应该适用于领域的CD。高层语义谱等特性,空间,结构可以从多瞬时图像中提取使用深度学习建立一个非线性多瞬时图像地物特性之间的关系。遥感CD模型基于深度学习与传统的遥感CD模式不同,深度学习可以通过表示学习识别数据的特性,它可以减少严重依赖手工工作在遥感影像特征提取CD。因此,研究遥感影像CD方法基于深度学习不仅可以提高遥感影像CD的准确性,但也提供了一个新的自动和智能处理方法实现当前应用程序的需求。
论文的主要贡献可以概括如下:(1)变化检测框架,提出了基于耦合的字典学习源和多瞬时数据从低维空间映射到高维空间,然后估计其变化。(2)微分特征提取网络提出了构建一个新的重建通过整合对错题歧视损失,损失分类损失,损失和叉,这有利于训练表达能力更强的耦合的字典。(3)多源遥感图像变化检测模型相结合,实现模型驱动方法的优势(耦合的字典学习)和数据驱动方法(微分特征提取网络),从不同的观测空间可以建模和数据一致。
本文的其余部分被组织在四个部分。部分2是一个描述的变化检测的有关工作我们正在处理的任务。部分3详细介绍了该模型。部分4处理实验结果和讨论。最后,部分5总结了观察和指出了未来可能的工作来完成这篇论文。
2。相关的工作
CD的过程是指观察同一物体在地球表面在不同的时间来确定它的不同状态。CD的任务是对对象更改回答三个问题:(1)已经改变了吗?(2)发生了变化?(3)改变了什么?提高分辨率的传感器、遥感图像的采集周期逐渐缩短,和大量的CD方法提出了基于遥感图像。
近年来,深度学习技术的出现提供了新的概念和遥感图像的显示能力强与传统方法解决相关的问题。首先,与传统方法相比,深度学习方法不需要大量的现有的知识。第二,在训练过程中不需要人工干预,从而大大提高了遥感影像的自动化CD。第三,从深层神经网络具有很强的学习和功能表达能力,它们比传统的方法更适合处理高维数据。因此,遥感影像CD方法基于深度学习方法正受到越来越多的关注。许多深刻的学习方法,如神经网络(16],FCN [17],DenseNet [18],UNet [19],DeepLab [20.],SegNet [21),介绍了遥感图像应用和取得了极高的精度。一些研究成果甚至接近或达到人类视觉系统的准确性。以前的文献[22)使用递归神经网络的端到端长短期记忆(LSTM)网络学习土地覆盖的变化规律。文献[23]训练深度信念网络改变和不变的区域在SAR图像进行分类,而文献[24)提出了高光谱图像二维卷积神经网络的端到端CD。其他研究[25,26)研究生成对抗网络检测变化的使用领域的多光谱遥感图像和其他跨域遥感图像。文献[27)提出了一个深刻的暹罗卷积网络(DSCN)检测改变地区对比图像。对称卷积耦合网络(SCCN)提出了基于DSCN在文献[28)检测光学和SAR图像之间的变化。总之,现有的基于深度学习的CD方法可以自主学习的高维特征改变地区没有人工干预和执行CD根据真值。
大多数CD方法分析多瞬时遥感数据获得的相同的传感器或相同类型的传感器。然而,随着遥感成像技术的发展,越来越多的多源遥感数据覆盖同一区域。这些多源数据的成像机制和结果有很大的不同,因此很难使用传统的光盘技术发现变化。虽然在多源数据可能存在重大分歧,最终构成同一场景的不同描述。成像使得比较困难在原始的低维空间,但拥有相同的地物使多源数据在高维空间中类似。另一方面,尽管丰富的传感器提供的数据,这些数据通常是多种因素的结果。因此,有必要确定关键相关信息解释和帮助决策。近年来,稀疏表示越来越多的被用于遥感影像CD和数据融合。2021年,为了解决这个问题,CD的准确性很容易受到散斑噪声的影响,基于稀疏表示的方法和胶囊网络提出了在文献[29日]。首先,不同图像的稀疏特征提取使用老第二,一个轻量级的胶囊网络构造(L-CapsNet)我的空间特性之间的关系。最后,改变地图生成(CM)。实验结果表明,该方法可以降低散斑噪声的影响,获得更强大的功能。基于稀疏表示的图像融合方法也提出了在文献[30.]。该方法是基于假设归一化植被指数和HRVI与不同的决议具有相同的稀疏系数在一个特定的字典。的应用验证了该方法在多源NDVI CD使用GF-1和GF-2卫星数据集。
正如上面提到的,多源图像对的描述同一对象不同。数据表示和相关性在不同的观测空间构成一个具有挑战性的任务。由于成像机制的差异,多源图像完全不同的成像结果。这鼓励我们去学习两个独立和与不同的观测空间耦合的字典。字典可以被强迫耦合的多个图像块对共享相同的稀疏表示。灵感来自上面的概念,提出了一种耦合的字典学习方法对多源图像变化检测。耦合的字典学习的目标是与不同的观测空间的元素,这样他们在相同的位置一一对应,并实现多源数据的映射。通过耦合字典学习,不变的图像块对较低重建错误,而变量图像块对有更高的重建误差。这可以抑制不变区域,改变区域突出显示,并获得一个健壮的变化映射。然而,随机选择训练样本可能包含一些改变训练样本,这些样本可能改变干扰耦合的学习词典。 Therefore, we design a new loss function to automatically select training samples with low reconstruction errors and exclude training samples with changes in the training set, so as to build a more robust coupled dictionary. Finally, the multisource data is mapped to a high-dimensional feature space to enhance the variation of multisource data.
3所示。该方法
首先,我们给出一个总体的介绍本文提出的模型;模型的输入是原始遥感图像、模型的输出是CD对应像素的结果。然后,数据预处理方法,耦合的字典学习方法,并详细介绍了微分特征提取网络。同时,介绍了CD的损失函数。
3.1。该方法的概述
如图1,该方法提出了包括五个步骤:输入、预处理、耦合的字典学习,CD,和输出。首先,输入包含多瞬时和多源遥感图像数据。第二,在预处理步骤中,局部图像块的两个不同时期不同的传感器获得的数据在同一场景是扩展到向量表示。第三,每个图像块对堆叠作为耦合的字典训练样本学习和被迫共享相同的重建系数。耦合的词典是学习后,可以确定当前耦合字典是否满足终止条件。如果不是,选择较低的训练样本重建误差作为训练集的下一代学习词典对耦合程度较高(,如有必要,重复的过程)。第四,基于耦合的字典学习在第二步中,每个图像块的重建系数对计算和输入不同特征提取网络估计变化的程度。最后,最后二进制CD生产作为输出结果。
3.2。数据预处理
稀疏的概念最早出现在1970年代的背景下有效的编码在神经生物学假说。今天,这个想法是广泛应用于图像处理领域。以下预处理之前应该进行遥感影CD。
让 和 代表对图像块。每一对 是随机抽样从两个多源遥感图像在不同的时间在同一个地理位置。在拟议的方法,两个图像块 在同一位置被视为一对图像块。如图1(b),一个图像块的大小 可以表示成 ,在哪里 。 和可以被视为与维列向量和 ,分别。
3.3。耦合的字典学习
典型的稀疏表示问题在下列方程表示为:
的图像块表示为 ; 代表了字典对应形象;代表着稀疏的系数,通过稀疏表示的图像块根据字典 ; 是常规的参数;和保证了稀疏的向量 。最后,限制确保每个字典原子均匀分布,以避免过大的值会增加优化所需的时间。
耦合的字典学习方法对遥感图像提出了一个扩展的方法。让 和 包含元素(分别 和 )。由这两幅图像 和 。图像块和共享相同的重构系数。两幅图像的稀疏表示可以组合成一个方程如下:
让 , ;(2)可以写成: 在哪里是字典元素的耦合 。
上面的组合后,复杂的方程简化为稀疏表示目标函数,和相应的优化过程也简单。方程(3)不是凸函数,它是不方便的优化。然而,当一个值是固定的,上面的方程变成了一个可以优化的凸函数。因此,交替迭代法用于优化它。具体计算方法如下:(1)优化的稀疏系数 。根据上述分析,字典之前必须固定耦合的稀疏系数进行了优化。第一次迭代,是未知的。字典是通过随机选择初始化数据训练集或随机产生一个矩阵。在字典确定,目标函数变得稀疏编码的问题,和稀疏系数计算根据类别。当稀疏的系数剩下的稀疏系数计算,不属于 是固定的。下面的方程可以用来解决稀疏系数 : 迭代投影法(31日)用于解决(4)。(2)优化的字典 。在这个优化过程中,稀疏系数是一个已知的条件。更新字典的方法类似于前面的过程。当字典属于分类计算,其余的字典 是固定的。目标函数可以简化为如下方程: 代表了稀疏系数得到稀疏表示的训练图像集在字典 ,这属于类别。
3.4。微分特征提取网络
在获得耦合的字典和 ,多源遥感图像数据映射到高维特征空间。在这个空间,改变图像块会有不同的重建系数,而不变的图像块将重建系数相似。
每个图像块的改变程度对可以测量通过比较重建系数和的对图像和与他们的耦合的字典和 。的计算方法和所示(6),(7)和(8)。 和可以解决吗 是常规的参数。方程(7)可以解决 是一个向量的1 s , , ,和是单位矩阵的 。
因为CD的目标是检测两个图像之间的差异在不同的时间,不同的特征向量计算后的特征向量和两张图片的使用上面的方法获得。特征向量的区别在计算
为了学习不同概率两个图像之间的差异特征向量,特征提取不同网络设计后得到特征向量的区别。网络包括三个完全连接层, ,如图1(d)。其隐层的值可以计算使用以下方程: 和的输出矩阵吗和层。Wk重量是隐藏的输入层,是偏见,因为我们需要的是一个二进制值0或1的吗是选为激活函数。当信息传送到最后完全连接层 ,输出值从0到1,表明不同的概率。
上面的微分特性判别网络,预计产生的不同概率可以被判断为正确的类别标签,获得不同的概率会大改变类别和不变的小类别。因此,熵损失被添加到其损失函数。其损失函数由三部分组成,见以下方程: 代表真/假的损失,代表一类损失,代表熵损失。他们计算在以下方程: 训练样本的数量,价值的是0或1,这表明输入的标签附近的图像块对。1表明他们已经改变了,0表示,他们并没有改变。代表不同的概率附近的输入图像块对。
的优化算法,SGD算法是一个著名的参数优化方法,广泛用于模型参数优化的深入学习。然而,它的缺点是,它有一个缓慢的下降速度,可能附近振荡最小值(32]。因此,SGD方法提出了基于一阶动力(33]。这种方法更新每个参数相同的学习速率。然而,深层神经网络通常包含大量的参数。模型参数的频繁更新,积累了大量的知识;我们希望他们受到一个样本,所以学习速率应该慢一些。偶尔更新,然而,对于参数模型几乎没有知识积累,我们希望可以学到更多的知识从每一个随机样本,所以学习速率应该更高。因此,一个名叫AdaGrad的优化方法提出了基于二阶动力(34]。该方法为稀疏数据表现良好。然而,它可以减少学习速率单调为零,因此提前结束训练过程。亚当(35完全)优化方法解决上述问题。这种方法集成了一阶动量和二阶动量,系数是用来控制一阶动力和二阶动量,哪个更有利于大型遥感图像优化。因此,亚当算法优化损失函数 。在培训过程中,网络的所有参数都是固定的,他们是更新。当培训倾向稳定,这表明网络已达到收敛状态和训练过程可以停止了。
4所示。实验和讨论
4.1。数据集
第一个数据集是CDD [36),如图2。它由七对图像 从谷歌地球获得的分辨率。共有16000对图像(10000训练集,测试集的3000和3000年验证集)的空间分辨率七对收集的图像。
第二个数据集是LEVIR-CD数据集(37),如图3。数据集包含了637双CD 图像的空间分辨率 。这些照片是来自20个不同的地点在德州2002年和2018年之间。这个数据集可以帮助训练更有效的CD模型同时关注有趣的变化和减少其他无关紧要的变化对模型的影响。
4.2。评价指标
乳糜泻,有必要证明了该方法的有效性和鲁棒性使用定量分析。绩效评估的目的、CD结果通常表现为二进制图像,在白色像素像素代表改变像素和黑色像素代表不变。在这个实验中,精度,记得,F1分数、OA、借据被用来评估拟议的方法。计算方法见以下方程:
4.3。实验设置
上述两种遥感影像CD数据集,实验进行了验证该方法的准确性和有效性。CDD的训练数据集包含10000张图片,测试数据集和验证数据集包含3000张图片,和每个图像的分辨率 。LEVIR-CD数据集,训练数据集包含445张图片,测试数据集包含128张图片,验证数据集包含64张图片,每张图片的分辨率 。
计算机的CPU使用在这个实验中是一个英特尔至强银4212,2.2 GHz, 512 GB的内存大小。GPU NVIDIA Tesla V100, 32 GB。CUDA的版本是10.2。操作系统是微软Windows Server 2016数据中心。的Python版本是3.6.10,深度学习框架1.9.0 PyTorch版本。
在培训过程中,由于CDD的低分辨率,其批大小设置为16,而由于LEVIR-CD的高分辨率数据集,其批大小设置为2的考虑系统的能力。最初的学习速率设置为1 e - 3,由系统根据训练情况自动调整。时代的数量被设置为100。K-SVD算法被用来学习的词典。微分特征提取三个完全连接层组成的网络 。的范围的数字微分特征提取的隐层网络是由经验公式和柯尔莫哥洛夫定理38]。节点的数量设置为150,100年,分别和1。
4.4。烧蚀分析
烧蚀分析被用来说明该方法的组件的贡献。我们评估的贡献组件模型通过比较模型用一个不包含它。而不是减法,我们逐渐增加了模块耦合的字典学习(CDL)等微分特征提取(DFE),损失函数(l)我们建议的基线网络来验证其性能。与LEVID-CD数据集相比,CDD是一个大规模的遥感数据集。因此,CDD用于消融分析。
表1显示了烧蚀实验的结果。表中最后一行代表了我们提出的模型的性能。第一行代表的性能基准模型(稀疏表示)。下一行的表1表明部署耦合的字典学习模块,微分特征提取,损失函数导致基线模型各指标显著改善。耦合的字典学习模块添加到模型的结果在一个轻微的改善所有指标除了召回率。的F1分数提高了由于添加微分特征提取。然后,我们介绍了损失函数,提出了所有的指标除了略。这种变化可以归因于损失函数,增强了该方法的表示能力。
4.5。结果与讨论
评估性能和该方法的有效性,我们比较几种经典方法。
CDD,我们使用七个最先进的(SOTA)方法:FC-EF [39],FCN-PP [40],FC-Siam-Conc [39],FC-Siam-Diff [39],CDNet [41),CD-UNet + + (42,甘斯(43]。实验结果和视觉比较如表所示2(的一些实验结果44])和数字4来7。
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(我)
(j)
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(我)
(j)
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(我)
(j)
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(我)
(j)
在这个实验中,四个典型的变化区域,道路,汽车,单一对象,选择多个对象,评价该方法的性能。从数据可以看出4来7,该方法实现最佳性能。方法的边界的CM的清晰比其他方法,以及该方法的误分类面积小于其它方法。此外,改变地图通过该方法得到几乎一致的参考厘米。
与此同时,定量结果的五个定量评价指标表中列出2表明,该方法实现了性能优良的精度,还记得,F1分数, ,和 。的该方法为0.883,高于0.02甘斯方法(最好的精度在七SOTA CD方法)。精度值也与其他方法相比显著提高。
LEVID-CD数据集的实验结果和视觉与七SOTA方法比较(FC-EF [39],FC-Siam-Diff [39],FC-Siam-Conc [39),CD-UNet + + (42],DASNet [45],干扰素[46,甘斯(43)如表所示3(的一些实验结果47])和数字8来11。
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(我)
(j)
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(我)
(j)
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(我)
(j)
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(我)
(j)
在这个实验中,四种典型的区域变化,求解变化,多个对象的变化,much-more-object变化,选择和面稠密的物体变化,评价该方法的性能。我们可以看到数据8来11,该方法达到了最佳的性能。作为CD的对象的数量的增加,该方法维护良好的识别性能。该方法可以生成一个精确的CM即使对象的大小和数量的变化。
与此同时,四个定量评价指标的量化结果列在表中3表明,该方法实现了性能优良的精度,还记得,F1分数, ,和 。与七个SOTA CD方法相比,精度,记得,F1分数, ,和该方法的0.877,0.889,0.873,0.852,和0.991,分别为0.031,0.006,0.012,0.005,和0.004高于同行的甘斯(第二好的方法)的方法。
5。结论
在本文中,我们提出了一个CD方法使用耦合的多源遥感图像字典和深度学习。揭示多源遥感图像之间的耦合关系,提出了一种耦合的字典模块。这个模块将从低维多源遥感图像映射到高维空间计算重建系数。重建图像块的变化会有不同的系数,而不变的图像块将重建系数相似。更准确地描述一个对象的改变程度,我们构建了一个新的图像块重建亏损微分特性判别网络,衡量每个图像块的改变程度对通过考虑真/假歧视损失,分类损失,和熵的损失。CD与其他方法相比,该方法可以有效地减轻边缘像素CD的不确定性,实现令人满意的结果。在未来,我们计划把重点放在CD大型遥感图像和扩展该方法的实际应用。
我们提出的方法有其局限性。的位置改变了多源遥感图像中可以检测到该方法。但是改变了多源遥感图像中不能被发现。为了解决这个问题,高光谱图像包含大量的光谱信息可以用来检测发生了什么变化。此外,云和雾遮挡在遥感图像也能影响变化检测。因此,有必要进行预处理遥感图像变化检测在使用该方法。这些限制表明虽然提出了一种高效的变化检测方法,它仍然是一个具有挑战性的任务的方法推广到实际生产,这将是我们未来努力的方向。
数据可用性
的利益冲突
作者宣称没有利益冲突。
作者的贡献
杨伟伟,海丰的歌,Lei Du,松松戴,和徐迎迎了同样的工作。
确认
这项工作得到了台州大学培养科学基金会(2019 py014和2019 py015号),台州的科技项目(20号ny13和2003 gy15),以及中国的浙江省自然科学基金(Nos LQ21F020001和LQ21A010001)。