文摘

在高光谱遥感分类是一个热门话题。在过去的几十年里,大量的努力都集中在分类问题。大多数现有的研究和调查后,传统的模式识别模式,基于复杂的手工制作的功能。然而,很少认识哪些特性是重要的问题。在本文中,一个新的分类框架基于机器学习提出了高光谱数据。提出分类框架,它由动量指数深卷积神经网络和支持向量机(SVM),可以分层次构建高层spectral-spatial特性以自动化的方式。广泛使用的数据集上实验结果和定量验证展示的潜力开发准确的高光谱数据分类方法。

1。介绍

光学和光子学方面的最新进展允许高光谱数据检测和分类的发展,被广泛用于农业(1],监测[2),环境科学3,4],天文学[5,6),和矿物学7]。在过去的几十年中,高光谱数据分类方法一直是研究热点。很多经典分类算法,如k最近的邻居,最大似然、平行六面体分类、最小距离,逻辑回归(LR) [8,9),提出了。然而,有几个关键的高光谱数据的分类问题:(1)高维数据,这将导致维度的诅咒;(2)有限数量的标记训练样本,这将导致休斯效果;(3)大空间变化的光谱特征(10]。

大部分的现有工作,关于高光谱数据的分类,遵循传统的模式识别模式和复杂的手工从原始数据中提取特征和分类器训练。经典的特征提取方法包括以下:主成分分析,奇异值分解,投影追求,自组织映射和融合特征提取方法。许多这些肤浅的方式方法提取功能,不分层次自动提取深度特性。相比之下,深机器学习框架可以提取高层抽象功能,旋转,缩放,平移不变性特征(11,12]。

近年来,深度学习模型,特别是深卷积神经网络(CNN),已被证明产生竞争的性能在许多领域包括分类或检测任务涉及图像(13- - - - - -15),演讲(16),和语言17]。然而,大多数的CNN网络输入数据是原始图像没有任何基于先验知识的预处理。这样直接的方式扩展了CNN网络训练时间和特征提取时间(18,19]。此外,传统的CNN网络有太多的参数,初始化是困难的。并基于梯度下降训练算法技术可能导致截留在局部最优和梯度扩散。此外,很少有研究收敛速度和平滑度改善目前CNN。

在本文中,我们提出一种改进的高光谱数据分类框架基于动量指数深卷积神经网络(EM-CNN)。CNN和一个创新的方法更新参数指数动量梯度的基础上派生的提出了针对问题的梯度扩散深度网络。

剩下的纸被组织成四个部分。部分2描述了特征学习和深度的学习。提出EM-CNN框架中引入部分3,而部分4细节指数动量梯度下降法的新方法,该收益率最高的精度与同源动量参数更新方法。部分5实验结果。部分6总结了结果,画了一个一般的结论。

2。学习功能

特征提取是必要的和有用的真实的数据,如图像、视频、和传感器测量数据通常是冗余的,高度可变,复杂。传统手工制作的特征提取算法耗时和费力,通常依赖于某些视觉任务的先验知识。相比之下,特性学习允许机器学习在一个特定的任务和学习自己的特性。

深入学习是机器学习的一部分家庭基于学习表示的数据。它试图模型高层抽象数据通过使用深度图和多个处理层,由多个线性和非线性变换。典型的深度学习模型包括autoencoder (AE) [20.),深限制玻耳兹曼机(DRBM) (21),深玻耳兹曼机(DBM) (22网络(DBN)[],很深的信仰23),堆放autoencoder (SAE) [24),和深卷积神经网络(DCNN) [25]。

深卷积神经网络(DCNN),一种神经网络,是一种有效的特征提取的方法,这可能会导致在更高层次逐步更抽象和复杂的功能,和学习特性通常大多数本地更改输入不变。它已被证明产生竞争的性能在许多领域,如对象检测(13- - - - - -15)、语音同声传译(16),和语言的分类(17]。作为分类的性能高度依赖的特性(26),我们采用深卷积神经网络(DCNN)作为我们高光谱数据分类框架的一部分。

3所示。高光谱数据分类框架的结构设计

深陷卷积神经网络,输入数据,卷积内核和阈值参数的三个最重要的问题(27- - - - - -29日]。输入数据特征提取的基础上,决定最终的分类性能。卷积核的大小决定了功能的抽象程度。如果卷积核尺寸太小,难以提取的有效的地方特性。否则,将超过特征提取范围卷积内核可以表达。阈值参数主要是用来控制的响应程度submode特征。除此之外,网络输出层的深度和维度也可以影响特征提取的质量。更深层次的网络层显示功能更强的表达能力,同时会导致过度拟合和可怜的实时能力。输出层的尺寸直接决定了网络的收敛速度。当样本集是有限的,在较低的维度输出层不能保证功能的有效性,而在高输出层的特性会产生功能冗余。

自传统的CNN直接输入原始图像到深层网络和输入数据中起到至关重要的作用在最后特征提取(28,29日),三个图像获得的图像数据预处理被用作输入提高收敛速度和特定的模式分类的性能。为了获得更好的提取功能,卷积的大小9×9层过滤,5×5和3×3,分别和深度网络7根据实验的结果。

此外,较低的采样应用Max-pooling和非线性映射函数是LREL函数,如下公式所示: 在哪里非零常数和小是神经元的重量。的设置确保活动的神经元接收一个非零梯度值,所以,神经元被激活的可能性。

基于上述分析,深度网络框架,用于高光谱数据分类提出了基于深卷积神经网络在图1。

在拟议中的深CNN模型中,第一层,第三层,卷积层和第五层,实现从低层次特征提取到更高的水平。第二个层,第四层和第六层较低抽样层,用于特征降维。最后一层是输出层最终提取的整个连接层和输出特性。

4所示。指数动量梯度下降算法

4.1。误差传递

误差传播是通过两个步骤正向传播和反向梯度,进行重量生成和调整。使用梯度下降方法更新重量公式所示(2),和偏见更新方法公式所示(3)[30.]: 的公式,是学习速率,是错误的梯度重量,偏见是错误的梯度,即调整参数的敏感性。为了实现优化、重量和偏见的梯度误差梯度的重量和偏见的错误必须首先获得。

对卷积层,其输出显示为下面的公式: 在哪里的偏见th类型的特征图,块的输入特性图,卷积核。根据推导公式灵敏度函数,卷积层的敏感性可以由以下公式表示: 在哪里卷积核吗抽样层,代表上取样,是的,所以应该进行上采样。符号表示相应元素的乘法。

因此,卷积的梯度层的错误偏见所示公式(6)。的公式,灵敏度矩阵的元素位置:

卷积的梯度层错误体重公式所示(7)。的公式,卷积块吗和卷积内核,是物体的元素位置:

代入公式(5),(6)到公式(1),(2),获得更新后的值卷积层的重量。

采样的输出层的神经网络可以表达公式(8),和分别代表乘法偏见和添加剂的偏见。乘法偏差通常设置为1:

根据梯度下降法的灵敏度的计算公式,抽样层获得的敏感性表现为下面的公式:

即偏差抽样层的更新公式,公式所示(10)。根据公式(3),偏差值更新可以获得:

4.2。指数动力训练算法

传统的梯度下降方法只传送一层之间的梯度误差,导致收敛速度慢的网络。提高学习速度是一个很好的方法来提高收敛速度。但它不仅提高了收敛速度,而且也会造成网络不稳定的问题,即“振荡。”面对这种情况下,文献[19)提出了动量方法,通过添加动量因子提高了收敛速度。文献[31日基于文献[]提出了自适应动量方法19]。然而,这些方法都没有考虑振动之间的关系,融合和动力。和动量因子不促进收敛和提高学习成绩。

本文应用误差指数函数的梯度调整动量因子的步伐。函数可以增加动量因子在平坦的地区,这可以加快网络收敛速度和减少动量因子误差曲线的陡峭的地区,可避免过度网络收敛。这种方法可以提高算法的收敛速度并避免振荡收敛过程。动量因子的更新公式如下公式: 的公式,,代表着体重的梯度误差。

5。实验和分析

在本节中,该算法的性能评估AVIRIS和防治高光谱数据集。总体精度、广义准确性和kappa参数,最三个重要的标准,是用来评估拟议的框架的性能。

5.1。数据描述

在我们的实验中,我们尝试和验证该框架AVIRIS和防治高光谱数据集。AVIRIS AVIRIS传感器获得的高光谱数据92年av3c是1992年6月。防治高光谱传感器收集的数据集被称为反射光学系统成像光谱仪(ROSIS-3)在帕维亚之城,意大利。特别是,我们使用印度松树数据集,并描述了印第安纳州,由224年145×145数据大小和光谱波段的波长范围0.4 - 2.510⁻⁶米。它包含了总共16个类别,如表所示1。其真实标记如图2。我们雇用的其他数据集的数据集,帕维亚大学的光谱波段数是102。9选择土地覆盖类,如图3。样品的数量为每个类显示在表中2。

为研究该方法的性能,实验组织一步一步。卷积核的影响的大小和深度网络分类结果首次进行了分析。然后,我们验证了动量指数训练算法的性能。最后,基于CNN框架进行了分类。

5.2。内核规模和深度的影响

内核的影响大小和网络深度的分类性能提出框架分析在这一节中。深卷积神经网络是由一系列不同的内核大小和网络训练深度下固定网络结构和算法参数。结果如表所示3和4。表3建议卷积核的大小影响较小的整体方法的准确性,更好的是符合尺寸的图像数据的特性。表4结果表明,更深层次的结构可以获得更好的分类精度。

5.3。指数动力训练算法

在本节中,我们验证了通用精度和算法的收敛速度。

我们选择自适应动量(31日和弹性动力32]的比较方法观察损失函数的迭代轮变化的培训目标。它可以很容易地看到从图4收敛点自适应动量是14日的收敛点弹性动力是8,和指数收敛点的动量是7。所以迭代的收敛指数动量是最低的时候,及其消费的训练时间也最低。

对于一般精度测试实验中,LeNet5神经网络(33)和标准多个神经网络(34)选择比较。精度结果如表所示5。从表中可以看出,相比之下,相应的培训模型标准的动量和自适应动量、动量指数训练方法可以在不同的网络提高分类精度。

5.4。与其他方法相比

5.4.1之前。与其他特征提取方法进行比较

我们验证的有效性提出从分类的特征提取方法,通过比较我们与其他经典算法特征提取方法,包括主成分分析(PCA)支持向量机,内核PCA - (KPCA)逻辑回归(LR),独立分量分析(ICA)支持向量机,非负矩阵分解(NMF) LR,和因子分析(FA)支持向量机。所有的逻辑回归分类器将有学习速率0.1和迭代训练数据的8000时代。结果如图5。结合支持向量机,实验表明,该方法优于所有其他特征提取方法和精度最高。

5.4.2。与其他分类方法进行比较

我们检查EFM-CNN-SVM框架的分类精度与spatial-dominated方法通过比较提出了框架,如径向基函数(RBF)线性支持向量机,主成分分析(PCA) RBF-SVM,和堆叠autoencoder——(SAE)逻辑回归(LR)。用光谱和空间信息在一起形成一个混合输入,利用深节中详细的分类框架3,我们得到我们所达到的最高分类精度。相同的实验参数设置超过100。结果如表所示6和图6。从表6,我们可以看到EFM-CNN-SVM方法在所有其他方法是更好的。和关节功能产生精度高于光谱特性而言,意味着性能。在图6,我们从视觉的角度分类精度。可以看出,该方法的分类结果是最接近理想的分类结果除了RBF-SVM和线性支持向量机方法。

6。结论

本文提出了一种高光谱数据分类框架基于深CNN特性提取架构。和一种改进的误差传播算法,提出了自适应动量指数算法,。实验结果表明,改进的误差传播算法快速聚合相比,同源误差自适应动量和弹性动量等优化算法。并提出EFM-CNN-SVM框架已被证明比PCA-SVM提供更好的性能,KPCA-SVM, SAE-LR框架。我们的实验结果表明,深层总是导致更高的分类精度,但操作时间和准确性是矛盾的。它表明,深层结构是有用的分类和高级spectral-spatial特性,提高了分类精度。当数据规模较大,提取的特征具有更好的识别能力。

相互竞争的利益

作者宣称没有利益冲突。

确认

这项工作是支持的国家863高技术研究与发展计划(2010 aa7080302)。