深度信念网络城市人工目标的特征提取

文摘

降低高光谱图像数据的维数可以直接减少数据的冗余,从而提高高光谱图像分类的准确性。摘要深层信念网络算法理论的深度学习深入介绍提取成像光谱图像数据的特性。首先,原始数据映射到特征空间通过无监督学习方法通过限制玻耳兹曼机(元)。然后,叠加形成的深层信念网络将多个限制玻耳兹曼机和培训模型参数通过一层一层地贪婪算法。同时,数据降维的目的是达到了,原始数据的地下工程的特性将会形成。最后一步是连接输出将Softmax回归的深度特征分类器来完成模型的微调(英尺)和最终的分类。实验利用成像光谱数据显示深入深刻的信念网络特征提取的算法有更好的鲁棒性和可分性。它可以显著提高分类精度和高光谱图像信息提取中具有良好的应用前景。

1。介绍

高光谱图像分类是一种最先进的技术来理解遥感图像场景(1]。然而,分类构成许多挑战,因为图像维数高,波段之间的相关性高,光谱混合。高光谱图像通常是由成百上千的相对狭窄的带宽,提供足够的光谱和空间信息(2]。结合光谱方法和光学方法,每个目标像素的空间分散过程中空间成像,然后覆盖范围。高光谱图像的特点和分类方法,基于高光谱成像,提供可能性分类准确地表物体高(3,4]。

高光谱数据集是由数以百计的乐队和图像与光谱相结合。他们提供丰富的表面光谱信息和有无与伦比的优势在表面材料的异常识别和分类5]。增加数据维度和选择更多的数据样本,乐队信息模型的扩展增加冗余。虽然这提高了高光谱遥感图像的光谱分辨率,它会显著影响模型数据的处理速度,也降低了模型的精度,影响目标识别。但高光谱分辨率会影响休斯的发生影响(6]。高度的相关性和信息冗余之间的乐队,以及杂质在相同频谱图像和异物的问题,导致一个高度非线性的数据结构,也使得从成像光谱数据中提取信息困难(7]。因此,降维方法提取效率和稳定的低维特征表达原始高维数据。同时降低计算复杂度,提高分类精度对成像光谱图像已成为主要的研究问题之一在光谱图像信息提取(8]。

常用的降维方法包括线性降维非线性降维。线性降维方法主要有主成分分析(PCA) (9),独立分量分析(ICA) [10),和最小噪声分数(延长)11]。然而,高光谱数据的非线性结构,传统的线性降维方法不能揭示非线性结构中包含的数据集。近年来,非线性流形学习算法(NMLA)介绍了降低高光谱数据的维数。巴赫曼等。12,13应用改进的等距映射算法(ISOMAP) (14)和局部线性嵌入(米歇尔)[15)高光谱图像的降维算法,进一步提高图像分类的准确性。然而,目前的降维方法往往限于提取像素的浅的特点,这可能会限制分类器的性能。深度学习从数据提取特征的模式根据预先设计的特征提取规则,深入的特性的像素可以提取,达到降维的目的。

深度学习可以被看作是神经网络的延续和升华。深度学习逐步提取特征从低级到高级的输入通过刺激大脑的学习过程,最终形成理想的模式分类的特点来提高分类精度。2006年,辛顿和Salakhutdino提议使用深度信念网(DBN) [16)实现数据降维并分类。它本质上是使用深层神经网络数据的特征提取,称为深学习算法。典型的深度学习的方法包括限制玻耳兹曼机(元),深层信念网络(DBN)卷积神经网络(CNN),和汽车编码器(AE) [17]。新的深度学习方法包括递归神经网络(RNN),长期短期记忆(LSTM),并生成敌对的网(甘)。目前,深度学习已成为关注的焦点在机器学习和人工智能领域。它已广泛应用于图像分类18),目标检测(19)、语音图像识别(20.),和自然语言处理21]。

本文研究基于传统的成像光谱数据的降维方法,介绍深信念网络理论的基础上深入学习使用降维高光谱图像。传统的降维方法和深度信念网络提取高光谱图像信息相比,鲁棒性和分离性被认为是抽象的特性。最后,分类精度的最优方法是验证。

2。方法

2.1。限制玻耳兹曼机(元)

限制了玻耳兹曼机是一种典型的能源模型,如图1。假设有一个由两部分构成的图。一个是可见的层(即数据输入层),另一个是隐藏层。有所有可见层和隐层之间的联系,但是没有隐藏层和可见层之间的连接;也就是说,有完整的连接层间和层内没有关系。所有节点只能被理解为0或1;也就是说,所有节点是随机二进制变量。同时,完整的概率分布 满足波尔兹曼分布。这个模型是一个受限制的玻耳兹曼机(元)。元模型的能量函数,如方程(1),可以直接转化为一个免费的能源形式。配置的联合概率分布可以由玻耳兹曼分布和能源配置,如方程所示(2)。例如,方程(3)和(4)是条件独立的,因为没有在每一层节点之间的连接,即。方程(5)和(6),所以它是已知的 ,可以获得的 。同样的,可见层可以获得的h通过调整参数和平等的。在这个时候,可以表示为一个功能的输入数据。有一个概率隐层的节点1或0时可见层,如方程(7)。同样,有一个概率可见层1或0的节点提供了隐层时,如方程(8)。在这种情况下,自由能函数可以表示为公式(9)展示一组样本满足独立且相同的地理分布: 。它需要学习参数 ,和遏制对数似梯度方程(10)- (12)。对比差异(CD)算法用于更新重量,如方程(13)- (15)。

和分别可以隐藏或显示单位的单位。是连接可见层和隐层之间的重量,偏差的神经元可见层,然后呢是各自的偏见隐藏层。对于一个给定的状态 ,能量被作为一个系统被定义为遏制

疟疾是一个参数,都是真实的。当参数确定,基于能量函数,我们可以得到的联合概率密度分布 :

是归一化因子,和在所有可能情况下的能量。这个概念是由一个特定状态的能量除以总能量的总和可能状态如下:

当可见单元的状态,每个隐藏单元是独立的激活状态的条件。在这一点上,激活的概率隐藏的单位是

由于疟疾的结构是对称的,当给定的隐单元的状态,每一个可见的单元的激活状态也有条件的独立;也就是说,激活的概率可见的单位是

应该注意的是,在这两个公式(7)和(8),和是相应的偏差值。

以下假设只有一个训练成本,我们使用和概率分布,分别对数确定性函数是关于体重的连接 ,偏差可见层单元和隐层单元。偏移量的偏导数是

初的CD算法,可见单元的状态被设置为一个训练样本和隐藏的二进制状态计算单位。在确定所有隐藏单位的地位,的概率可见单位需要根据公式确定的值为1,导致重建可见层,这样,当训练数据值,为每个参数更新的标准 在哪里表示CD算法的学习速率, ;这是一个向量组成的 。

2.2。构造深度信念网络限制了层的玻耳兹曼机使用培训

的深层信念网络是一个叠加的多层限制玻耳兹曼机,它可以提取原始数据的深入的特点。图2这是模型。输入数据之间的联合概率分布和l-layer隐藏层在可见层方程(16)所示。获得的重量是通过使用无监督贪婪算法(GA)。首先,第一层的限制玻耳兹曼机是训练有素的修复第一层的训练参数。然后,第一层的隐层输出限制玻耳兹曼机需要作为输入的第二层限制玻耳兹曼机,和第一层的参数是先后培训了一层一层地。最后一个隐层连接到将Softmax回归分类器,和微调(英尺)是由监督完成的梯度下降法(GD)算法。

之间的联合概率分布的可见光和隐藏层顶端的元模型。

2.3。深度信念网算法的工作流

培训过程如图3。把训练样本集初始化后,有k可见层( )和隐藏层( )在遏制网络结构,可见层只是受到影响隐藏层。同时考虑到培训和学习速度,每个参数的初始化后,比较分散算法来更新训练参数。如果该算法是收敛的,那么输出,否则,继续训练参数方程(13)- (15)。

培训过程如图4。考虑到参数和隐藏层图的数量3初始化后,用图3培训的第一层元。这样,遏制的隐藏层的第一层是用来遏制的输入层第二层,一层一层地执行培训,直到最后一层遏制。输出最后一层和连接将Softmax回归分类器,这是微调(英尺)(图后输出4)。

3所示。数据和预处理

来验证模型的鲁棒性,两种不同的高光谱图像数据类型同时测试在这一节中。实验进行了两个公开的和广泛使用的高光谱图像:机载高光谱图像数据和靠近地面的数据被Hyspex成像光谱仪数据在帕维亚城,意大利。辐射校正等预处理后,和反射率反演图像像素样本与训练深层信念网络模型。调整和测试hyperparameters和训练参数同时,然后用传统的降维方法进行比较,分析最优模型的分类精度得到最优分类模型。

3.1。数据集

帕维亚城市形象是由反射光学系统聚集成像光谱仪(ROSIS-3)光学传感器在帕维亚城,意大利。这张图片是610×340像素,如图5。ROSIS-3传感器产生115乐队在430 - 860纳米的范围,其中103乐队除了吵闹的乐队是分类的选择。只有数据没有嘈杂的乐队可以有效地提取特征带。有八个类别在帕维亚城市形象,如图6和表1显示了样本数据的选择。根据3的比例:1:1,样品比例分为训练、验证和测试样本。训练样本用于调整模型的可训练的参数,验证样本用于改善hyperparameters,和测试样本用于测试模型的分类精度。

靠近地面的形象被Hyspex成像光谱仪(Hyspex)使用地面成像方法。这张图片是400×600像素,如图7。Hyspex传感器产生1600空间像素和108年乐队在400 - 1000海里。103年Hyspex传感器选择实验,乐队除了吵闹的分类能够有效地提取特征乐队乐队。有六个类别的样本光谱曲线,如图8和样本数据的选择如表所示2。

Hyspex成像光谱仪的主要优势是正确匹配点扩散函数和像素大小之间,低杂散光,温和的光谱梯形失真效应,偏振相关性低,灵敏度高、噪音低、采集速度和数据率高,实时响应性,和黑暗的补偿校正。

3.2。预处理

ROSIS-3预处理。Hyspex使用获得的原始图像的辐射校正成像校准分光计。执行的反射率反演是平场(FF)方法基于统计模型,和大型水泥地面被选为平场。

4所示。结果与讨论

4.1。元模型分析

的深层信念网络是由多层限制玻耳兹曼机,首先分析了单一限制玻尔兹曼机模型。根据hyperparameters选择意见给出文献[16),设计学习速率为0.1,和批量大小是20。的层数和隐层节点元模型需要由重复实验。通过固定其他参数和先后改变层的数量,最优层数。使用了相同的训练样本训练遏制与不同数量的隐层神经元到算法是收敛的。原样品的光谱曲线与重建光谱曲线在不同实验参数,和遏制的性能在不同隐层神经元的数量是直观的比较。在下面我们尝试讨论隐层单元的数量的影响和训练优化迭代模型的输入数据重建能力。选择一个代表性的水样,使实验结果更令人信服。图9(一个)显示了原始光谱曲线。固定的迭代的数量是100,隐层单元的数量(20、40、60、80、100)。训练后的模型,直到收敛,输出重构光谱曲线如图9 (b)- - - - - -9 (f)。因此,当隐层单元的数量是60,模型是最健壮。迭代次数的影响在限制玻尔兹曼机的性能。因此,选择有代表性的植物样本,原始的光谱曲线如图10 ()。固定的隐层神经元的数量样品60,和迭代的数量(100、150、200、250、300)。通过这种方式,我们将讨论在重建的迭代次数的影响能力的输入数据。输出的重构光谱曲线如图10 (b)- - - - - -10 (f)。可以获得,当迭代的数量是250,模型的重建能力开始稳定。

4.2。与传统的降维方法

测试的分类性能数据降维后和深层信念网络,这种方法的准确性与传统的降维方法。在实验中,我们选择一个深度信念网络模型包括两层限制玻耳兹曼机。第一层参数设置是60岁前一节中,第二层是最终提取的特征数量设置为(4,8,12,16,20.]。与此同时,传统的降维方法是主成分分析,最小噪声分离、因子分析(FA)和独立成分分析。所有的降维方法提取数量设置有相同的特性,并且连接到相同的分类器。在实验中,我们选择常用的支持向量机(SVM)和Softmax回归分类器进行比较分析。支持向量机是基于结构风险最小化的监督分类方法。它的目标是最大化的间隔。它使用一个有限数量的边界像素决定创建一个表面。通过这种方式,优化问题变成了一个凸二次规划问题。在核函数选择径向基核函数适用于高光谱图像分类、hyperparameterσ0.009内核函数,和惩罚参数是100。Softmax回归是一种通用的逻辑回归,进一步研究多目标分类的。multiclassification问题,如果是用来表示类别的数量,那么神经网络的输出层,也就是说,单位的数量吗l层, 。每个神经元的输出对应的概率属于类。将Softmax回归选择的学习速率为0.1,和优化迭代号码是500。ROSIS-3数据所示的实验结果数据11和12和Hyspex的实验结果数据图所示13和14。根据实验结果,将Softmax回归分类器更有利于降维后的特征分类,而其他特征提取方法比深层信念网络不太准确。

4.3。分析的隐层数的影响深刻的信念网络

的隐藏层数的选择深层信念网络决定了是否能提取适当的功能,起着至关重要的作用在最终分类的准确性。当层数太少,只能提取浅层的特性,从而影响分类精度。当隐藏层的数量增加,获得的抽象特性有更好的可分性,从而提高分类模型的鲁棒性。但是,当有太多的层,很容易使模型过度拟合。隐藏层的数量设置为(2- - - - - -6]。实现完整的降维的目的,顶级的数量单位设置为4。其他参数的设置符合限制玻耳兹曼的分析模型。结果如图所示15。

4.4。精度评价和图像分类效果

4.1.1。最优模型精度评价

与传统的降维方法相比,深度信念网络降维后具有更高的分类精度。此外,最优模型可以获得当隐藏层的数量是4;在每个隐层单元的数量设置为60-60-60-4。使用混淆矩阵来评估最优模型的分类精度和ROSIS-3混淆矩阵表所示3,Hyspex混淆矩阵见表4。

10/24/11。分类效果

用最优模型通过实验分析对整个图像进行分类。测试区域分类的效果如图16 (b)第二,测试区域图所示17 (b)。与最常用的支持向量机方法在高光谱图像分类、参数设置和以前是一致的文本。ROSIS-3如图的分类效果(16日)和Hyspex图所示(17日)。

5。结论

本文提出新的研究基于深层信念网络处理人工目标特征的提取在城市,高光谱图像。基于的研究传统的成像光谱数据降维方法,它充分考虑传统的成像光谱数据降维方法只提取像素的浅特征在特征空间往往是不稳定的,这限制了分类精度的提高。因此,本文介绍了深层信念网络算法理论的深度学习,不仅可以降低数据的维数也提取像素的深度特征。通过深层信念网络模型的实验分析,发现当使用四个隐藏层,隐层单元的数量是60-60-60-4,和连接到将Softmax回归分类器,可以获得最好的分类精度。相比传统的浅特征提取基于主维度分析,最小噪声分离、因素分析、独立分量分析,和其他降维方法得到;抽象的特征提取的深层信念网络有更好的鲁棒性和可分性,从而导致更好的分类精度和促进的表型分类器的性能。此外,当使用两种不同的数据类型测试,深层信念网络的分类性能最好,这充分证明了该模型具有广泛的适用性在成像光谱数据分类和信息提取。未来的研究将集中在模型参数的调整和选择得到更好的分类结果,以及深度学习理论引入成像光谱数据处理。

数据可用性

使用的数据来支持这项研究的结果包括在本文中。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究是由技术基础选择海外华人学者在四川(没有。10900 - 19 - bz08 - 014)和政府间国际科技创新合作项目(没有国家重点研究和发展项目。2017 yfe9124900)。

引用

1. 锅,z史,徐x”分层指导filtering-based合奏为高光谱图像分类,“IEEE地球科学和遥感,55卷,不。7,4177 - 4189年,2017页。视图:出版商的网站|谷歌学术搜索
2. p . d . Lu Mausel、大肠Brondizio和e·莫兰“变化检测技术,国际遥感杂志》上,25卷,不。12日,第2401 - 2365页,2004年。视图:出版商的网站|谷歌学术搜索
3. l .梁”,高光谱遥感图像分类基于ICA和SVM算法,”光谱和光谱分析,30卷,不。10日,2724 - 2728年,2010页。视图:谷歌学术搜索
4. g . Camps-Valls: Shervashidze, k . m . Borgwardt”与图形内核Spatio-spectral遥感图像分类,”IEEE地球科学和遥感信,7卷,不。4、741 - 745年,2010页。视图:出版商的网站|谷歌学术搜索
5. 我。常,高光谱影像:光谱技术检测和分类,卷1,施普林格科学与商业媒体,柏林,德国,2003年。
6. g·休斯,”意味着精度统计模式识别器,”IEEE信息理论,14卷,不。1,55 - 63、1968页。视图:出版商的网站|谷歌学术搜索
7. 我。常,高光谱影像:信号处理算法设计与分析新泽西州霍博肯市约翰·威利& Sons,美国,2007年。
8. l·o·吉梅内斯j·l·Rivera-Medina e . Rodriguez-Diaz e . Arzuaga-Cruz和m . Ramirez-Velez”集成通过无监督的空间和光谱信息提取和分类为同质对象应用于多光谱和高光谱数据,”IEEE地球科学和遥感,43卷,不。4、844 - 851年,2005页。视图:出版商的网站|谷歌学术搜索
9. i t . Jolliffe“主成分分析”,技术计量学,45卷,不。3,p。276年,2003年。视图:谷歌学术搜索
10. a . Hyvarinen j . Karhunen大肠Oja,独立分量分析,“在信息学的研究和控制,11卷,不。2、205 - 207年,2002页。视图:谷歌学术搜索
11. A . A .绿色m·伯曼·瑞士人和m·d·克雷格”转换订购多光谱数据在图像质量方面对噪声去除,”IEEE地球科学和遥感,26卷,不。1,第74 - 65页,1988。视图:出版商的网站|谷歌学术搜索
12. c·m·巴赫曼、t·l·安斯沃思和r . a . Fusina”提高多方面的大规模高光谱的坐标表示的场景,”IEEE地球科学和遥感,44卷,不。10日,2786 - 2803年,2006页。视图:出版商的网站|谷歌学术搜索
13. c·m·巴赫曼、t·l·安斯沃思和r . a . Fusina”在高光谱图像,利用流形几何”IEEE地球科学和遥感,43卷,不。3、441 - 454年,2005页。视图:出版商的网站|谷歌学术搜索
14. j·b·特南鲍姆诉De Silva, j·c·朗格弗德”全球几何非线性降维,框架”科学,卷290,不。5500年,第2323 - 2319页,2000年。视图:出版商的网站|谷歌学术搜索
15. s t Roweis k . l .扫罗,“通过局部线性嵌入非线性降维,”科学,卷290,不。5500年,第2326 - 2323页,2000年。视图:出版商的网站|谷歌学术搜索
16. g·e·辛顿和r . r . Salakhutdinov”,与神经网络,降低数据的维数”科学,卷313,不。5786年,第507 - 504页,2006年。视图:出版商的网站|谷歌学术搜索
17. k, l·贾、陈y和w·徐“深度学习:昨天、今天和明天,”计算机研究与发展》杂志上,50卷,不。9日,第1804 - 1799页,2013年。视图:谷歌学术搜索
18. a . Krizhevsky i Sutskever, g·e·辛顿“Imagenet分类与深卷积神经网络,”诉讼进展的神经信息处理系统美国NV,太浩湖,2012年。视图:谷歌学术搜索
19. 美国x Chen, C.-L。刘和学术界。锅,“卫星图像的车辆检测混合卷积神经网络,”IEEE地球科学和遥感信,11卷,不。10日,1797 - 1801年,2014页。视图:出版商的网站|谷歌学术搜索
20. d . c . Cireşan迈耶,l . m . Gambardella,的和j。施密德胡贝尔表示“深大,简单的神经网络的手写数字识别,”神经计算,22卷,不。12日,第3220 - 3207页,2010年。视图:出版商的网站|谷歌学术搜索
21. 即Sutskever, o . Vinyals诉勒,“序列序列学习神经网络,”诉讼的损害,蒙特利尔,加拿大,2014。视图:谷歌学术搜索

版权

版权©2020戴Xiaoai et al。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。