文摘
固有的高光谱图像光谱特征(HSI)数据确定,需要深入挖掘。卷积神经网络(CNN)模型的二维谱(2 d光谱)提出了基于深度学习的优点来提取特征和分类。首先,传统的数据处理方法,使用小的区域像素块或一维光谱向量作为输入单位带来许多异构的声音。2 d-spectrum图像方法提出解决问题和充分利用光谱值和空间信息。此外,一批标准化算法(BN)介绍解决内部协变量的变化引起的输入数据的分布变化,加快网络的训练。最后,Softmax损失模型提出了诱导输出之间的竞争和提高CNN的性能模型。恒生指数的实验数据集包括印度的松树,萨利纳斯,肯尼迪航天中心(KSC)和博茨瓦纳。实验结果表明,整个2 d-spectrum CNN模型的精度可以达到98.26%,97.28%,96.22%,93.64%。这些结果描述的精度高于其他传统方法。该模型可以实现目标分类精度和效率高。
1。介绍
高光谱图像(上学)通常是由数以百计的光谱数据通道在同一场景。上学可以提供连续数据在空间和光谱成像和光谱技术相结合。高光谱数据是重要的监测信息的地球表面,因为提供的光谱信息高光谱传感器增加分辨率目标材料的准确性,从而提高分类精度(1]。
起初,学者们主要使用人工提取的图像特征进行目标识别分类的遥感图像使用本地二进制模式,面向梯度的柱状图(2],伽柏过滤器(3]。然而,这种方法在处理高光谱数据是无效的维度的增加。因此,特征提取和分类器相结合,从而产生一个令人满意的分类效果。特征提取方法包括主成分分析(PCA) (4),独立分量分析(ICA) [5),和线性判别分析(LDA) (6)和稳健的主成分分析。分类器经历了一个过程从模糊再算法7),与深特征加权朴素贝叶斯8),和逻辑回归9支持向量机(SVM) (10]。支持向量机提高分类的性能通过扩展分类内核(11]。然而,这些组合方法证明以下很大的局限性。(1)特征提取采用线性变换从输入数据中提取潜在的有用特性。高光谱数据本质上是非线性考虑一个复杂的光散射机制(12]。(2)最传统的分类方法只考虑单层处理,这样可以减少学习的能力特性,不适合高维数据。
与多层神经网络(NNs)和隐藏节点比浅分类器更合适,如支持向量机,在构建一个HSI数据模型13]。得到,包括多层感知器(14)和径向基函数(15),研究了遥感数据分类。研究人员已经提出了大规模HSI semisupervised NN框架分类(16]。各种深NNs(款)根据系统架构开发和激活函数;这些网络包括深度信念网(DBN) (17),深玻耳兹曼机(18],AutoEncoder (AE) [19]。2014年,一个堆叠AE (SAE)用于铸铁的分类20.]。提出一种改进的基于稀疏约束的AE然后[21]。DBN是另一款模型,提出了2015年(22]。深度模型可以提取健壮的特性和优于其他方法的分类精度。
卷积神经网络(CNN) (23)使用本地接受领域有效地提取空间信息和分享重量极大地减少了参数的数量。cnn是用来提取空间的高光谱图像光谱特征分类(24),他们的性能比传统的支持向量机等分类器。此外,使用虚拟样本的方法提出了增强有限的标记样本在25]。一项研究提出了使用无监督pretraining贪婪层形成一个CNN模型(26]。然而,CNN应用技术的高光谱分类仍然是不完美的,和一些缺点,如容易饱和的培训梯度,分类精度低,和穷人模型泛化,应该解决。
上学在第三维度的光谱值大约是连续的,每个特性的曲线具有独特的光谱图,不同于其他班级。在传统的分类方法,一维光谱向量作为输入数据的最终形式(27,28]或邻近像素用于形成小区域像素块作为输入数据29日,30.]。虽然前者简化了深度学习网络训练的复杂性,它忽略了空间维度信息的光谱值在同一时间。后者多个像素组合到一个样本,介绍了非均匀噪声和加剧失踪的高光谱数据的问题。
与传统的有线电视新闻网方法相比,本研究设计一个2 d-spectrum CNN模型如下:(我)高光谱分辨率有丰富的光谱信息。传统的数据处理方法,使用小的区域像素块或一维光谱向量作为输入单位带来许多异构的声音。在本文中,我们将光谱值向量2 d-spectrum形象,这样所有CNN模型参数的优化(包括BN参数)是基于像素点的光谱值和频谱空间信息。提取光谱空间信息的目标完全可以实现在异构的声音也是可以避免的。此外,多级BN算法实现第一次和网络加速的影响是显而易见的。(2)十亿算法减少梯度消失的问题,介绍了动态加快训练速度款通过减少依赖的缩放和初始化参数。一个小面积的像素块被选为输入单元。刘等人。30.)利用BN的CNN算法。然而,引入非均匀噪声和浪费稀缺的样本会削弱BN算法在网络正规化和加速训练中的作用。(3)Softmax损失模型是用来代替结合Softmax回归和多项物流损失模型;因此,最后的输出层相互竞争来提高分类精度。实验结果表明,该CNN-based HSI分类模型的展品在恒生指数数据准确性和效率高。
2。CNN-Based分类模型
研究人员发现,人类的视觉系统可以有效地解决这一问题的分类、检测和识别,现代神经系统的快速发展。这种发展激励研究人员在生物视觉系统建立先进的数据处理方法(31日]。皮层细胞的人类视觉系统只受小范围,和接受细胞可以利用当地的图像空间相关性的。
CNN架构使用了两个特殊的方法,即当地接受域和共享的权重。神经元的激活值卷积的计算方法是用本地输入的重量乘以 ,在整个输入空间是共享的(图1)。神经元属于同一层共享相同的重量。使用特定的体系结构,如当地接受域和共享重量、降低训练参数的总数和促进发展的一个有效的培训模式。
完整的CNN架构由卷积和池层。卷积层交替与汇聚层,从而模仿的性质复杂和哺乳动物视觉皮层简单细胞(32]。在CNN,输入数据矩阵或与一个3 d空间结构张量,( , ),( , )和( , )代表输入数据的空间维度的大小,卷积核,分别和输出数据。卷积的通道是由内核特性 ,和代表了三维数据。 在哪里是输入数据,卷积过滤器,是输出数据。一维信号复杂的过滤器计算信号如下: 在哪里神经元和抵消吗的卷积核矩阵 。
池层通常是卷积后获得的层。最常见的共享功能是马克斯池。这个函数计算每个特性的最大响应通道中 地区。特征映射变得健壮的数据的失真和通过池达到一个高的不变性。池层也可以降低特征地图的大小,从而减少计算负担。
传统的CNN依法处理流程设计数据结构的特点,恒生指数(图分类任务2)。训练数据是通过向前传播,以确定实际产出,然后与真实数据标签的竞争。随机梯度下降法(SGD)是用于修改突触网络结构和参数,和几个迭代形成网络模型进行训练。测试数据输入到网络模型。输出特征提取得到的数据与实际数据相匹配,和竞争结果分类的输出模型。
上学的3 d数据达到数百人,和一个数值近似被认为是连续的。每个像素的曲线具有独特的光谱图,不同于其他类别,这个情节是由人眼难以区分。然而,CNN展示一个更好的性能比几个人的视觉方面。因此,本研究使用光谱标签来提高分类性能的CNN模型在上学。
3所示。提出CNN-Based HSI分类模型
3.1。BN
SGD用来训练神经网络在CNN培训。这种方法简单而有效,但应仔细调整模型参数。特别是学习速率和初始化参数优化模型的添加。这一步可以显著减少CNN的速度训练。整个网络应当符合新数据分布在网络层输入数据的分布变化,从而导致网络的训练速度下降和饱和梯度。如果非线性输入数据分布是确保稳定,然后非线性饱和问题的概率微乎其微,可以加速网络的训练。因此,BN算法来消除这种现象,加快网络的训练。
BN的算法,对每个隐层神经元的输入分布的区间值更接近于极限饱和区域通过非线性函数映射,被迫回到了正态分布的比较标准,均值为0,方差为1。因此,非线性变换函数的输入值落入区域,这是敏感的输入数据,以避免一个梯度消失的问题。最成熟的技术在早期的规范化操作是款美白;然而,美白每一层的输入会导致过度的计算成本和计算时间,并不是所有的微分。因此,BN用于两种简化方法。
第一步表明,零均值和方差归一化使用标量特性而不是美白。同时,输入和输出层的规范化。以下公式用于海军新闻维输入 每个维度正常化,预报值和方差可以计算出相应的批次。
原始的激活值对应于神经元通过减去相应的批处理转换的意思和方差除以 。如果输入神经网络层的正常化相当简单,然后层的表征能力降低。因此,BN介绍一对参数和每个激活值 ,哪个可以规模和翻译规范化输入
这两个参数是相似的训练和修改网络参数,以同样的方式。然后恢复模型的描述能力。当 ,它可以获得原来的激活值基于输出能力和恢复表示。即网络可以恢复功能分布由原来的学习网络。
第二步表示,神经网络训练是基于整个训练数据集。从理论上讲,整个训练数据集可以用来激活值正常化。然而,它不能用于SGD因为大量数据集的计算。BN介绍min-batch SGD和计算相应的均值和方差通过使用最小批量数据。如果一个最小批量数据存在,那么相应的大小 。只有一个激活的价值观被认为是由于每个维度的激活值归一化,而变量然后忽略。每一个有激活值。BN算法可以得到公式(5)。
的意思是和方差最小的批量数据定义如下: 在这和归一化后可以获得。 在哪里是一个常数(往往是0),以确保稳定的计算方差。
数据计算变得大而复杂的BN算法应用到CNN如果每个神经元规范化在每一层。因此,该算法是基于重量分享的想法,和激活的均值和方差值获得了整个地图。输入 ,输出 ,参数 ,和被定义为 在哪里 , , ,和代表输入和输出数据的长度和宽度,渠道的特点,分别和min-batch大小。我们明确定义输入和输出数组作为4 d数据批处理功能映射。地图输出的特点是由以下公式表示:
执行BN的每个隐层神经元的激活值,可以被视为一个附加操作层。它位于激活后的价值 获得和非线性激活函数之前,如图3。
拟议的BN算法具有以下特征在理论分析和实验验证。(1)一个大可以选择最初的学习速率,提高训练速度。(2)辍学可以删除和L2重量可以减少衰减系数。(3)局部反应正常化(LRN)可以被取代。(4)训练数据可以完全中断(即。,a sample is not frequently selected in each batch of training).
3.2。Softmax损失模型
将Softmax回归模型是一个传播逻辑回归模型在解决多类问题。以下部分的数据结构4.1,它可以获得以下回归函数的输出。
这个公式不是渠道和数量有限的特性是应用于所有空间位置以复杂的方式将线性预测转化为分类概率。线性预测结果的分类回归模型作为输入,和概率值(可能性),它表示数据属于不同类别的可能性,。将Softmax回归模型可以被看作是激活函数的指数形式的组合和规范化的操作符。分类损失函数 旨在比较预测与真正的类标签 。分类损失被定义如下: 在哪里 , ,三维数据的大小。一维向量代表类分数,代表一个真正的类标签。对数损失函数和对数似然损失函数通常用于逻辑回归,基于极大似然原理。因此,矢量表示后验概率 不同的类。损失函数的输出负对数概率是真正的标签。 在哪里将Softmax回归模型的输出,数值不稳定。一方面,得分应该与其他成绩吗 为了获得一个有意义的对数的损失。如果不是这样,那么公式的最小化(13)可以通过最大化 ,但真正的预测效果大于 。另一方面,将Softmax回归模型允许分数通过归一化因子竞争。本研究提出了将Softmax损失模型,它结合了计算模块对数回归模型和计算模块的损失成一个服务。
结合模块导致一个稳定的输出部分的价值x。通过结合对数与Softmax损失,损失模型自动使分数竞争 ,当 。虽然这个模型的最终输出结果类似对数损失函数,实验结果表明,将Softmax损失模型具有以下优势。(1)计算步骤最少的,而计算量很小。(2)数值梯度相对稳定。(3)竞争输出可以提高分类精度。
3.3。二维谱CNN模型
高光谱数据有一个小的像素总数,而单个像素具有丰富的光谱值。根据这2 d-spectrum方法提出,这将像素光谱向量转换成二维光谱图像作为CNN的输入数据。卷积网络可以充分利用不同的光谱值之间的空间位置信息来提高分类精度,如图4。网络采用多重卷积和马克斯池层交替。BN层,规范数据分布,加快网络训练,在一个插入,4和7层。然后将Softmax损失模型用于控制输出。2 d-spectrum CNN结构如图5。
4所示。实验结果
在这一章,我们首先描述中使用的数据集的实验。此外,BN算法和Softmax损失模型用于验证恒生指数CNN模型的分类性能。最后,该方法相对于其他类似的方法来确定2 d-spectrum CNN模型的优点和缺点。总体精度(OA)和Kappa系数作为性能度量为每个类型的分类精度(百分比)。错误和OA之间的数学关系
每个分类结果是平均超过10分,以避免任何偏差引起的随机抽样。所有的实验测试与NVIDIA GeForce桌面GTX 1070 8 g GPU, 16 GB的内存和64位的Windows 7操作系统使用MATLAB 2014 b。
4.1。高光谱数据集
在实验中,高光谱数据的网络模型包括印度的松树,萨利纳斯,和肯尼迪航天中心(KSC)数据和应用到新的数据集,博茨瓦纳。表1总结了四个数据集的详细信息。
数据6- - - - - -8展览的特点四个数据集。表2- - - - - -5列出相应的数据集的训练和测试样本数量和分配根据(火车)1:3(测试)。根据先前的实验,大大最小的训练数据将产生一个underfitting现象。标签1、7、9日和16日印度松树的数据集是不充分的。上面的标签分配样本根据3的总量(火车):1(测试)来避免underfitting和确保训练样本就足够了。
(一)
(b)
(c)
(一)
(b)
(c)
CNN网络的学习速率模型[1 e 03 5 e-04 1 e-05],相应的训练迭代次数是50,30日和20日和每批样品的数量是100。
4.2。BN性能验证
CNN的BN层添加操作来解决这个问题的修改造成的内部节点分布改变传统的CNN的输入数据。添加这一层可以解决培训饱和度和梯度消失的问题,大大提高训练速度,提高分类的性能。根据节4.1BN运营商层可以取代传统的辍学一层一层和当地反应正常化(LRN)和获得更满意的结果,如图所示9和表6。
(一)
(b)
(c)
(d)
表6表明辍学和LRN训练网络上的加速,防止过度拟合现象。然而,BN层操作训练加速和分类精度比两个领域的数据比较,和实验结果描述明显差异。图10表示错误的测试结果表6。
4.3。Softmax损失模型
CNN在这项研究中使用将Softmax损失模型在输出取代传统的Softmax回归和多项物流损失模型。表7比较了三种模型的分类精度。
图10是一个更直观的柱状图。四个高光谱数据实验的结果表明,将Softmax损失模型的分类精度最高,而多项物流损失模型。
4.4。与其他方法相比
该方法与近期作品相比,本研究在恒生指数分类研究。训练精度评价指标,即OA和Kappa系数评估网络模型的分类性能的重要标准。在表8,提出2 d-spectrum CNN模型相对于其他先进的深度学习的方法。的比较数据来源于工作胡et al。27基于ppf, CNN的数据从李的研究等。28]。的数据Band-Adaptive Spectral-Spatial(低音)净纸的架构是Santara et al。29日]。
数据11和12显示地面实况,训练集,测试集,印度松树和萨利纳斯和分类的地图。可以从比较的性能分类2 d-spectrum CNN模型的性能优于其他方法在不同的高光谱数据的整体精度和Kappa系数。
(一)
(b)
(c)
(d)
(一)
(b)
(c)
(d)
5。结论
本文提出2 d-spectrum CNN模型,增加了多级BN运营层HSI分类。输出使用Softmax损失模型的分类。此外,许多相关的因素包括迭代的数量,学习速度,输入数据的大小,和过滤器的大小和特性图。他们都将影响最终的分类性能。参数获得最佳的解决方案,并在实验中达到理想的效果。实验结果表明,CNN模型提出了提供了优秀的性能。培训过程收敛迅速,从而表明该方法可以应用于大型数据集。此外,高分类精度可以通过应用足够的迭代的数量和数据集。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突。
作者的贡献
Hongmin高和林烁的贡献同样应该考虑这个工作和co-first作者。
确认
这项研究是由中国国家自然科学基金(没有。61701166),项目国家科技支柱计划在“十二五”规划期间(没有。2015 bab07b01),中央大学基础研究基金(没有。2018 b16314),中国博士后科学基金会(没有。2018 m632215),国家科学基金会对中国青年科学家(没有。51709271),年轻的精英科学家赞助项目由中国科学技术协会(没有。2017 qnrc001)。