基于光谱-空间卷积神经网络的高分辨率航空照片分类

摘要

单纯依靠光谱含量对航空照片进行分类是遥感领域的一个具有挑战性的课题。开发了卷积神经网络(CNN)，将航空照片分类为7类土地覆盖，如建筑、草地、密集植被、水体、荒地、道路和阴影。该分类器利用数据的光谱和空间内容，以最大限度地提高分类过程的准确性。CNN是用手工创建的地面真实样本从头开始训练的。该网络的结构由32个滤波器组成的卷积层，核大小为3 × 3，池大小为2 × 2，批处理归一化，dropout，以及带有Softmax激活的稠密层组成。通过灵敏度分析和验证精度，确定了体系结构及其超参数的设计方案。结果表明，该模型能够有效地对航拍照片进行分类。最佳模型的总体精度和Kappa系数分别为0.973和0.967。此外，敏感性分析表明，在CNN中使用dropout和batch归一化技术对于提高模型的泛化性能至关重要。没有上述技术的CNN模型表现较差，整体精度为0.932,Kappa为0.922。 This research shows that CNN-based models are robust for land cover classification using aerial photographs. However, the architecture and hyperparameters of these models should be carefully selected and optimized.

1.介绍

遥感数据(特别是红、绿、蓝三波段正射影像(RGB))的传统分类方法是一个挑战，尽管文献中已有一些方法取得了良好的效果[1，2]．背后的主要原因是遥感数据集具有较高的类内和类间可变性，与数据集的总规模相比，标记数据的数量要小得多[3.]．另一方面，卷积神经网络(CNNs)等深度学习方法的最新进展在遥感图像分类特别是高光谱图像分类方面显示出了有前景的结果[4- - - - - -6]．深度学习方法的优点包括从数据中学习高阶特征，这些特征通常比原始像素有用，可以将图像分类为一些预定义的标签。这些方法的其他优点是通过局部空间邻域的特征池从数据中获取上下文信息的空间学习[3.]．

许多研究人员已经采用了几种方法和算法来有效地对高分辨率航空照片进行分类，并生成准确的土地覆盖图。基于目标的图像分析(OBIA)等方法由于其在光谱和空间特征处理高分辨率图像方面的优势而受到广泛研究。在最近的一篇论文中，Hsieh等人[7]将OBIA与决策树结合，利用纹理、形状和光谱特征进行航拍照片分类。他们的结果准确率为78.20%，Kappa系数为0.7597。Vogels等[8]，将OBIA与随机森林分类结合纹理、坡度、形状、邻域和光谱信息，生成农业区分类图。他们在两个数据集上测试了他们的算法，结果表明，所采用的方法是有效的，在两个研究领域的准确率分别为90%和96%。另一方面，孟等人提出了一个新的模型[9]，他们申请obia基于航空照片和全球定位系统改善植被分类。结果说明了分类精度的显着提高，总体准确性从83.98％增加到96.12％，在kappa值中的0.7806到0.947。此外，Juel等人。[10]，表明随机森林与数字高程模型的使用可以实现相对较高的植被制图性能。在最近的一篇论文中，Wu等人[2]开发了一种基于像素决策树和基于目标的支持向量机的比较模型来对航拍照片进行分类。基于对象的支持向量机(SVM)比基于像素的决策树具有更高的准确率。Albert等[11]开发了基于条件随机场和基于像素的分析的分类器，对航空照片进行分类。他们的结果表明，这种技术对覆盖大面积均匀区域的土地覆盖类别是有益的。

2.相关的工作

CNN在电脑视觉，语言建模和语音识别等领域的成功使遥感科学家们在图像分类中应用。CNN在CNN中完成了几种作品，用于遥感图像分类[12- - - - - -15]．本节简要地解释了其中的一些工作，强调了他们的发现和局限性。

Sun等人[16]提出了一种结合随机森林和CNN进行分类细化的自动特征提取和分类模型。他们的组合模型可以获得较好的结果(86.9%)，并获得了比单一模型更高的精度。Akar [1]开发了基于轮伐林和OBIA的航拍照片分类模型。与温和的AdaBoost方法进行比较，结果表明，他们的方法优于其他方法，准确率分别为92.52%和91.29%。Bergado等人[17[]开发了基于CNN的深度学习算法，用于高分辨率城市航拍照片分类。他们使用了来自光学波段、数字地表模型和地面真实图的数据。结果表明，CNN在学习有区别的上下文特征，从而获得准确的分类地图方面非常有效，优于传统的基于纹理特征提取的分类方法。Scott等[13]应用CNN从高分辨率图像中生成了土地覆盖地图。其他研究人员，如Cheng等[12]使用CNN作为分类算法来理解航空图像中的场景。此外,Sherrah [14]和姚等人。[15利用CNN对航拍图像进行语义分类。

本研究研究了利用dropout和batch归一化等正则化技术开发的CNN模型，用于将航空正射影像分类为一般的土地覆盖类别(如道路、建筑、水体、草地、荒地、阴影和茂密的植被)。研究的主要目的是进行几个实验，探索CNN架构和超参数对使用航空照片进行土地覆盖分类准确性的影响。目的是了解CNN模型在架构设计和超参数方面的行为，从而产生具有高泛化能力的模型。

3.方法

本节介绍所提出的CNN模型的数据集、预处理和方法学，包括网络架构和训练过程。

3．1.数据集和预处理

3.1.1。数据集

为了实施当前的研究，基于该地区陆地覆盖的多样性识别了试验区。研究区位于马来西亚雪兰莪（图1）.

3.1.2。预处理

(1)几何校正．由于正射影像是由机载激光扫描(LiDAR)系统捕获的，因此必须对正射影像进行几何校正以校正几何误差。在这一步中，数据是基于从现场收集的地面控制点(GCPs)进行校正的(图)2）.有34个GCP从明确识别的点中确定（即道路交叉口，角和电源线）。在ArcGIS 10.5软件中完成了几何校正。几何校正的步骤包括在邻芯片中的变换点的识别，应用最小二乘变换，并计算过程的准确性。所选点均匀分布在该区域。之后，应用了最小二乘法（KARDOULA等，1996）来估计系数，这对于几何变换过程至关重要。在最小二乘解之后，使用多项式方程来解决 ， 并确定源之间的残差和均方根误差 ， 坐标和重新转换 ， 坐标。

(2)标准化．由于航空正射影像具有整数数字值，CNN模型的初始权值在0-1范围内随机选取，a对正射影像元值采用-score归一化处理，避免出现异常梯度。这一步是必不可少的，因为它改善了激活和梯度下降优化的进程(LeCun et al.， 2012)。 在哪里为图像中的最大像素值，和的均值和标准差是 分别为,规范化的数据。

３．２．该方法

3.2.1之上。概述

正射影像由 数字值, ， ，和是图像宽度，长度和深度。分类模型的目标是给出图像中的每个像素的标签给定一组训练示例，其与其基本真理标签。通常，公共分类方法利用光谱信息（不同频带的图像像素）来实现该目标。另外，在分类之前，基于对象的图像分析（OBIA）将输入图像分段为几个同种异性连续组的一些其他技术。此方法使用空间，形状和纹理等附加功能来提高分类器的分类性能。然而，方法，基于像素和obia都有几种挑战，如obia的第一个方法和分段优化中的斑点噪声。此外，两种方法都需要仔细的特征工程和频带选择，以获得高精度的分类。最近，已经提出了使用图像补丁和深度学习算法的分类方法来克服上述挑战。常见方法中是CNN。结果，该研究提出了一种基于CNN和光谱 - 空间特征学习的分类方法，用于对非常高分辨率的空中耳电极进行分类。 The following sections describe the proposed model and its components including the basics of CNN, the network architecture, and the training methodology.

算法中给出了所提分类模型的伪代码1．我们通过使用不同配置的几个实验开发了当前研究中的CNN模型。然后，我们设计了基于一些统计精度度量的最佳超参数和架构的最终模型，例如整体准确性，κ指数和每级精度。

3.2.2。CNN的基本知识

卷积神经网络(Convolutional neural networks, CNNs)或ConvNets是一种利用局部感受野和共享权值来模拟人类视觉皮层系统的人工神经网络。它是由LeCun和他的同事介绍的[18]．数字3.展示了一个典型的带有卷积最大池操作的CNN。CNN适用于分析图像、视频或数据的形式-具有空间组件的维数组。这种独特的特性也使其适用于遥感图像分类。典型的CNN架构由卷积、池化、全连接(即稠密)、逻辑回归/Softmax等一系列层组成。但是，为了避免过拟合，提高模型的泛化程度，还可以添加dropout和batch归一化等层。最后一层取决于问题的类型，对于二元分类问题，通常使用逻辑回归(s形)层。相反，对于多类分类问题，使用Softmax层。每一层都有自己的操作，并以这些模型为目标。例如，卷积层旨在通过卷积过滤器构建特征图，卷积过滤器可以学习允许利用图像属性的高级特征。这些层的输出然后通过一个非线性，如ReLU(整流线性单元)。数组数据中的局部值组通常高度相关，图像的局部统计值不随位置变化[19]．此外，池化层(或子采样)用于将语义上相似的特征合并为一个。最常用的子采样方法是计算特征图中单元局部patch的最大值。其他池操作是平均最大池和随机池。一般情况下，将几个卷积和子采样层堆叠起来，然后是稠密层和Softmax或logistic回归层来预测图像中每个像素的标签。

3.2.3。网络体系结构

CNN模型的架构是由单个卷积层、最大池操作、批处理归一化和两个密集层分类器组成(图)4）.这个架构产生了3527个参数，其中96个参数是不可训练的。卷积核保持为3 × 3，最大池化层的池化大小保持为2 × 2。为了避免过拟合，在卷积层和第一致密层进行Dropout, drop probability为0.5。小批量随机梯度下降(SGD)设置为32张图像。在带有Tensorflow后台的Keras框架下，整个进程运行在CPU Core i7 2.6 GHz和16gb内存ram (ram)上。在实验中，随机抽取总样本的60%进行训练，其余样本进行测试，总体准确率()，平均准确度()、Kappa系数()，每类精度(PA)用于评估CNN分类方法的性能(Congalton和Green, 2008)。模型各层的总结如表所示1．

3.2.4。训练模型

CNN模型培训，具有背部衰退算法和随机梯度下降（SGD）。它使用Minibarch的BackPropagation error来近似于所有培训样本的错误，它通过较小的后传播误差加速了重量更新的循环，以加快整个模型的收敛。运行优化以减少损耗功能（)(即分类交叉熵)表示为: 在哪里是归一化特性,和是CNN的参数，为Softmax层参数，为样本数，为土地覆盖类别的数量， 是由Softmax分类器(3.）， 和表示的可能性样本标签为，计算为(3.）.

在反向传播期间，(4)以适应更新和在每一层，哪里是通过将过去时间步骤的更新值的一部分添加到当前更新值中来加速SGD的势头，为学习速率，和梯度是关于和 ，分别为,表示SGD期间的纪元数:

3.2.5。评价

本研究使用几种统计精度指标来评估不同的模型，并在不同的实验配置下进行比较。这些指标是总体准确性()，平均准确度()，每级精度()和Kappa索引(）.它们使用以下等式计算[20.］: 在哪里为正确分类像素的总数，为误差矩阵中像素的总数，为班级数，行中正确分类的像素数(在对角线单元格)，是行中像素的总数吗 ，和列中像素的总数是多少 ．

4.实验结果

4．1.建议模型的性能

以下4.4.1。CNN辍学率和批量规范化

数字5在93个纪元的训练和验证数据集上显示了dropout和batch归一化的CNN模型的准确性。随着时间的推移，模型精度的增加和模型损失的减少表明模型已经学习了有用的特征来将图像像素分类到不同的类别标签中。从一个历元到另一个历元精度的波动是由于使用dropout在每个历元生成的模型略有不同。的 ， ， 该模型在验证数据集上的值分别为0.973、0.965、0.967。此外,表2显示每个类的准确性()由模型实现。结果表明，CNN模型可以对几乎所有的类进行分类，并且具有较高的准确率。阴影类的最小精度是0.894。在检查混淆矩阵(表3.)，结果表明，该类群有几个(~11个)样本被误分类为稠密植被，影响其分布 ．混淆矩阵还表明，有几个水体类样本被误分类为草地。

4.1.2。CNN模型与其他配置

CNN模型也经过训练，没有dropout和batch归一化，看看它们对分类图准确性的影响。表格4总结了不同配置CNN模型(即CNN + dropout + batch归一化、CNN + dropout、CNN + batch归一化和CNN)的比较结果。结果表明，采用dropout和batch归一化方法可以提高准确度( ， ，和)的比例几乎达到4%。批处理规范化的使用稍微好些(= 0.964,= 0.956,= 0.961)而不是直接使用dropout (= 0.958,= 0.956, = 0.954). Nevertheless, the use of either dropout or batch normalization could improve the accuracy of the classification compared to not using any of these techniques with the CNN model. The CNN model without these techniques achieved the following accuracies:= 0.932,= 0.922,= 0.922，表明该正则化方法在航空正射影像分类中的重要性。这些方法生成的分类地图如图所示6．此外，性能图(图7结果表明，该模型对训练数据进行过拟合，在应用于新数据时表现较差。总的来说，在训练和验证数据集上的实验结果表明，所提出的CNN体系结构是一个鲁棒且有效的模型，而使用dropout和batch归一化技术作为正则化方法，不仅仅是预测训练样本的标签，对于获得整个区域的高精度分类至关重要。

4．2.敏感性分析

CNN在正射影像分类时的性能很大程度上依赖于其结构和超参数。因此，除了理解模型行为之外，敏感性分析可以作为找到一组良好的参数和体系结构配置的必要步骤。数字8展示了不同参数(如卷积滤波器的数量、激活函数、掉落概率、优化器、批量大小和patch大小)对CNN验证准确性的影响。

对于卷积滤波器，灵敏度分析表明，更多的滤波器可以导致性能的提高。然而，如果模型没有适当的正则化，使用更多的过滤器会增加训练时间和过拟合训练数据。因此，该参数被设置为32作为最优设置，而不是探索更多的过滤器。通过这种配置，模型可以达到以下精度:= 0.956,= 0.945,= 0.947。此外，该分析表明，激活函数“ReLU”优于其他两个函数(“Sigmoid”和“ELU”)。利用这种激活，CNN模型可以实现0.956高于第二个最佳活化“Sigmoid”〜4.4％。Relu还有助于更快的培训和减少消失梯度的可能性。下降概率的实验表明，根据精度度量，不同的参数值可以提高CNN的性能。例如，结果表明，使用跌落概率为0.2可以优化模型和 ，模型实现了什么和分别为0.975、0.970。但是，对于这个参数，drop probability为0.3比为0.2的值表现得更好 ．此外，我们还研究了不同优化器对CNN的性能的影响，结果表明，与其他优化器相比，“Adam”在训练中是有效的。最高的(0.975)和(0.970)由“Adam”训练的CNN模型得到。而使用优化器“Nadam”训练CNN时，模型可以达到最高(0.974)。美国有线电视新闻网(CNN) (= 0.945,= 0.949,= 0.934)。并比较了4、8、16、32、64等不同批大小下CNN的效率。以32个批次为最佳(0.975)和(0.970)，而64个批次的产量最高(0.975)。

所提CNN中另一个重要参数是patch大小，patch大小为( ）.使用基于patch的学习进行正射影像分类的优势来自于数据的光谱和空间信息，与仅使用单个像素(仅光谱信息)相比，这些数据可以提高精度。为了解该参数并找出其次最优值，在不同patch大小( ）.从模型精度方面进行的统计分析表明，使用较大的产生更高的准确性(图8）.但是，在可视化分析分类图时，使用较大降低了分类图中特征的空间质量(图9）.因此，我们考虑 作为该参数的有效值，因为它达到了相对较高的测量精度 ， ，和以及高空间质量的特点。

4.3。培训时间分析

CNN模型的计算性能依赖于网络结构中dropout和batch归一化层的使用，以及其他超参数，如一些卷积滤波器和图像patch大小。表格5显示了不同配置下CNN模型的训练时间。当采用早期停止时，使用dropout和batch归一化的CNN训练在CPU上大约需要124秒。将批处理归一化从体系结构中移除产生了150秒的训练时间，而带有dropout的CNN需要75秒的训练时间。没有使用dropout和batch归一化的CNN模型训练时间最短(58.4秒)。另一方面，在不提前停止的情况下，使用200 epoch训练模型时，CNN + dropout + batch归一化比使用106秒的提前停止模型多花费了约230秒。另外，其他的模型(CNN + dropout, CNN + batch normalization, CNN)由于运行epoch的次数较多，也需要更长时间的训练。总的来说，该模型对研究数据的计算性能是有效的。然而，对于较大的数据集，这种模型的训练将需要较长的时间，因此，图形处理单元将是必不可少的。

结论

本文提出了一种基于CNN和光谱空间特征学习的航空照片分类模型。利用dropout和batch归一化等先进的正则化技术，该模型能够平衡泛化能力和训练效率。使用这些方法来改进CNN模型，再加上预处理(几何校准和特征归一化)和敏感性分析等技术，可以使这些模型在对给定数据集进行分类时具有鲁棒性。CNN模型作为特征提取器，给定训练样本，可以对分类器进行端到端训练。该网络体系结构能够有效地处理场景内部类间和类内的复杂性。达到的最佳模型= 0.973,= 0.965,= 0.967所有精度指标均比传统CNN模型高出约4%。较短的训练时间(124秒)验证了该模型对中小尺度遥感数据集的鲁棒性。未来的工作应该集中在大规模遥感数据集和其他数据源(如卫星图像和激光扫描点云)中缩放这种架构。

数据可用性

这些数据来自Biswajeet Pradhan教授领导的一个研究项目。本研究使用了非常高分辨率的航空照片。可根据要求提供数据。

的利益冲突

作者声明他们没有利益冲突。

参考

1. O。Akar，“通过无人机图像进行土地利用制图的旋转森林算法和基于对象的分类方法，”Geocarto国际第33卷第3期5, pp. 538-553, 2017。视图:出版商的网站|谷歌学术搜索
2. 吴强，钟嵘，赵伟，“基于像素决策树和基于对象的支持向量机方法在航空影像和机载激光雷达土地覆盖分类中的比较，”国际遥感学报第38卷第2期23, pp. 7176-7195, 2017。视图:出版商的网站|谷歌学术搜索
3. S. Basu, S. Ganguly, S. Mukhopadhyay, R. DiBiano, M. Karki，和R. Nemani，“DeepSat:卫星图像的学习框架”第23届SIGSPATIAL国际地理信息系统进展会议论文集2015年11月，美国纽约，第37页。视图:出版商的网站|谷歌学术搜索
4. 王刚，“基于深度学习的高光谱数据分类方法研究”，中国科学(d辑:地球科学)应用地球观测和遥感专题，第7卷，第5期6, pp. 2094-2107, 2014。视图:出版商的网站|谷歌学术搜索
5. 李伟，吴国栋，张飞，杜强，“基于深度像素对特征的高光谱图像分类”，地球科学与遥感学报，第55卷，第55期2，页844-853,2017。视图:出版商的网站|谷歌学术搜索
6. 赵伟，“高光谱图像的光谱空间特征提取:降维和深度学习方法，”地球科学与遥感学报第54卷第5期8、pp. 4544-4554, 2016。视图:出版商的网站|谷歌学术搜索
7. Y.T. Hsieh，C.T. Chen和J. C. Chen，“将基于物体的图像分析和基于知识的分类应用于ADS-40数字空中照片”，以方便复杂的林地覆盖分类，“应用遥感学报，第11卷，第5期。1、2017年第015001条。视图:出版商的网站|谷歌学术搜索
8. M. F. A. Vogels, S. M. De Jong, G. Sterk，和E. A. Addink，“使用黑白航空摄影、基于目标的图像分析和随机森林的农业耕地制图”，国际应用地球观测和地理信息杂志， vol. 54, pp. 114-123, 2017。视图:出版商的网站|谷歌学术搜索
9. 张旭东，“一种面向对象的面向对象分类集成算法在地形分类与校正中的应用”，《中国科学院地理科学与资源研究所学报(自然科学版)》遥感，第9卷，第5期。11, p. 1187, 2017。视图:出版商的网站|谷歌学术搜索
10. A. Juel, G. B. Groom, J. C. Svenning，和R. Ejrnaes，“利用基于目标的航空正射影像和DEM数据分析的随机森林模型在细尺度沿海植被分类中的空间应用，”国际应用地球观测和地理信息杂志，第42卷，第106-114页，2015。视图:出版商的网站|谷歌学术搜索
11. L. Albert，F. Rottensteiner和C. Heipke，“一个高阶条件随机场模型，即同时分类陆地覆盖和土地利用，”摄影测量与遥感学报，第130卷，第63-80页，2017。视图:出版商的网站|谷歌学术搜索
12. 程国栋，马超，周鹏，姚旭东，“基于卷积神经网络的高分辨率遥感影像场景分类”，《遥感学报》，2017年第4期2016 IEEE国际地球科学和遥感研讨会（IGARS）， pp. 767-770，中国北京，2016年7月。视图:出版商的网站|谷歌学术搜索
13. G. J. Scott, M. R. England, W. A. Starms, R. A. Marcum，和C. H. Davis，“训练深度卷积神经网络用于高分辨率图像的土地覆盖分类，”IEEE地球科学与遥感通讯第14卷第2期4, pp. 549-553, 2017。视图:出版商的网站|谷歌学术搜索
14. J. Sherrah，“高分辨率航空图像的密集语义标签的完全卷积网络”，2016,http://arxiv.org/abs/1606.02585。视图:谷歌学术搜索
15. W. Yao, P. Poleswki，和P. Krzystek，“基于深度卷积神经网络和logistic回归的像素标记的城市航空数据分类，”ISPRS - 摄影测量，遥感和空间信息科学的国际档案， vol. XLI-B7, pp. 405-410, 2016。视图:出版商的网站|谷歌学术搜索
16. “基于随机森林集合和完全连通条件随机场的城市高分辨率遥感数据分类，”国际地理信息杂志，第6卷，第2期2017年，第245页。视图:出版商的网站|谷歌学术搜索
17. J. R.Bergado，C. Persello和C. Gevaert，“次级乘法分辨率的航空图像分类的深入学习方法”2016 IEEE国际地球科学和遥感研讨会（IGARS）， pp. 1516-1519，北京，中国，2016年7月。视图:出版商的网站|谷歌学术搜索
18. Y. LeCun, L. Bottou, Y. Bengio，和P. Haffner，“梯度学习在文档识别中的应用”，IEEE论文集，第86卷，第86期第11页，1998年。视图:出版商的网站|谷歌学术搜索
19. Y. LeCun, Y. Bengio，和G. Hinton，《深度学习》，自然，第521卷，第5期。7553, pp. 436-444, 2015。视图:出版商的网站|谷歌学术搜索
20. A. Bogoliubova和P. Tymków，“圣彼得堡保护区土地覆盖分类的自动图像处理精度评估”，Acta Scientiarum Polonorum。大地测量与描述，第13卷，第2期1 - 2, 2014年。视图:谷歌学术搜索

版权

版权所有©2018 Maher Ibrahim Sameen et al。这是一篇发布在知识共享署名许可协议如果正确引用了原始工作，则允许在任何媒体中的不受限制使用，分发和再现。