文摘

烟草在高原山区分散种植的特点,不平衡增长,混合/间作作物。很难使用面向对象的图像分析方法提取有效的特征来准确提取烟草种植地区。为此,深度学习特点自主学习的优点是依赖。烟草种植地区的准确提取方法基于深层语义分割模型的无人机(UAV)遥感图像提出了在高原山区。首先,烟草使用Labelme建立语义分割数据集。四的深层语义分割模型DeeplabV3 + PSPNet, SegNet, U-Net使用训练数据集的样本数据。其中,为了减少模型训练时间,MobileNet一系列轻量级网络是用来替换原来的骨干网络的四个网络模型。最后,预测图像语义分割由训练有素的网络,和均值交叉联盟(mIoU)是用来评估的准确性。实验结果表明,使用DeeplabV3 + PSPNet, SegNet,和U-Net执行语义分割71场景预测图像,获得的mIoU是0.9436,0.9118,0.9392,和0.9473,分别和语义分割的准确性高。深层语义分割方法的可行性从无人机遥感图像中提取烟草种植表面的验证,和研究为后续的自动提取方法可以提供一个参考的烟草种植地区。

1。介绍

烟草是高经济价值的作物,它扮演了一个重要的角色在国家金融积累和地方经济发展的一部分。在中国,云南主要集中烟草生产区域。2018年,烟草的种植总面积和总计输出占全国的38.97%和37.69%。它是中国最大的烟草生产基地(1]。但与此同时,烟草种植过程具有很高的风险,很容易受到自然灾害和害虫。因此,及时掌握烟草空间分布、种植面积、增长,产量和灾害损失,和其他的信息实现准确的烟草管理具有十分重要的意义,准确的生产评估,协助政府决策。其中,烟草种植面积的快速、准确提取是一个重要的先决条件好的烟草管理。

由于烟草种植面积和大型分布范围广,人工调查的效率较低,容易受到人为因素造成的错误(2]。遥感技术的出现和发展弥补了人工调查的缺点,和遥感技术已经成为烟草种植面积监测的主要技术手段。的技术和方法使用遥感图像监控烟草种植面积在过去的十年里取得了很大的进步。数据源的范围从介质和低空间分辨率卫星遥感图像(如陆地卫星,HJ-1)高空间分辨率卫星遥感图像(如SPOT-5,中巴地球资源卫星02 b, ZY-1 02 c, ZY-3) (3- - - - - -7从光学图像)和合成孔径雷达(8];一个平台范围从高空卫星遥感低空无人机遥感(9- - - - - -11];监测方法包括统计方法基于像素特征(5面向对象的方法(6,7,9];监测内容范围从区域各个烟草(12,13]。

因为云南属于低纬度高原地区,烟草种植面积小,空间分布分散、烟草和其他作物通常混合或套种3,4]。因此,很难准确地提取种植面积利用中低空间分辨率遥感图像,和小块很容易错过检测。然而,很难确保图像可以获得在特定地区和特定物候期利用高空间分辨率卫星遥感图像。无人机遥感已成为烟草种植面积监测的主要手段由于其灵活和高空间分辨率。面向对象的图像分析和深度学习是主要的高空间分辨率遥感图像的分类方法。然而,图像分割和特征提取限制开发面向对象的图像分析方法。目前,深层语义细分法已广泛应用于农业领域,取得了可喜的成果。例如,一个大型作物映射方法提出了使用多瞬时双极化SAR数据在文献[14),U-Net被用来预测不同作物类型。在文献[15),卷积神经网络(CNN)和霍夫变换被用来检测作物行无人机拍摄的图像。文献[16)使用深度学习框架TensorFlow为抽样构建一个平台,培训,测试和分类提取和映射基于DeeplabV3 +作物面积。总之,实现准确提取烟草种植面积在云南的高原,烟草的种植面积提取准确的通过使用四个深层语义分割模型,DeeplabV3 + (17],PSPNet [18],SegNet [19],U-Net [20.]。与此同时,降低培训成本,MobileNet系列(21)网络来代替四个深层网络的骨干网络。

2。数据和方法

2.1。概述研究的区域

研究区位于西洋县彝族,晋宁区,昆明城市(24°23 24°33′N, N′∼102°11′E∼102°22′E),如图1。乡面积160.32公里²的区别,复杂的地形,最高和最低海拔1223米,属于一个独特的三维立体气候。烟草种植是镇的支柱产业。

2.2。数据采集和预处理

用于数据采集的低空遥感平台是幻影4 RTK无人机,相机是fc6310r_8.8_5472×3648。获得当地的烟草数据,几个飞行腰带设计,其中一个是用作数据进行处理和分析。数据是Lvxi村,西洋彝族的国家。航空摄影时间是7月29日,2020年。路线规划如图2,数据缩略图显示在图3。图像的空间分辨率是0.027米,覆盖范围是0.1984公里²。UTM坐标系统区48和北半球横轴墨卡托WGS 84。

最初的无人机遥感图像处理PIE-UAV V6.0的图像匹配,图像对齐,相机优化,正色摄影校正、图像融合,马赛克来生成一个数字正投影地图。图像大小为19439×22081像素。

2.3。生产烟草的语义分割数据集

本文最初的DOM的形象是在批切成1280×720像素,和图片没有烟草覆盖被删除。剩下的238张图片包含烟草被包括在内。Labelme,一个图像标记工具,手动用于烟草单一类别标签,如图4。

2.4。语义分割的烟草

由于烟草增长(图的差异5(一个)(图),种植区域5 (b)),种植密度(图5 (c)(数据),种植环境5 (d)- - - - - -5 (f)),很难找到理想的高精度特性提取烟草从无人机遥感图像通过使用面向对象的方法。因为自学习功能的优势,深度学习不仅可以学习简单的特性也学习更抽象的特性。因此,本文使用深层语义细分法从无人机遥感图像提取烟草。

目前,有许多深层语义分割网络模型,包括充分监督学习图像语义分割方法和弱监督图像语义分割方法。然而,最薄弱的监管方法的性能仍然落后于完整的监督方法(22]。因此,本文采用完全受监视的影像语义分割方法。本文四个网络模型,DeeplabV3 + PSPNet, SegNet,和U-Net用于烟草的语义段无人机遥感图像。大大减少网络训练时间预测精度不受影响的前提下,本文使用了轻量级MobileNet系列模型(21)来替换原来的骨干网络的四个网络模型。其中,DeeplabV3 +网络采用MobileNetV2模型,和其他三个网络使用MobileNetV1模型;四个网络模型的结构如图6。

2.4.1。网络训练

为了验证的计算效率和效率轻量级骨干网络模型,一个中等配置硬件设备选择的处理平台。具体配置如下:英特尔酷睿i7 - 8700 4核处理器,NVIDIA GTX1070, 8 g GDDR5视频内存,和16 g DDR4记忆。DeeplabV3 +的训练环境,PSPNet SegNet, U-Net TensorFlow GPU版本1.13.1和2.1.5 Keras版本。因为本文的小数据集,训练数据的比例(包括验证数据)和预测数据是7:167训练图像(151训练图像和16个验证图像)和71年预测图像。和技能训练步骤如下:(1)设置参数:定义类的数量(类),学习速率(LR),批量大小(BS),和时代。图像分为烟草形象和监测图像,所以类定义= 2。为了验证其他参数的影响在时间效率和准确性,根据综合考虑实验平台和数据集,以U-Net网络为例,b值设置为2,4,6,8,LR值设置为1×10⁻²1×10⁻³和1×10⁻⁴时代值40、50和60,分别。表1显示了时间效率和准确性不同价值观下的三个参数。根据表1LR = 1×10⁻²b = 4,选择时代= 50。(2)下载文件:重量MobileNetV1和MobileNetV2重量文件被下载https://github.com/fchollet/deep-learning-models/releases。(3)破坏了训练数据随机:CNN时训练,虽然训练数据是固定的,由于minibatch培训机制,训练数据集可以随机模型的每个时代之前的训练。这样处理不仅会增加模型收敛的速度,也可以稍微提高模型的预测结果在测试集。(4)批正常化(BN) [23]:加快收敛速度的训练模型,在模型中培训、网络激活被minibatch规范化,这样结果的均值为0,方差为1。(5)优化器选择:为了减少训练时间和计算资源,优化算法,使模型收敛速度是必要的。亚当(24)培训优化器选择。每个参数的LR是动态调整的一阶矩估计和梯度的二阶矩估计亚当(24),所以参数更新更稳定。

图7显示了训练精度和测试精度的四种网络。从图可以看出6的训练精度和测试精度的四种网络有一个小缺口,和语义分割性能很好。

3所示。结果与讨论

培训网络获得的参数,用于语义分割的烟草种植面积从71年预测预报函数图像。为了验证语义分割的准确性,mIoU [25]和mPA [2571)是用来评估的总体精度场景图像;精度(26,回忆26],F1 [27],借据[25),和爸爸25)作为评价指标,定量地评估每个场景图像的语义分割精度。

假设有k+ 1类(0…k)的数据集,通常0代表了背景。每个指标的计算公式如下:

在公式(1)∼(7),我代表了我th类;TP是真阳性;FP是假阳性;FN假阴性;TN是真实的负面的。

Deeplabv3 + PSPNet、SegNet U-Net网络用于语义段71场景预测图像;mIoU和mPA得到如表所示2。从表可以看出2的两个指标,mIoU mPA,获得的结果通过使用四个网络比90%。结果表明,深度学习有很好的烟草种植地区的语义分割的性能。其中,U-Net网络mIoU最高和mPA,和语义分割结果最好的整体性能;PSPNet网络总体预测精度最低。的总体预测精度U-Net网络,Deeplabv3 +, SegNet网络有一个小的差别。

由于大量的预测图像,它不能被完全显示出来。本文选择六个图像为例数据,如图8(一个)- - - - - -8 (c)和9(一个)- - - - - -9 (c)。其中,烟草在图8(一个)生长良好,密集种植;在图8 (b),一些地区的烟草暴露太多,有类似于烟草作物光谱;在图8 (c)烟草的种植密度稀疏,增长是不同的;在图9(一个),有公路、烟草和杂草;在图9 (b),有建筑、道路、烟草和杂草,和一些烟草种植地区小;在图9 (c),有大面积的农作物烟草光谱相似。

从数据可以看出8和9和表3中使用的四种网络数据的示例1获得良好的语义分割结果。其中,U-Net网络五个评价指标得分最高,但也有一些山脊误测的烟草种植地区。PSPNet网络尤为明显比其他三个网络,和借据指数也是最低的。在示例2的数据,没有网络分数最高的五个指标。PSPNet网络分数相对较高和平衡;它还具有良好的性能不均匀曝光的场景。从视觉比较,可以看出有虚假检测Deeplabv3 + SegNet, U-Net网络;一些接近烟草作物光谱作为烟草误检测。虽然问题没有出现在PSPNet网络,一些烟草PSPNet网络中丢失。示例3的数据,没有一个网络取得最高的分数在所有5个指标。 In all four networks, some sparse areas of tobacco growth are missed, so the semantic segmentation of uneven growing areas needs to be further strengthened. In the data of example 4, the segmentation results of the four kinds of network semantics are good. The U-Net network scores the highest among the five evaluation indicators; in the Deeplabv3+ and PSPNet networks, the small tobacco planting area in the lower right corner was missed. In the data of example 5, the U-Net network scores the highest among the five evaluation indicators, but the performance of precision, IoU, and PA is lower than that of the first four scenes. The four kinds of networks have different degrees of missed detection, and U-Net has the smallest missed detection area. In the data of example 6, the Deeplabv3+ network scored the highest among the three indicators of Recall, F1, and IoU. It can also be seen from Figure9(我)Deeplabv3 +网络获得的结果更符合标记图像。有些山脊PSPNet标记为烟草种植地区的网络,和其他一些作物标记为烟草种植地区SegNet U-Net网络,但虚假检测区域小。

结合数据8和9和表3,可以看出良好的语义分割结果可以获得烟草种植地区使用四种不同的场景深度学习网络。但不同的网络仍有一定的差异表现为不同的场景。总共有30个分数为6的场景图像和5评价指标,其中U-Net有18个最高分数,DeeplabV3 + 6最高分数,SegNet有4个分数最高,PSPNet 2最高分数。因此,U-Net Deeplabv3 +比SegNet和PSPNet烟草种植地区的小样本数据集。然而,U-Net网络设备上的依赖是低于Deeplabv3 +网络,和操作效率更高。从表可以看出4的预测时间和培训时间U-Net网络并不比DeeplabV3 +网络,尤其是训练时间。

4所示。结论和讨论

4.1。结论

本文主要论述了应用潜力的深层语义分割方法自动提取烟草种植地区高原山区。使用四个DeeplabV3 +深层语义分割方法,PSPNet, SegNet, U-Net, 151图像训练,16图片验证,预计71年图像。实验结果表明,与传统的面向对象的图像分析方法相比,深层语义分割方法不需要特征选择和优化,具有较高的自动化和更好的普遍性。同时,与四个网络相比,在烟草U-Net网络语义分割的性能在一个小样本集是比其他网络和设备要求不太高,这是方便促进烟草种植地区深层语义分割方法提取。

4.2。讨论

深度学习的优势在烟草种植面积提取有效验证,但仍存在一些问题需要进一步研究:(1)结果表明,烟草种植地区之间的山脊是错误的。值得进一步研究是否提取精度可以提高通过添加字段边界信息。(2)杂草和作物类似的光谱特性很容易被错误检测。它值得进一步试图消除相同和不同光谱通过使用“shape-spectrum”共同特性。(3)语义分割多个作物需要验证。只分为烟草和监测图像语义分割,从而削弱样本不平衡的问题。如果各种作物的语义分割的同时,需要验证该方法的适用性。(4)种植生长较差的地区,或没有收获很容易被错过。形态学操作是一种有效的方法来处理洞。这是一个可行的选择使用形态学方法来处理这个问题引起的丢失检测可怜的增长领域。(5)有许多hyperparameter设置深度学习。不同的参数会有一定影响随后的时间效率和准确性。如何选择最佳参数仍然是一个相对困难的任务。(6)烟草种植地区的萃取效果不同空间分辨率下需要进一步核实,因为UVA的飞行高度决定了图像的空间分辨率。的地区有一个很大的下降,可能会有不同的烟草特性获得在同一高度。地形的影响下降对烟草的语义分割效果需要进一步研究。

数据可用性

原始数据没有公开,但它可以用于科学研究。其他研究人员如果需要可以发送电子邮件到第一作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项研究是由中国国家自然科学基金资助41961039和41961039号,和应用基础研究云南省科学技术厅项目,批准号2018 fb078。