文摘

脐橙害虫和疾病的预防和控制是一个重要的措施来保证脐橙的收益率。针对速度慢的问题,主观性强,要求专业知识要求高,和高的识别成本脐橙病虫害的识别方法,提出了一种基于DenseNet方法和关注。权力机制融合(DCPSNET)脐橙病虫害的识别方法改进了传统的深层密集网络DenseNet模型实现准确、高效的脐橙病虫害的识别。由于难以收集数据脐橙害虫和疾病,本文使用图像增强技术来扩大。实验结果表明,在小样本的情况下,与传统模式相比,DCPSNET模型可以准确地识别不同类型的脐橙病虫害图像和识别的准确性脐橙病虫害的6种类型测试集是高达96.90%。本文提出的方法具有较高的识别精度,实现了智能识别脐橙病虫害,也提供了一种高精度识别的小样本数据集。

1。介绍

脐橙的输出在中国跻身世界顶级,但是,由于脐橙病虫害的影响,脐橙的产量和质量有不同程度的下降。可以直观地发现疾病和害虫的脐橙,因为他们经常影响水果的形状或颜色,叶子,茎,和其他地区的工厂1]。农民必须尽可能早地发现患病的部分和条件之前,脐橙种植园里的疾病的传播。传统的方法是,农民依靠人类专家进行侦察的种植园为了找到水果和识别受感染的疾病的类型。整个庄园的侦察是一项非常耗时的任务。此外,农民也必须支付专家,专家并不总是可用的。由于这些问题,研究人员一直致力于人工智能的应用脐橙的疾病检测的方法,和使用卷积神经网络(CNN)模型(2)来识别害虫和疾病已成为农业领域的新趋势。

近年来,自动图像识别技术已经显示出性能优良的植物病害的识别和分类。有很多方法来识别植物病虫害图像。Senthilkumar和Kumarasan3)提出了基于双边滤波预处理,最优加权分割(OWS),基于霍夫变换的特征提取(HT)和粗糙模糊人工神经网络(RFANN)基于脐橙。疾病的四种类型识别、黑点病,溃疡,绿色的疾病,和痂,准确率为96.52%,95.20%,97.88%,和97.20%,分别。Waheed et al。4)推荐一个优化密集CNN架构(DenseNet)来识别和分类玉米叶北叶枯病等疾病,常见的铁锈,灰色叶斑病和健康的叶子。在实验中,准确率达到98.06%。恋人et al。5]植物村三个番茄疾病使用的数据集,叶霉病、早疫病、晚疫病,报道一个注意力机制嵌入ResNet识别番茄叶疾病和整个分类器的精度。率达到了98%。Malathi和Gopinath (6)迁移学习方法应用于害虫的数据集通过微调superparameters和ResNet-50层模型,和ResNet-50优化模型的准确性达到95.012%。马列et al。7)开发了一种害虫识别和分类模型使用卷积神经网络(CNN)模型的分类精度可以达到90%。艾哈迈德·洛蒂et al。8]相比胡椒病虫害的特点提取通过传统方法提取的深度学习方法;基于深度学习特性的方法可以捕捉的细节和特征不同类型的胡椒疾病和害虫。Zekiwos和勃拉克9使用深度学习技术)开发了一个模型,CNN,改善棉花叶病虫害的检测。的k倍交叉验证策略被用来概括CNN模型。模型的准确性在棉叶病虫害的分类是96.4%。陈等人。10Mobile-DANet]提出了一种新的网络体系结构,确定玉米疾病,和模型实现了98.50%的平均精度在公开玉米数据集。

研究[11,12提出一些特征图生成的卷积是无用的。为了减少冗余特征对分类的影响,胡锦涛et al。(13和吸引et al。14]介绍了注意力机制抑制不必要的渠道。他们的方法比辍学(自适应15)和随机深度(16]。然而,额外的分支机构在每一个构建块增加网络的开销。有很多研究关注机制,通常可分为通道注意机制(CAM)和空间的注意机制(SAM)(吸引等。)14,17]。在一个网络的网络(18),两个连续卷积11层来提高模型的可分别用于当地的补丁。从另一个角度看,这种结构也是一个好的公路精炼功能映射网络。这项研究在19重用)首次提出的概念功能,缓解深层网络的优化困难。ResNet [20.)广义标识映射。DenseNet [21)进一步提高跳跃的频率连接。比ResNet DenseNet具有更好的演示功能,因为它能产生更高的精度参数较少。DenseNet直接连接网络层以确保最大的信息流。为了保持前馈特征,每一层从以前所有获得额外的输入层和传输自己的特性映射到所有后续层。由于致密层之间的连接模式,DenseNet达到良好的性能在图像识别和分类。

在本文中,一个简单而有效的图像识别网络名为DCPSNET脐橙疾病和害虫。网络的设计原则主要关注提高模型参数的利用率,和self-attention机制模块的基础上添加原DenseNet网络,所以网络可以更好的训练过程中注意病虫害。

3所示。数据采集和预处理

3.1。脐橙图像采集

脐橙的所有数据集病虫害本文来自江西省赣南地区,都被高像素手机现场不同的果园。总共1157件脐橙图像采集,并根据该领域的专家知识,形象可以分为健康形象和植物病虫害图像包括Sunguo,溃疡,叶子矿工,葡萄孢菌和炭疽。表1描述了五种的主要特征脐橙疾病和害虫。图1显示的例子,这些脐橙害虫的典型症状。

表1
脐橙病虫害的主要症状。
(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
图1
脐橙疾病的典型症状。(a)水果溃疡,(b)溃疡叶,(c) sunguo, (d)叶矿业公司(e)葡萄孢菌,(f)炭疽。
3.2。数据增强

脐橙的疾病和害虫的图像提取和咨询相关文献和数据主要结合专家知识,然后过滤等预处理技术在图像上执行。Das et al。22]提到磨的不平衡数据分类问题,调整和填充边缘增加图像的原始图像的类数据集规模较小的相对于其他类。其次,以多元化的形象,一个数据增强方案用于提高深卷积的一代对抗网络(DCGAN) [23),与传统方法如随机垂直或水平翻转,任意角度旋转、尺度变换,和颜色抖动产生新合成图像扩大在网络训练数据集,减少过度拟合。

数据集包括1157年脐橙叶片的图像:太阳果疾病的74张图片,225张照片叶溃疡疾病,238溃疡水果的图片,88图片的灰霉病,283张照片叶子矿工疾病,180年和69年炭疽病的图像,以及健康的叶子图像。脐橙图像数据集的数据分布不一致,和太阳的图像数量的水果病、炭疽病,灰霉病是相对较少而另一个类别去了。因此,为了丰富形象和防止过度拟合,本文使用范围内的任意角度旋转,图像翻译在±10%,翻转尺度变换范围内,颜色范围内的抖动,高斯噪声的图像,等等。数据增强技术是用来丰富的数据集。通过数据增强,原始图像样本的数量已经增长了17倍,每个类别都有不少于1000个样本。具体相关数据集如表所示2。

表2
数据增强前后的各种类型的脐橙单位(来源:张)。

除了保留一些图片来评估模型的有效性,根据提出的方法太et al。24),脐橙害虫数据分为训练集和验证集8:2,然后所有图像大小转换为224×224使用OpenCV技术和保存为jpg图像格式。

4所示。模型的建立

灵感来自注意力机制的性能,本文嵌入位置self-attention机制(PSAM)和通道self-attention机制(CSAM)模块串行的方式在网络上。通过学习渠道之间的关系和地位的重要性,指出输入功能,分类精度和微损伤特性的学习能力提高。

因此,模型的总体架构研究保留DenseNet的网络结构。总共四块密度模块和三个培训模块的设计。CSAM模块添加到每个密度块模块保留过渡层的结构。CSAM和PSAM系列模块添加密度块和过渡层之间,这叫DCPSNET网络架构。

4.1。DenseNet

DenseNet确保足够的层之间的信息传输和提高信息的传输效率和网络中梯度。每一层可以直接获得损失函数的梯度值,输入信号直接解决问题的梯度消失,降低了网络参数的设置。DenseNet连接的输入图像,每一层的输入输出的连接之前的所有层,以便在整个网络特征值可以重用: 在哪里 输出层的特点吗l,通过神经网络层l的非线性转换层我ReLU代表BN的合并操作,3×3 conv三个函数,在哪里 ,代表了拼接操作。所有的输出特性映射层 来 组合在一起的通道。密集的街区图所示2(一)。

(一)
(一)
(b)
(b)
图2
DenseNet的主要结构。(一)密集的街区。(b)过渡层。

为了使用将采样,DenseNet分为四块,密度和过渡层之间设置了不同的密度块实现将采样。摘要过渡层由BN, ReLU, 1×1 Conv,和2×2平均池,如图2(b)。

4.2。位置和通道的注意机制

注意机制是一种选择性机制,注意一些疾病和害虫的重要特征信息脐橙图像,而忽略其他不必要的信息。摘要位置self-attention机制(PSAM)是用来捕获特性图的空间相关性之间的任何两个位置,和所有职位的特点是通过加权求和汇总和更新。重量是由两个对应位置的功能相似。通道self-attention机制(CSAM)是用来捕获任意两个通道之间的通道依赖图。最后,每个通道图更新所有通道的加权和图表。CPSAM如图的总体结构3。


图3
CPSAM的主要结构。

从图可以看出3本文结合DANet位置(注意17],ECANet频道的关注[25],CBAM串行通道注意机制的集成模式(14),最后提出我们CPSAM注意力机制,首先使用PSAM探测目标的位置特性图,然后使用CSAM矿山通道图之间的相互依存,整个注意力机制是连接在一个字符串。首先, ,和功能图中生成网络PSAM模块的输入,然后发送到两个新功能层生成卷积图l和米, ,然后重塑 。然后,执行矩阵乘法米和l转置,将softmax层应用于计算空间注意图 。 在哪里 位置的影响吗 在位置 。越相似的特征表示两个位置,它们之间的相关性就越高。与此同时,特性F发送到卷积层生成一个新功能地图吗 ,这是重塑 。然后,矩阵乘法的转置之间执行 和 ,和结果是重塑 。最后,我们乘 尺度参数和使用特点l执行元素求和操作来获取最终的输出 。具体公式如下: 在哪里 被初始化为0,逐渐学会分配更多的权重。由此产生的功能V在每个位置的加权和特性在所有位置和原来的功能。因此,它有一个全局上下文视图和选择性聚合环境根据空间注意图。然后,功能映射 由PSAM生成模块用作CSAM特性映射的输入,执行和GAP操作。数学公式如下: 在哪里 代表相应的权重之间的关系 和 在功能映射中 ,和ReLU代表修正线性单位激活函数。方程(5)可以通过一维卷积来实现渠道之间的信息交互与卷积核的大小T。具体关系如下: 在哪里C1D代表一维卷积;有一个映射 之间的 和 ,一个指数函数2的基础是用来表示非线性映射关系: 在哪里 通道尺寸和吗 自适应内核大小。大小的关系T和 如下: 在哪里 表示最近的奇怪和参数 和 将2和1。总之,CSAM和PSAM都使用平均池计算输入功能 ,和CPASM的计算公式如下: 在哪里 代表卷积运算,PSAM代表位置self-attention机制,CSAM代表通道self-attention机制, 是地图输出特性。

4.3。网络的建设框架

卷积在第一层,通道self-attention机制(CSAM)模块嵌入,命名为第一层。在每个块的密度块,通道self-attention机制(CSAM)模块嵌入,名叫DCSAM屏蔽层。训练过渡层保留没有任何修改。每次过渡层后,CPSAM self-attention机制模块集成通道self-attention机制(CSAM)和位置(PSAM)是嵌入self-attention机制。图4描述DCPSNET的网络体系结构和表3显示DCPSNET的相关参数。


图4
DCPSNET架构。
表3
DCPSNET的主要参数。
4.4。损失函数

有很多损失函数卷积神经网络用于解决分类问题,如交叉熵损失函数、铰链损失函数,斜坡损失函数和中心损失函数。在不同的情况下使用不同的损失函数可以使模型学习更多的功能。如果损失函数很小,它表明,深度学习模型是接近真实分布的数据,然后模型具有良好的性能;如果功能损失很大,它表明,深入的学习模式不同于真正的分布的数据,然后模型的性能很差。摘要脐橙害虫识别是一个multiclassification问题。在网络训练过程中,交叉熵作为损失函数在网络训练,在下列方程表示为:

在这里, 交叉熵, 样品标签, 是一比特的有效样本标签的编码表示。考虑到样本不平衡数据集的个体样本太少,可以有效提高模型的准确性通过设置不同类型的重量比训练模型。结合方程(10),重量是添加到简化方程: 在哪里 的权向量对应的类别。本文根据害虫图像的不平衡, 。

5。实验结果分析

5.1。实验环境和模型参数设置

在本文中,我们使用PyTorch框架来实现实验操作系统Ubuntu 20.04.2 LTS,运行内存31.3直布罗陀海峡,AMD处理器@ Ryzen核心处理器95900×12×24日磁盘容量3.0 TB, NVIDIA RTX 3070 ti 8 g的显卡,并使用CUDA11.2和cuDNN作为支持。

目前,有很多方法来训练网络模型,包括随机初始化所有网络的权重也使用网络权重参数pretrained在其他网络。此外,为了进一步研究提出项目的性能,本文选择四个有影响力的卷积神经网络进行比较,即AlexNet [26],Vgg19 [27)、ResNet-18 densenet - 121。

在本文中,我们使用亚当交叉熵优化Kingma提出的损失函数和英航28训练优化模型。结合的优势AdaGrad RMSProp,亚当全面考虑第一次评估(梯度的平均值)和二次矩估计(梯度方差)的梯度和计算更新步骤。所示的步长是以下方程: 在哪里 一步, 的重量, 是类指数, 是学习速率, 是第一个时刻修正偏差的估计,然后呢 二次矩估计的修正偏差。

5.2。评价指标

常用的模型是评价排名前,前5准确率,(损失率,准确率,混淆矩阵,kappa系数等指标在图像分类任务。(描述最高的类别概率在最终的输出概率向量的预测类别。如果预测类别与真正的类别一致,预测是正确的;否则,该预测是错误的;前5描述了五大类最大的概率在最后的概率向量,在预测是正确的,只要真正的类别是包括在内。Kappa系数由混淆矩阵计算。

5.3。实验结果分析

网络的训练,批量大小设置为25,迭代次数设置为30,学习速率设置为10−4。本文四个经典CNN模型训练,进行一系列的实验的数据集。(如图的准确性5,(如图的损失率6。


图5
比较曲线(每个模型的准确率。

图6
每个模型的对比曲线(损失率。

从表可以看出430-epoch训练后,DCPSNET(和前5率最高,分别是94.275%和99.997%,最差的(AlexNet率仅为87.536%。在这篇文章中,空间复杂度是由模型的参数的数量,如表所示4;参数的数量的densenet - 121是最小的,和AlexNet是最大的,和DCPSNET的参数的数量是9.995米,超过3.034的densenet - 121。

表4
不同的方法对数据集的实验结果。

经过30迭代训练,五个网络保存的最优模型。227张照片果园病虫害的脐橙的场景被选为测试集。图7清楚地显示了每个网络的准确性和kappa值在测试集。精密的趋势是一样的,在桌子上4。测试该模型的准确性96.90%,kappa值0.962。

(一)
(一)
(b)
(b)
图7
比较图的准确性和kappa每个模型在测试集的价值。(a)测试精度(%)。卡帕(b)。

通过计算样本的数量每个网络的测试集,我们详细分析输出结果。通过计算精度、精度、召回和F1度量来衡量网络性能的脐橙害虫识别、定义如下:

在上面的公式中,真阳性(TP)代表图像准确分类的数量在每个类型;真阴性(TN)代表的数量准确分类的图像相关的所有类型,除了类型;假阳性(FP)表示的数量分类错误的图像相关的类型;假阴性(FN)的数量是不是所有类型除了相关的图片类型。

图8描述了识别结果的DCPSNET混淆矩阵测试,和表5由上述测量方法显示了结果。DCPSNET成功认识的大多数示例图像在每个类别在果园里的场景,和sunguo和健康的图片类别正确识别的准确性达100%;89年91年的溃疡样本正确识别,准确率97%;只有一个样本叶矿工被确认错误,和准确性为98.2%;17份样品中15被正确识别,准确率为99.1%;只有两种炭疽的13个样品标识不正确,精度98.7%。


图8
DCPSNET混淆矩阵识别结果。
表5
DCPSNET识别结果指标。

的分类模型可以通过激活图(Grad-CAM) [29日]。结果提供一个良好的视觉的基础。因此,对于进一步分析在这篇文章中,我们提取测试图像的一部分。比较实验的热激活各种网络如图9。它可以观察到,DCPSNET模型比其他模型更准确。是非常重要的判断的正确分类植物病虫害。


图9
各种网络的热激活的比较图。

6。结论

在这篇文章中,一个密集的网络DCPSNET注意力机制提出了识别脐橙害虫。实验结果表明,DCPSNET模型可以准确地识别大部分的脐橙疾病样本除了一些其他样品在果园里的场景。DCPSNET用于现货溃疡样本的识别精度为0.970,和叶矿工和灰霉病样本是0.982和0.991,分别。通过DCPSNET,大多数脐橙植物病虫害的准确识别,并取得了令人印象深刻的表现测试图像。这表明该DCPSNET模型识别各种脐橙害虫的重要能力,可以移植到其它领域,包括计算机辅助检测和在线故障评估。

相比之下,对于不同的疾病在同一工厂,也有个人识别错误。高杂波背景和不规则的光强度影响脐橙损伤图像的特征提取,也导致个人误分类。因为人工智能技术的发展可以从原始图像自动识别植物病害,是非常重要的使用数字图像识别和分类各种作物疾病提高疾病诊断的准确性。深度学习,尤其是CNN,可以识别的大部分视觉症状相关作物疾病有效的和有效的。基于效率的讨论和关注DenseNet机制,提出了一种新的DCPSNET网络架构。模型具有较高的准确性和小范围,可以用来识别害虫种类的脐橙。实验结果表明,该模型具有良好的性能在识别不同疾病的脐橙作物。对未来的工作,我们计划在便携设备上部署模型广泛的监测和识别脐橙病虫害信息并把它应用到更多的实际应用。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作得到了国家自然科学基金(62041210),“关键技术的研究对预测疾病和害虫的甘南脐橙基于移动互联网,”中国国家自然科学基金(61966002),“多核学习基于非线性套索及其结合深度学习收敛性研究”和北京Qianfeng网络科技有限公司,有限公司,2020年教育部合作教育项目(202002050031),“基于Java的混合教学改革SPOC。”