文摘
植物病害是作物产量降低的主要原因之一。随着计算机视觉和深度学习的发展技术,自动检测植物表面损伤图像采集的光学传感器已经成为及时作物疾病诊断的一个重要研究方向。在这篇文章中,一个炭疽病损伤检测方法提出了基于深度学习。首先,图像数据不足的问题由于苹果疾病的随机事件,除了传统的图像增强技术,Cycle-Consistent对抗网络(CycleGAN)学习本文模型是用于完成数据增大。这些方法有效地丰富训练数据的多样性,为培训提供一个坚实的基础的检测模型。本文图像数据的基础上,紧密连接神经网络(DenseNet)是利用优化功能层YOLO-V3模型的分辨率较低。DenseNet大大提高了利用神经网络的功能,提高了检测的结果YOLO-V3模型。实验证明,改进的模型超过快R-CNN VGG16网,原YOLO-V3模型,和其他三个检测性能最先进的网络,它可以实现实时检测。该方法可以应用于检测的炭疽病病变在果园苹果表面。
1。介绍
如今,在水果农业生产,大多数农业工程依靠水果种植者的体力劳动。大量简单重复劳动不仅消耗时间和精力,增加生产成本,也给农业生产带来更多的不确定性。果农民可能犯错误的判断农业由于缺乏知识和经验。错误的判断会直接导致错误的农业的实现,这将严重影响作物产量。精准农业技术的不断进展(1),传感器已成为作物信息的主要来源。作为传感器信息的主要组件之一,图像数据发挥了重要作用,获得农作物生长状态和判断作物健康状态(2]。随着视觉传感器的发展,农业生产自动化、智能化的提升,以及各种图像处理方法已被应用于农业生产(3,4]。
植物病害是作物产量降低的主要原因之一。及时发现植物病害和准确判断疾病的类型是决定性的先决条件采取相应的控制措施,减少农业经济损失。然而,由于果树的种植面积和冠高,很难发现病变在树枝上,叶,花,和水果。此外,水果种植有很大的不同的知识和经验,这可能会导致误解的疾病类型和错误的测量。不适当的农业决策导致劳动和资源的浪费,和植物疾病无法很好的得到控制。通常情况下,疾病改变植物的表面树枝,树叶,和水果,与健康的植物形成了鲜明对比。因此,它是可行的使用光学传感器采集的植物和水果图像,然后使用计算机视觉技术来处理图像,以便评估健康状态的植物和植物病害的类型(5]。李等人使用背景去除和检测苹果表面缺陷分割方法病变(6]。管道这种方法可以达到理想的结果,但更大的错误在果园环境照明,因为复杂的背景和变量。小博等人用摄像系统检测苹果表面损伤管道(7]。该方法采用multithreshold处理获得感兴趣的区域(RoI)的苹果表面损伤但不能损伤的类型进行分类。
同时推进机器学习技术,传统的图像处理方法逐渐取代方法如神经网络和支持向量机(SVM)。Ebrahimi等人使用支持向量机来检测昆虫在花8]。Arribas等人采用通用Softmax感知器神经网络训练图像提取特征,然后使用功能分类向日葵叶(9]。在我们以前的工作,一个BP神经网络提高了遗传算法应用于实现multithreshold图像处理。青苹果的区域图像分割,和病变区域提取了后续的支持向量机方法。的苹果进一步确认(10]。这种方法已经被应用于图像收集在果园但不能实现实时图像处理。
快速增长的计算和存储能力的GPU处理器,深度学习技术获得更多的人气。深度学习达到理想的性能在计算机视觉,因为它需要大量的数据量的优势,不需要手动提取图像特征。在农业、深度学习技术(11)也已广泛应用于农作物检测(12- - - - - -14和分类15],病虫害识别[16)和诊断(17),等等。在植物病害的分类、谭等人利用卷积神经网络(CNN)的表面损伤识别和诊断水果(17]。莫汉蒂等人使用AlexNet GoogleNet,和其他一些深度学习模型对26个植物病害进行分类。分类精度最高达到99.35% (18]。Ferentinos相比5深学习方法的分类性能如AlexNet和VGG 58不同植物疾病,和最高的精度达到99.53%19]。富恩特斯等人使用在改善快R-CNN模型检测9个不同的害虫和疾病,取得了良好的效果20.]。然而,由于快R-CNN [21]和其他R-CNN模型包括两个程序的地区建议生成和分类,模型无法实现实时检测。
YOLO[意思22- - - - - -24)结合对象分类和检测到一个回归的过程。它不采用地区建议但直接利用回归的过程来检测目标。因此,有效地加快了检测过程。最新版本YOLO-V3 [24]不仅拥有理想的精密和高速,也有一个神奇的小目标探测性能。所以这是一个辉煌的参考苹果损伤检测。然而,YOLO-V3模型尚未广泛应用于植物损伤检测。
一般来说,由于将采样的存在,卷积,和其他操作,功能图的大小在深层神经网络架构逐渐减少随着层次的增加,带来的损失特性的过程中网络传播和削弱了利用特性。YOLO网络共享同一个意思的问题。为了解决这个问题,紧密连接神经网络(DenseNet) [25黄等人提出的)将所有功能层连接在一起。在DenseNet体系结构中,每一层的输入包含前一层的特征图谱,并每一层的输出连接到每个成功的层。这些层通过深度串联组合在一起。传播DenseNet增强特性的应用。它有效地缓解消失梯度的问题和促进深度学习的性能模型。在我们以前的工作(26),DenseNet是用来替代YOLO网络意思的低分辨率功能层。因此提高检测性能。然而,这个任务的目的是检测苹果果园和图像数据的相对方便的获得,所以才开始采用基于图像生成技术在图像增强的过程。
在我们的研究中,一种改进YOLO-V3深度学习模型是用来检测炭疽病病变在苹果表面。因为苹果疾病的发病率相对随意,很难获得大量特定疾病的图片。为了克服这一缺陷,CycleGAN [27]深学习方法采用扩大数据集。CycleGAN可以学习一种类型的图像的特点,移植到另一个地方。这意味着,苹果损伤图像的特点可以提取并移植到健康的苹果图像。因此,患病的苹果图像放大的数据集。
剩下的纸是组织如下。节2介绍了图像数据预处理的方法,包括图像采集、图像增强和图像数据集生产。节3,YOLOV3-dense模型详细描述。节4,探讨了实验装置和实验结果证明本文提出的方法的有效性。最后,在节5我们的研究的主要内容进行了总结。
2。图像预处理
2.1。原始图像数据采集
如图1本文中使用,原图像包含两种类型:健康的苹果图像和患病的苹果图像。摘要炭疽病苹果图像作为患病的苹果图像样本。在苹果炭疽病的早期阶段,浅棕色用水浸小圆斑点出现在水果表面和迅速扩大。当病变的直径达到10 - 20毫米,许多小颗粒形成损伤表面,然后变成黑色,稍微在同心环模式。在潮湿的环境中,病变会逐渐变成深棕色。因为苹果疾病发生随机,很难获得大量的特定疾病的影像。本文的苹果图像收集在两个方面:果园现场收集和网上收集。健康的苹果图像相对容易收集。本文图像和140年500名健康苹果炭疽病苹果图像作为训练数据集收集CycleGAN模型。
(一)
(b)
(c)
(d)
(e)
(f)
2.2。图像数据增加
在这篇文章中,传统的图像增强技术和CycleGAN深学习方法用于预处理的苹果图像和扩大图像数据集。
2.2.1。使用传统的图像增强方法
在我们的研究中,三个传统图像增强技术,颜色、角度和亮度变换,用于处理原始图像。
(1)颜色转换。摘要灰色世界算法(28)是用于增强图像数据在颜色方面。人类视觉系统的颜色恒常性和可以获得对象的不变色特性变化的照明环境和成像条件,但成像设备等光学传感器没有这样的调整能力。灰色世界算法通常是通过减少照明对色彩再现的影响。摘要140年图像处理的灰色世界算法被添加到训练数据集。
(2)亮度变换。在这个研究中,训练集图像的亮度转换如下: 在哪里是原始图像的亮度值,处理图像的亮度值,随机选择在0.8至1.2的范围。然后140新结果保存到训练集。这个程序可以模拟不同光照强度下的成像情况,提高神经网络模型的适应性不同的光照强度。
(3)角变换。为了模拟更多的图像视角,四个操作,包括图像旋转90度,180度,270度和镜像,是随机选择来处理原始图像。那么140转换图像添加到训练图像集。训练集图像的角变换可以提高训练模型的鲁棒性不同成像角度。
2.2.2。图像增强使用CycleGAN深度学习的方法
生成敌对的净(GAN) [29日深度学习模式可以学习类型的数据的特性和生成类似的数据。GAN由生成模型和歧视模型。生成模型的目的是生成样本,由一台发电机越来越类似于真实的样品( )。通过获取真正的样本数据的分布,发电机可以产生类似于真正的训练数据样本噪声服从一定分布均匀分布、高斯分布。鉴频器( )二元分类器被用来估计的概率样本属于训练数据,而不是生成的数据。如果样品属于真正的训练数据,鉴别器将输出一个高概率,概率很低。
在培训的过程中,发电机和鉴别器交替优化网络,直到达到纳什均衡。这个时候,发电机可以创建真正的数据和样品相同的分布,和鉴频器可以识别生成的样本的准确性为50%。最后生成模型是用于生成新的所需数据。
CycleGAN [27]本文使用可以将一种类型的图像转换为另一种图像特征的提取和转移。这将非常有助于转移病变的苹果图像健康的苹果图像的特点,将健康的苹果图像转换为患病的苹果图像。CycleGAN原则可以概括为一种类型的数据转换成另一个,也就是说,有两个样本空间和 ;CycleGAN模型预计将在样品成样品由一台发电机。
为了避免失效造成的损失所有的照片映射到相同的图像 ,提出了“循环一致性损失”。周期的一致性损失方法假定一个映射函数可以变换图像在成图像在 。CycleGAN算法同时学习和 。它有望实现 和 ,也就是说,建立一对一的映射关系和 。
与此同时,一个鉴别器介绍了为 。CycleGAN的损失函数模型如下: 在哪里 的损失是和 , 的损失是和 ,和 是周期的一致性的损失。的期望CycleGAN模型如下:
摘要140年炭疽病苹果的图像作为训练集B和500名健康苹果图像作为训练集一个。的图片一个转换成图片吗BCycleGAN模型。如图2,健康的苹果图像转换为炭疽病苹果图像。
(一)
(b)
(c)
2.3。图像标签和数据集生产
为了更好的比较不同的检测模型的性能,最后制成帕斯卡VOC训练集图像格式。在训练集生产的过程中,我们首先调整训练集图像帕斯卡VOC鳞片。然后缩放图像统一编号。编号后,图像是手工注释,包括边界框标记和分类分区。摘要病变太小或非常不清楚不是标签,以防止这些样本减少神经网络的检测性能。
3所示。目标检测算法
3.1。YOLO-V3算法
YOLO算法经过YOLO[意思意思的发展22],YOLO-V2 [23],YOLO-V3 [24]。R-CNN需要地区的系列建议检测RoI图像中。与R-CNN相比,YOLO使用意思目标探测的回归算法来解决这个问题。YOLO生成边界框的坐标和意思每个类别的概率直接通过回归操作,显著促进目标检测的速度。
在训练阶段,YOLO模型首先将输入图像划分为意思 网格。网格负责地面目标检测的对象中包含的事实是它。范围和他们的信心成绩预测的网格,以及类条件概率。信心分数代表的精度预测范围当网格包含目标。当各种范围包含相同的对象,采用nonmaximum抑制算法来决定最突出的一个得分最高的信心。
的损失函数YOLO模型由三部分组成:意思协调预测误差,十字路口在联盟(借据)错误,和分类错误。损失被定义如下:
坐标预测误差定义如下: 在哪里是一个系数来调节协调预测误差。等于5。= 7和= 9。意味着目标是检测到的网格的边界框 。 预计边界框中心坐标和盒子大小的参数。 实际参数。
借据的错误被定义如下: 在哪里是一个系数调整借据错误。在我们的研究= 0.5。信心的预测参数分数和吗是实际的。
错误的分类如下: 在哪里表明的真正价值对象网格的概率属于类 。 预测的价值。
尽管YOLO主要意思提高目标检测的速度使用回归方法,它仍然提供了一个相当大的误差。解决这个缺陷,YOLO-V3带来锚箱和k - means聚类算法在其网络产生之前适当的界限。YOLO-V3翻新的设计网络结构的基础上YOLO-V2和利用卷积在输出层。进一步提高检测结果,YOLO-V3也采用批处理规范化,高分辨率的分类器,等等。多尺度预测也采用检测YOLO-V3模型的最终目标。因此,在小目标探测YOLO-V3达到更理想的结果。这提供了一种理论依据苹果在果园病变的检测。
3.2。提高了DenseNet YOLO-V3模型
在神经网络的训练过程,卷积的操作,将采样减少功能层的大小,导致功能丧失。更有效地利用这些特性,减少他们的损失,DenseNet使用前馈的方法连接每一层隔层。因此,层DenseNet接收前的所有功能层作为输入如下: 在哪里 拼接功能层的地图吗 。 是地图拼接的传递函数特性。
如图3本文改进了原始Darknet-53架构。DenseNet采用替代的功能层较小的尺度。功能是传播这些层时,他们将被重用在DenseNet由多个功能层,从而减少损失。
4所示。实验和讨论
4.1。评价指标
本文检测模型是查清了NVIDIA Tesla V100服务器上。以下指标用来评估检测模型的性能。
以下4.4.1。Precision-Recall曲线和分数
精度( ),回忆( ),和分数是必不可少的指标评估对象检测模型的性能。表示百分比的精密代表了预测精度,预测实际的目标。回忆表明实际的目标检测的比例在所有实际的目标。回忆越高,检测到更实际的目标。
的曲线可以被组合到一个二维坐标系统的精度和召回。在这篇文章中,分数还用于评估的性能检测模型如下: 在哪里表示精度的相对重要性回忆。记得有一个更大的影响分数的时候 。当 ,精度的影响更大。在这篇文章中,等于1。
4.1.2。借据
借据是评估的参数预测精度的边界框。借据验证检测性能评估之间的重叠率预测范围和实际边界。
4.1.3。损失价值
损失的价值是一个重要的标准来评估神经网络模型的收敛结果在训练阶段。本文通过比较不同改进YOLO-V3之间的损失模型和修改的YOLO-V3模型在训练阶段,改进模型的优点可以了。
4.1.4。平均检测时间
在本文中,我们比较了平均检测时间和分析几种模型的实时性能。
4.2。图像增强的结果
由于苹果疾病的随机事件,它是艰巨的收集大量的特定类型的病变图像。为了满足需求的图像数量深层神经网络训练,三个传统数据扩增方法,包括颜色、亮度和角度转换,实现。如图所示的图像增强性能4。
(一)
(b)
(c)
(d)
(e)
(f)
为了进一步扩大图像数据集,CycleGAN深度学习的方法是利用生成的苹果图像。CycleGAN模型的初始参数如表所示1。生成的图像如图5。
(一)
(b)
(c)
(d)
从上面的实验结果,可以看出CycleGAN可以学习苹果炭疽病和健康的苹果图像的特点以及通过培训和可以生成炭疽病损伤健康的苹果表面的图像。这允许生成更多的新图像,弥补缺乏图像数据由于苹果疾病的发病率低。CycleGAN的应用方法产生病变的不同形状,尺寸,和数量,大大丰富了图像数据集的多样性。为了与其他传统图像增强技术,应用CycleGAN本文将140名健康苹果图像转换成苹果炭疽病图像,以便保持相同数量的图像作为其他方法。最后的训练集的组成如表所示2。
4.3。YOLOV3-Dense模型的检测性能
在我们的研究中,采用DenseNet提高功能的使用效率。该模型的详细参数和结构如图所示6。首先,在模型训练过程中,新到的输入图像 像素。然后将采样层最低的和低分辨率DenseNet所取代。
在我们的研究中,结构 由批正常化(BN),纠正线性单元(ReLU),和采用卷积(Conv)实现非线性的计算 。在功能层的分辨率 , 64年由subfeature层。执行 非线性计算 ,然后 操作使用。也执行上述操作地图拼接功能 。剩下的操作都是在相同的方式完成的。最后,地图拼接功能 与的大小 继续向前传播。在功能层的分辨率 , 128年由subfeature层。上述功能层拼接和特性也进行了传播步骤,和功能层最终拼接 大小向前传播。最后,改进了检测模型预测范围在三个不同的分辨率和分类的类别边界框,从而实现损伤检测。
该模型的初始化参数如表所示3。
以提高模型的性能,输入图像的大小调整 像素。考虑到服务器的内存不足,批处理大小设置为8。为了更好地分析模型的训练过程中,训练步骤设置为70000。设置初始化参数后,YOLOV3-dense模型训练。当模型训练完成后,50的测试图像 像素是用来进行一系列的实验来验证该算法的性能。为了更好地观察边界框,我们用“1”替代“炭疽病的标签。“该模型的损伤检测结果如图所示7。
(一)
(b)
(c)
(d)
从图可以看出7,YOLOV3-dense模型提出了我们的研究可以检测出炭疽病在苹果表面损伤条件下的复杂环境和照明,而且还可以实现好的结果的检测小病灶。
4.4。比较不同的检测模型
更好地验证改进方法的优越性,我们比较YOLOV3-dense更快R-CNN和原始YOLO-V3。这些模型评估等几个方面损失曲线, - - - - - - 曲线,分数、检测时间、借据和图像测试结果。我们也比较该模型的检测精度与三种先进的模型(19]。
在训练阶段,YOLOV3-dense的损失曲线模型与YOLO-V3模型相比,如图8。
从上面的实验结果,YOLOV3-dense模型收敛迅速的损失曲线在2000年之前的步骤。2000步后收敛速度减慢,本质上是40000步后停止。最后,失去YOLOV3-dense模型约0.29,约0.43低于YOLO-V3的损失。它可以看出YOLOV3-dense模型具有较高的利用率比YOLO-V3模型的图像特征。
本文提出的模型较其他两个最新检测模型在测试集形象。 - - - - - - 曲线的几个模型如图9;其它检测指标如表所示4。
检测性能的三个模型如图10。在图1019个病灶是手动标记10病变检测到速度R-CNN模型中,16个病变检测通过YOLO-V3模型,和17病变YOLOV3-dense检测模型。检测结果50测试图像如表所示5。
(一)
(b)
(c)
(d)
Ferentinos [19)比较几种先进的深度学习方法的分类性能如AlexNet和VGG。在本文中,这些方法也用于识别炭疽病病变。这些模型的检测精度如表所示6。
它可以观察到的改善分数和借据,本文改进模型增强了检测结果与修改的YOLO-V3相比。改进后的模型显然先于R-CNN VGG16净的速度越快。YOLOV3-dense检测31 FPS的平均速度,并能够实现实时检测。如表所示6与其他三个模型相比,该模型检测精度最高。
4.5。数据扩增方法对检测结果的影响
为了获得更好的检测结果,颜色、亮度和角度转换和CycleGAN深度学习采用扩大训练图像数据集。评估的影响增强技术YOLOV3-dense模型,采用控制变量技术摆脱一个数据扩增方法每次和指标没有这个方法,如表所示7。
从上面的实验结果,删除生成的图像CycleGAN最大模型的对检测性能的影响。这表明CycleGAN生成的图像数据起着至关重要的作用在丰富训练数据集的多样性。与传统的方法相比颜色、亮度和角度转换,CycleGAN产生病变的新背景,纹理,和形状,这是很大的帮助来提高检测的可靠性模型。特别是,病变的检测图像收集在果园环境中,因为果园环境复杂和病变的分布和形状变量,患病的苹果图像生成的CycleGAN深学习方法可以弥补不足的缺陷训练集图像,以便检测模型可以实现更好的结果。
为了更好地评估改进模型的性能,我们比较炭疽病病变在原始图像的检测结果与转换生成的图像。本文另一个150年通过颜色的方法,生成图像亮度,和50角变换的图像在测试集。与此同时,50的苹果图像生成的CycleGAN深度学习方法随机选择进行测试。测试结果如表所示8。
从表可以看出8测试的检测结果图像生成的颜色转换比原始图像,而测试的检测结果图像亮度变换转换的稍差。这表明颜色变换有效地消除光照的影响,保留原来的颜色特征,减少检测的难度。虽然亮度变换可以模拟不同的光照强度和对检测性能有一定的影响。与上述两种方法相比,角变换对检测结果的影响相对轻微。YOLOV3-dense模型在本文中也可以实现理想的损伤检测结果的苹果CycleGAN生成的图像。
4.6。训练集的图像数对检测结果的影响
为了评估训练集图像数量的影响在YOLOV3-dense模型,10,50100年,200年,400年,500年、600年和700年图像随机选择从700年训练集图像构成不同的训练数据集。YOLOV3-dense模型是对这些数据集训练,和 - - - - - - 曲线, ,分数和借据的训练模型如图所示11和表9。
从上面的实验结果,与训练集规模的增加,检测该模型的性能逐渐提高。当训练集图像的数量超过400,模型性能增强的速度减慢,训练集的进一步扩张。
5。结论
在本文中,一个炭疽病损伤检测方法提出了基于深度学习。首先,针对图像数据不足的问题由于苹果疾病的随机事件,CycleGAN深度学习方法提取的特点生产健康的苹果和苹果炭疽病和炭疽病病变表面上健康的苹果图像。与传统的图像增强方法相比,该方法极大地丰富的多样性训练数据集和训练提供了丰富的数据模型。采用基于数据增加,DenseNet在我们的研究中来代替YOLO-V3的低分辨率层模型,进而利用特性的神经网络和提高检测性能模型。与快R-CNN相比,YOLOV3-dense模型的平均检测时间大大缩短,和实时检测可以实现。此外,该模型优于其他三个最先进的模型检测的准确性。
在未来的工作中,我们将在本文中提到的方法转移到更多的水果表面损伤检测问题,进一步检验该模型的性能。和的基础上确定病变的类型,将进行疾病的诊断阶段,这将提供一个指导相应的疾病预防和控制措施。
数据可用性
由于数据用于本文被self-collection收购,进一步提高数据集,数据集是暂时不可用。
的利益冲突
作者宣称没有利益冲突。
确认
这个项目是国家重点支持的研究和发展计划(批准号2017 yfd0701401)。