文摘
出生后深度学习,人工智能已经进入了一个蓬勃快速发展的时期。在这个过程中上升和增长,我们取得了一个又一个的成就。深度学习应用于水果目标探测时,由于背景复杂的识别,大型模型之间的相似性,严重的纹理干扰,和部分遮挡的水果,水果的目标基于传统方法的检出率低。为了解决这些问题,提出了BCo-YOLOv5网络模型识别和检测在果园水果目标。我们使用YOLOv5s作为图像特征提取的基本模型和目标检测。介绍BCAM(双向交叉注意力机制)之间的网络并添加BCAM骨干网和脖子YOLOv5s基本网络模型。BCAM使用重量乘法策略和最大重量策略建立更深的位置特性的关系,可以更好的协助网络检测水果水果图像的目标。培训和测试网络后,地图BCo-YOLOv5网络模型达到97.70%。为了验证的检测能力BCo-YOLOv5网络柑橘、苹果、葡萄、和其他水果的目标,我们进行了大量的实验BCo-YOLOv5网络。BCo-YOLOv5网络的实验结果表明,该方法能有效检测柑橘、苹果、水果和葡萄的目标图像,和水果的目标检测方法基于BCo-YOLOv5网络比大多数果园水果检测方法。
1。介绍
近年来,人工智能技术的发展提供了新的处理方法和先进的计算机视觉技术在各领域的1- - - - - -3]。我们也不断探索农业技术的新方向。智能农业的推广,农业智能化发展迅速。其中,机器人对柑橘、苹果、葡萄和其他水果采摘技术和水果疾病检测已成为一个研究热点4,5]。快速而准确的鉴定和检测水果的目标是实现自动摘水果具有重要意义,水果产量预测,智能管理果园的行业。水果的识别和检测目标的基本保证挑选采摘机器人的操作的有效性。因此,在自然环境中,如何准确有效地识别柑橘类水果和位置空间位置的关键技术是提高柑橘自动拣选系统的可用性。
近年来,水果目标探测的问题[6),提出了许多解决方案基于传统机器学习。熊等。7)使用k - means聚类算法段柑橘类的水果。根据图像分割的结果,果实位置确定。然而,这种方法的分割效果不理想时,环境是复杂的。传统机器视觉算法往往在鲁棒性差,在复杂的场景和水果的位置目标往往是不准确的。近年来,卷积神经网络已逐渐应用于农业领域的算法检测和逐渐表现出极大的优势。具有里程碑意义的算法包括R-CNN [8),快R-CNN [9],SSD [10有人知道由罗[],11]。贾et al。12)提出了一个面具R-CNN网络基于一个面具地区识别和部分重叠的苹果和使用一个完整的卷积网络(FCN)来生成一个面具来检测苹果的位置。胡锦涛et al。(13)提出了一个森林烟目标探测网络基于空间域的注意机制和PDAM-STPNET YOLOXL为基本模型。胡锦涛et al。(14)使用快速R-CNN提取番茄特性,识别和定位候选成熟番茄地区复杂的温室环境,和法官的成熟番茄果实。雪et al。15]改善YOLOv2 [16),提出了一种微型Yolo网络密集街区意思来检测和识别不成熟的芒果。田et al。17)提高了YOLOv3网络和使用改进的YOLOv3-dense网络检测的图像不成熟的苹果,臃肿的苹果,和成熟的苹果。实验证明YOLOv3-dense模型可以有效地检测苹果果实目标在不同的州和重叠的检测苹果果实目标在一定程度上。
解决网络中识别精度较低的问题,多数学者使用各种各样的注意机制具有不同特点来提高网络识别的准确性。陈等人。18)添加了一个双通道残余关注网络模型(B-ARNet)番茄叶疾病识别网络识别茄病病斑图片。他们的应用程序到8616年番茄图像表明,网络的整体检测精度约89%后添加B-ARNet注意机制。它证明B-ARNet网络中发挥了积极作用的番茄疾病鉴别。
然而,由于复杂的果园环境,是一个复杂的空间关系之间的水果和水果,水果和树枝,树枝和树叶的果树,使随机遮挡在水果、树枝和树叶。同时,光的不确定性,由于时间和天气的变化也改变了水果的特性。为了解决检测速度慢的问题,其他模型检测条件要求高,本研究提高了轻量级YOLOv5s网络模型和集成BCAM注意力机制模块来提高网络的能力来提取图像特征,提高水果目标检测的准确性。摘要BCo-YOLOv5网络模型提出了解决上述问题,实现更好的识别和检测目标的水果。
本文的贡献如下。
我们使用YOLOv5s作为图像特征提取的基本模型和目标检测。BCAM骨干网和颈部之间添加YOLOv5s基本网络模型。BCAM使用重量乘法策略和最大重量的策略建立更深的位置特性的关系,提高检测的准确性网络柑橘、苹果、葡萄等水果的目标。关注响应的部分功能在不同的方向图特性可以减少冗余,提高网络的特性不同维度的学习能力。
我们训练BCo-YOLOv5网络公共数据集和白手起家的数据集上验证BCo-YOLOv5网络。验证结果表明,该检测BCo-YOLOv5网络模型精度达到97.70%,分别。BCo-YOLOv5目标探测网络提出了水果的目标在复杂环境中可以有效地提高检测的准确性YOLOv5s基础网络,也可以有效地检测了水果或小目标水果。
2。材料和方法
2.1。数据采集
实验中使用的数据集来自数据集网站和果园集合。公共数据集包括苹果和柑橘类数据集从可可下载数据集(19]。254年和282年被选中作为标记的苹果和柑橘图像在可可公共数据集网站;266标记葡萄图片选择Winegrape [20.)公共数据集。
另一部分合作与中南林业科技大学。图像数据收集从经济森林水果生产,研究,研究基地共同建造的中南林业科技大学和长沙林业局。佳能相机模型EOSR,其图像像素是2400∗1600。我们使用相机的光学图像不同的果园作物。拍摄的背景是果园的复杂背景。这样的照片可以反映出很多复杂的情况的水果生长在果园里,以确保收集到的图像更具代表性。155、123和149的图像苹果,橙子,葡萄中收集真实的场景。然而,果实目标的图片收集在现实场景没有标志,所以我们的水果图片在每个图片数据库中通过标记工具。总共有1229标记图像在决赛中获得数据集。因为网络训练需要大量的数据集,我们用四种方法来扩展标记数据集:旋转、翻转、随机剪裁,亮度变换。总共有4916标记图像终于获得了在数据库中。 The annotated database will be used in the subsequent training and testing of the network. Table1展示了我们的数据来源和数据量。
2.2。BCo-YOLOv5网络
本文的基础上提高YOLOv5s提高水果的低精度检测当果实被树叶覆盖或水果的目标太小了。首先,我们融合BCAM骨干和后颈部融合网络特性。BCAM系统是用来重建注意力骨干和脖子。最后,改善BCo-YOLOv5网络训练,测试和验证,在白手起家的数据集。
2.2.1。YOLOv5s
如图1,YOLOv5s的结构分为四个部分:输入端,骨干网,脖子上网络,输出端。自适应锚箱计算模块可以适应不同的数据集和自动设置初始锚箱的大小。骨干骨架提取不同级别的特性从深度图像卷积。颈部网络层包括一个功能金字塔红外系统(21锅)和路径聚合结构。头输出终端是最后检测YOLOv5s的一部分,可以预测不同大小的目标。现在,我将介绍骨干和脖子的部分。
2.2.2。YOLOv5s网络收敛BCAM
注意机制(22- - - - - -24是机器学习的数据处理方法。注意机制现在添加到各种经典图像分类网络和目标检测模型。最直观的目的是提高网络关键特性的重点目标,减少网络低敏感领域关注的焦点。所以我们可以过滤掉我们不需要的图像特征。注意机制源于大脑的处理方法观察到的图像信号,当人类观察对象。当人们观察和识别目标,突出的部分目标往往会成为他们关注的对象而忽略一些全球和背景资料。总之,上面的注意机制采用观察机制,这种机制适用于机器学习。注意机制的诞生使机器学习有更大范围的改进方法和策略。多数学者有所改善注意力机制,以更好地实现分类、识别和检测图像中的对象。
因此,为了更全面识别和检测水果的目标在给定的图像,我们引入一个新的注意力机制,横向关注YOLOv5s基本网络机制。我们融合BCAM骨干和后颈部融合网络特性。使用注意协调机制重建骨干和颈部的注意可以作为连接前面和下面的之间的联系。在双向交叉感应模块,首先第一个两层BCAM模型旋卷整体形象,有效地提取,我肤浅的图像的特性。然后,BCAM分配水平和垂直加权系数注意每个特性。然后,BCAM使用加权乘法策略和最大匹配策略扩大横向和纵向权重系数分配在前面的步骤。最后,BCAM产生更深层次的图像深度特性通过卷积图像层和平均池。总之,BCAM可以更好地帮助检测和定位的基本网络YOLOv5s水果图像目标整体形象通过扩大功能权重系数和结构特点之间的关系。其次,也非常有利于提高细粒度检测网络,提高目标的检测率BCo-YOLOv5柑橘、葡萄和苹果的水果。
BCAM是一个三步的过程。首先,BCAM将生成图像的注意机制的重量在水平和垂直方向。其次,BCAM放大得到上层的重量获得第二层次的重量。最后,在上面的两个步骤获得的两层权重融合匹配和补充来获得最终的融合权重系数。图2是BCAM具体步骤的算法框图如下。
首先,相邻的注意机制在水平和垂直方向上提取生成一个双向图像一阶重量特性 。当每个主要生成图像重量特性,特征向量集在图 T,和相应的系数可以获得每个像素。注意系数是 。然后,每个像素的重量我在每个方向上像素分配J的特征序列。最后,将softmax [25]介绍了函数调整系数的关注在每个方向上的像素。
是一个权重系数分配给每个像素的注意机制。深特征提取由关注体重提取BCAM不仅可以有效地反映像素之间的互动,而且方向特征降维得到的高对称性,这使得网络更有利于提取柑橘类的完整和有效的功能,苹果,葡萄和其他水果图片。
第二,水平和垂直重量特性增加获得第一个中等体重 。重量的公式乘法策略如下:在方程(2),表明体重乘法策略可以挖掘深度特征信息。权重系数是延长乘以最低罚款。体重乘法可以进一步放大的影响权重系数。自从系数小于1,系数越小,结果越小。这种方法可以进一步减少的重量系数小,抑制模糊特性的重量。此外,我们使用水平和垂直的重量特性获得第二次要形象通过最大重量体重的策略 。最大重量的公式策略是方程(3)所示。最大的特性被认为是一个有效的特性,和最大特性是与最小特性α添加时间。在α值的范围是0到1。实验证明,当α为0.3,最大匹配策略有最好的效果。最大匹配策略的过程中,最大价值的主要因素。然而,我们仍然把另一个最小特性获取全面的功能。补充缺失的小功能,
最后,功能C垂直于水平的重量是融合和匹配获得的最大价值;图像的重量系数在不同的方向与综合特征信息融合在BCAM通过连接函数。
3所示。结果
为了分析在水果BCo-YOLOv5网络目标探测的有效性,我们设计了实验比较不同模型的有效性。然而,由于没有明确标准和描述特定代码和数据分割的模型,我们必须独立复制他们的模型,我们收集的数据集进行比较实验。在对比实验中,不同模型的测试集是完全一致的。这部分包括实验环境、实验设备和其他不同模型之间的比较实验BCo-YOLOv5网络。
3.1。实验环境
本文编辑、编译和运行BCo-YOLOv5网络提出了合作实验室。代码的编程环境是Python3.7 PyTorch。仿真实验的硬件环境是谷歌云磁盘GPU和windows10(64位),32 GB的系统内存。
3.2。实验设置
白手起家的数据集使用本文包含三种水果:柑橘、苹果和葡萄。我们验证的检测效率网络数据集三种水果。输入图像的大小是224∗224。这可以提高图像处理技术的效率,减少了训练时间和分类模型。在网络的训练,超参数的选择是件费时费力的苦事。摘要superparameters BCo-YOLOv5网络如表所示2。亚当(26]本文的模型中优化器使用。实验的批量大小设置为64,动量参数设置为0.9,时代号码设置为200。200年为每一轮迭代,和一个验证每1000次迭代。重量衰减值 。第一个50时代的初始学习速率设置为0.001,和过去10时代的初始学习速率提高装配速度设置为0.005。
3.3。实验和分析结果
3.3.1。Self-Comparison测试
本文选择的召回率、准确率和F1分的评价指标来验证模型的性能。F1分是测量精度和召回的函数,和它的计算公式如下:
在公式(5),P代表网络的目标探测精度(本文的识别精度柑橘、苹果、葡萄、和其他水果目标)R代表网络的召回率。精度的评价指标是指每个正确检测率的平均值果实目标检测样品。TP在方程(5)表明,预测值是积极和实际值是正的。从的角度计算公式,F1值加权平均模型的精度和召回率的模型。的上限的计算F1值是1,下限是0。越高F1 BCo-YOLOv5价值网络,BCo-YOLOv5模型的性能就越好。
本文比较YOLOv5s BCo-YOLOv5改善网络,包括召回,精密,F1的分数。
表3显示了召回率的比较,精度F1得分YOLOv5s模型之间的(原始网络之前添加BCAM模块)和BCo-YOLOv5 BCAM后网络。比较实验结果表3表明,与原YOLOv5s网络相比,相对应的检测精度和召回率BCo-YOLOv5网络增加了6.83%和6.67%,分别F1值增加了6.77%。改进的地图BCo-YOLOv5模型增加了7.39%到97.70%。上述数据表明,改进的基于YOLOv5s BCo-YOLOv5模型达到了实验的预期水平,高于之前的基础网络的改进。证明添加BCAM注意力机制可以有效地提高目标探测能力的水果。
3.3.2。BCo-YOLOv5模型之间的对比实验和其他网络
为了比较BCo-YOLOv5模型与现有的检测性能目标探测模型。我们比较R-CNN目标探测网络模型,快速R-CNN, R-CNN更快,YOLOv3, YOLOv5s, YOLOv5l YOLO近年来一系列BCo-YOLOv5意思。记录每一个模型的数值结果评价指标表4。
与BCo-YOLOv5模型和其他模型相比,BCo-YOLOv5模型在本文提出的映射通常高于其他网络。与R-CNN相比,快速R-CNN YOLOV3 R-CNN更快,和YOLOv527)网络地图的价值我们BCO yolov5模型增加了18.39%,15.16%,10.56%,7.67%,3.07%。这表明果实目标探测能力摘要BCo-YOLOv5模型的构建是高于其他常见检测网络。其中,BCo-YOLOv5模型的模型尺寸小于YOLOv5l。与添加BCAM BCo-YOLOv5模型,其识别的准确性和识别速度高于YOLOv5l。其次,BCo-YOLOv5模型的模型尺寸大于YOLOv5s。BCo-YOLOv5的结构模型是更复杂的比YOLOv5s。提取特征的能力是高于YOLOv5s,识别精度也高于YOLOv5s。因此,BCo-YOLOv5的价值模型在当前神经网络模型验证。
3.3.3。可视化的部分测试结果
可视化自建的测试结果数据集的一部分,和测试结果如图3。由于阻挡果实目标的现象和密集的数据集内的水果,网络容易错过阻挡水果目标的检测和错误检测和密集的水果。根据检测到的视觉结果检测网络摘要BCo-YOLOv5网络模型的检测效果很好,而且没有错过了检测和错误检测。有效证明BCo-YOLOv5可以解决问题所导致的漏检和假检测水果的遮挡目标,过于密集的水果。它显示了BCo-YOLOv5网络的优势。
4所示。结论
BCo-YOLOv5网络模型提出了使用YOLOv5s作为特征提取的基本模型和目标检测。其次,BCAM注意力机制添加YOLOv5s模型的支柱和脖子之间网络提高本地相关特征提取和方向特征提取的图像。所以我们可以多注意剩下的水果目标后闭塞,以避免损失的阻挡目标的检测。根据比较BCo-YOLOv5网络和其他网络之间的实验结果,该方法可以有效提高果实目标探测的准确性和水果比其他网络目标检测。另一方面,根据BCo-YOLOv5网络的泛化实验结果在公共数据集,它表明BCo-YOLOv5网络不仅有良好的目标探测效果我们白手起家的数据集,但也有一个理想的检测影响其他类型的物品在可可数据集。它也证明了网络具有良好的泛化能力和具有良好的发展前景。
数据可用性
在这项研究中提出的数据都可以在请求从相应的作者。由于部分数据没有公开的作者的分歧。
的利益冲突
作者宣称没有利益冲突有关这篇文章的出版。
作者的贡献
Ruoli杨和Yaowen胡锦涛同样贡献了这项工作。Ruoli杨提出了方法,写了初稿,概念化的研究,负责数据管理,提供软件,负责数据采集、调查研究,模型提供指导。你们姚验证研究,负责项目管理。Runmin刘负责形式分析。明高可视化研究,审查和编辑稿件。
确认
作者感谢所有成员的中南林业科技大学食品学院的建议和帮助在这个研究。湖南省自然科学基金(批准号2021 jj31164)。