文摘

生产过程的机械化和智能化的主要趋势是农业产品的研究和开发。实现无人自动挑选过程也是的主要研究热点之一在中国的农产品近年来工程技术领域。机器人自动化摘苹果的发展直接相关成像研究,及其关键技术是使用算法来实现苹果的识别和定位。针对问题的错误检测和错过人口阻挡目标、小目标的检测苹果采摘机器人在不同的光线条件下,选择两种不同的苹果识别算法是基于苹果的形状特点研究传统机器学习算法:直方图的梯度+支持向量机(猪+ SVM)和多个苹果目标快速识别方法在复杂闭塞环境中基于改进You-Only-Look-Once-v5 (YOLOv5)。第一个是改善CSP在网络结构。使用参数重建,卷积层(Conv)和批处理规范化(BN)层CBL (Conv + BN + Leaky_relu激活函数)模块融合到一个batch-normalized Conv_B卷积层。随后,CA(协调关注)机制模块嵌入到不同的网络层设计改进的骨干网提高表达能力的特征在骨干网络更好地提取特征不同的苹果的目标。最后,对于一些目标重叠遮挡,损失函数调整来提高模型的识别能力阻挡目标。通过比较猪+支持向量机的识别效果,RCNN更快,YOLOv6,和基线YOLOv5复杂闭塞场景下的测试集, 该方法的价值增加了13.47%,6.01%,1.26%,和3.63%,分别 该方法的价值增加了19.36%,13.07%,1.61%,和4.27%,分别在不同的照明角度。图像识别的平均时间是0.27秒的速度比猪+ SVM, 0.229年代比RCNN更快,更快,比YOLOv6快0.006秒。方法将提供一个理论依据摘苹果机器人操作期间选择一个相关的图像识别算法。

1。介绍

作为苹果生产大国,中国的苹果产量占全球产量的一半。人口流动和土地政策的变化,农业生产机械化和情报是未来发展的主要趋势1]。到目前为止,国内摘苹果的方法是基于手工挑选。然而,成熟的苹果需求量大,需要大量人类劳动和金融资源。实现智能和无人摘苹果,从而释放从重复性的体力劳动工人2]。准确、快速的识别苹果的目标是自动选择的前提。然而,在果园环境中,有很多粘,袋装,密集,阻挡,重叠的苹果在长途不同光照条件下拍摄的照片。实现快速检测多个苹果在复杂闭塞环境目标的实现智能摘苹果是至关重要的。过程的机械化和智能化的生产设备,在国内外学者做了很多研究自动采摘机器人。威廉姆斯等人开发了四臂采摘机器人和神经网络方法对水果检测和采摘猕猴桃种植的藤架(3]。在美国,一个摘苹果的机器人开发的形式“吸尘器”,吸收从果树成熟水果4]。摘水果是通过真空抽吸系统,和选择的速度可以达到1 s /块。也有相关的研究成果在图像识别算法。黄等人提出了一种多尺度特征融合卷积神经网络对室内小目标探测。利用图像增强技术建立和放大日期设置,RCNN越快,YOLOv5 SSD和SSD目标探测模型,基于多尺度特征融合在一个室内场景数据集训练基于转移学习(5]。林和李提出了一个集成电路板(ICB)目标检测和图像增强融合模型基于YOLO。意思首先,收集和使用不同类型的银行独立委员会作为模型训练数据集,建立初步的图像识别模型,该模型可以进行分类和预测不同类型的银行独立委员会根据不同的特征点。最后,讨论模型的适用性检测和识别ICB方向性在< 1年代98%的准确率,以满足实时要求的智能制造(6]。氮化镓等人使用热成像来处理颜色相似性不成熟的柑橘和树叶。用水果和叶子表面之间的温差,建立跟踪水果计数算法计算水果热节(7]。雷等人使用RGB相机收集月桂树的果实图像,建立了一种自适应图像均衡模型。分水岭变换算法和凸包理论被用来精确定位月桂树的果实区域在一个复杂的背景下(8]。在深入学习,杨等人提出了一种改进的You-Only-Look-Once-v5 (YOLOv5)算法来检测在不同开花阶段花的生长状态。实验结果表明,改进算法的准确性是YOLOv5高出5.4%,这证明了算法的有效性(9]。王等人提出了一个长期亲密distance-coordinated荔枝采摘机器人的控制策略。长途使用YOLOv5目标探测网络和DBSCAN聚类法和点云分割方法使用面具RCNN实例段更独特的分支领域的茎的观点。通过处理分割的面具,“点+线”双参考模型提出了指导机器人传感器。通过实验,成功率在水果的定位分支达到88.46% (10]。吴等人提出了脊柱检测和三维定位的香蕉建立机器人的分界点。通过构建一个新的YOLOv5-B模型和改进损失函数来提高精度和速度,脊柱的轮廓分割使用边缘检测算法,和获得的最佳分界点是标量。实验表明,香蕉YOLOv5-B模型的多目标识别率为93.2%,平均只有0.009 s /块图像处理时间,可以满足脊柱分割(机器人的要求11]。大多数苹果现有的检测算法不能区分苹果树枝和闭塞的阻挡其他苹果。燕等人提出了一个基于改进YOLOv5s轻量级苹果的目标检测方法。BottleneckCSP模块提高BottleneckCSP-2模块设计。SE模块插入到提出改进的骨干网络。最后,初始锚盒子大小的原始网络改善(12]。霁等人提出了一个基于Shufflenetv2-YOLOX苹果对象检测方法快速、准确地检测和定位在果园里苹果自然环境。使用轻量级网络Shufflenetv2添加与卷积块关注模块(CBAM)为骨干,一个自适应空间特征融合(ASFF)模块添加到PANet提高检测精度。训练网络美联社Shufflenetv2YOLOX的价值增加了6.24%,和检测速度增加18%13]。杨等人提出了一种快速识别方法对多个苹果在密集目标场景。方法利用“点是目标”的理念和意识到苹果的快速识别目标预测中心点的苹果和苹果的宽度和高度。通过改善CenterNet网络小Hourglass-24轻量级骨干网设计,和剩余模块进行优化来提高目标识别的速度(14]。

总之,国内外学者已经进行了深入研究水果识别问题的许多研究成果。苹果长在复杂农业环境中有很多不确定性因素。如何选择一个算法模型,不受复杂环境影响果园和训练一个算法模型的识别精度高和强鲁棒性研究领域的焦点和困难水果检测。在这里,一个苹果检测算法从两个方面研究了。首先,使用苹果的形状特性,识别和定位研究是基于猪+支持向量机算法。其次,针对问题的错误检测和错过了发现粘,装袋,密集,闭塞,和重叠的苹果不同照明条件下,一种改进深YOLOv5的学习算法。卷积的融合层(Conv)和批处理规范化(BN)层在CSP1_X结构中,CA机制模块嵌入到骨干网络的改进设计提高表达能力的功能在移动网络。最后,对于一些阻挡和重叠的目标,在nms改为DIOU_nms借据,从而大大提高了模型的识别能力阻挡目标。与目标检测方法相比,使用滑动窗口,提出结构更为高效,导致更少的错误检测的背景,更容易实时实现。实验表明,发达算法的识别率和操作效率的提高。 The process steps of this study are shown in Figures1(一)1 (b)

2。方法

图像的颜色特征很容易受到光线的影响,导致颜色特征图像识别算法进行错误检测苹果。在本节中,我们考虑到苹果形状的关键特性。

2.1。图像归一化

苹果的测试过程中,存在着明显的差异暴露,因为天气的影响。这导致咬合的意见,增加了背景干扰,使水果检测更加困难。为了解决这个问题,这个行业采取了伽马校正(15]。这种方法可以减少阴影的影响在一些地区的尽可能多的图片,来满足需求。一般来说,有两种处理方法,即。、平方根和对数。平方根法在这项研究中,提供了表达 在哪里 代表了图像, 代表图像的像素点, 通常需要的价值

2.2。苹果的形状特征提取基于猪

猪是一种面向使用直方图的梯度算法总结特性。原则是表示像素的梯度信息或图片,然后计算块特征信息的图片16]。猪是一个形状特征算子,用来描述形状特征,如图像轮廓或边缘。这个操作符的基本思想是梯度方向的密度可以描述物体的轮廓或边缘。描述物体的形状的过程和生成的特征向量猪符如图2

第一步是规范化的形象和执行伽马校正操作来提高图像照度变化的鲁棒性,同时降低噪声的干扰。下一步是解决图像中梯度信息,包括图像的梯度 的方向。这是表达方程(2)如下:

在方程(2)和(3), 梯度的吗 方向, 梯度的吗 方向的像素坐标 是像素的值。梯度方向和大小在这个像素点是通过计算每个方向的梯度:

下一步将图像划分为一系列小细胞单位。直方图得到梯度方向和大小的细胞单位。然后,相邻细胞单位组合成块,即。、统计直方图和规范化。接下来,每一块分布的梯度信息的方向根据梯度方向直方图。的方向直方图的值范围可以在0和180度之间或0到360度。具体范围取决于计算梯度是积极的还是消极的。最后,通过规范块直方图,当地对比调整获得减少光照的影响。然后,所有块的直方图图像连接到获得图像的直方图,即。猪图像的特征向量。根据流程图和上述的步骤,进行特征提取后苹果和nonapple对象,可视化功能,如图3

2.3。目标图像可视化猪特性

支持向量机负责训练和分类特征向量提取猪。具体过程是,在输入图像检测,每个特性的支持向量机分类器执行相关操作图像中获取分类信息的功能。损失函数和相应的标签用来计算参数,然后下降法是应用迭代更新参数,直到达到一个最优值。水果识别和定位的关键在候选区域在于滑动窗口的变化范围和步大小在遍历过程中。如果变化范围太小,计算量的增加;如果变化范围太大,识别和定位精度会降低。

SVM分类器的原理是要找到一个超平面之间最大的双阶级样本区间。我们考虑一组 ,在哪里 th特征向量, 对应的类标签向量 (17]。积极的样本数据集被标记为+ 1,和消极的样本标记为1。一组 包含两种不同类型的数据。如图4,实线是单独的分属于一个类从属于另一个类。然后,two-dashed线是平行的超平面画实线带一个实线为中心对称分布,通过采样点接近最优超平面的两种类型的数据。

超平面表达式所示 在哪里 是一套的吗 是一个法向量的线性函数。two-dashed行实线平行,对称分布。给出两个虚线的表达式

两种类型的数据之间的最大距离是two-dashed线之间的距离,这是 小,间距比较大。

3所示。基于改进YOLOv5苹果识别算法

首先,本节介绍和分析YOLOv5的改进的总体框架结构。其次,介绍了损失函数,以确保在培训过程中损失的价值网络模型显示一个梯度下降的趋势。

3.1。整体YOLOv5结构

You-Only-Look-Once (YOLO)意思算法(18)在2016年提出了计算机视觉峰会(CVPR);这看起来神经网络只需要一次识别图像中目标的类别和位置。该算法将图像作为输入,并提供目标的类别和位置作为输出。后的持续进步YOLO算法,意思v1更新到版本v7版本。基于最初的YOLOv5加入了一些改进。第一个是改善CSP在网络结构。使用参数重建、卷积层(Conv)和CBL中的批处理规范化(BN)层模块融合到一个batch-normalized Conv_B卷积层。它相当于融合参数的卷积和批处理规范化,以便Conv_B卷积层具有批量标准化的特点。改进的框架结构YOLOv5如图5

YOLOv5网络结构主要由输入、骨干,脖子,输出。首先,当一个苹果图像输入,输入终端使用马赛克来扩展数据集。图片是随机裁剪和缩放,和多个照片缝合完成自适应锚架设置的数据集19]。然后在骨干网络,重点模块削减通过切片操作和输入图像片,拼接原始图像的大小 卷积层地图的输出特性 在CSP1_X模块, 代表 剩余的组件。初始输入发送到两个分支,分别和卷积操作上执行这两个分支渠道特性映射的数量减少一半。其中,一个分支执行batch-normalized卷积层,通过Conv2d层之后,另一个分支是用来连接输出特性映射使用concat操作。最后,获得的地图输出特性是通过卷积BN层和层。颈部网络采用红外系统特性的多尺度融合金字塔和锅结构,以更好地解决目标探测的规模问题。潘是一个自下而上的结构,加强网络特征融合的能力,完成定位功能。最后,通常包括CIOU_loss和DIOU_nms的输出。CIOU_loss通常解决问题不重叠的规模边界框和边界框的信息。考虑到位置信息的边界框的中心点,DIOU_nms更适合目标探测在复杂的场景,为检测提供更好的结果。

3.2。添加关注机制的模块

由于苹果公司背景的复杂性,树枝和树叶在环境干扰图像识别。因此,为了提高识别精度的果实采收方法,注意机制CA模块引入YOLOv5网络更好地提取不同的水果。图像的特性可以提高模型的泛化能力。

CA模块是一个新的移动网络,获得二维特性分解为两个一维向量编码过程和聚合物的特性以及在太空中两个不同的方向。这是编码生成特性的目的地图作为一对orientation-aware和位敏特征图谱,可以互补应用于输入特性映射到增强感兴趣的对象的特性。CA模块的结构图如图6

下一步是将CA模块插入到YOLOv5网络。注意机制是放置的位置并不是唯一的;因此,必须首先确定插入的位置。我们观察网络YOLOv5框架图;有一个检测层的输出 ,由第五层concat拼接后的骨干网和第七层两次upsampling CSP2_1在脖子上网络,最后输出。因此,CA模块添加后的第五层骨干网络,这样脖子的高维特征映射网络融合与CA的功能模块,并改进大型对象的检测效果。

随后,CA模块添加到第七层的骨干网络,它与高维特征地图拼接concat获得第一次upsampling后颈部的网络,以便输出是一个 检测层。中型对象的检测效果得到改善。最后,CA模块添加到第十一层骨干网络的改进的检测能力 小目标检测层。网络优化从三个尺度上改善整体YOLOv5检测模型的识别效果。

3.3。YOLO损失函数意思

YOLO算法意思有一个重要的概念,即。,the loss function, the structure of which is displayed in Figure6。分析了YOLO算法意思时,有三种类型的错误,即。、位置、 值和分类;因此,介绍了损失函数来平衡这些偏差。整个算法的损失由三部分组成,即。,the coordinate error generated by the predicted and real frames, confidence error of the object, and error of predicted category.

其中,五个参数( , , , , )代表了 - - - - - -轴坐标, - - - - - -轴坐标,目标宽度,目标高度,和目标类别,分别; 预测目标的置信水平; 是重量变量比例平衡的作用。 是每一个网格单元; 是每一个边界框; 是检测帧包含目标;和 表明检测帧不包含一个目标。

3.4。实验评价

在最终结果,如果苹果水果被确定为苹果果实,这意味着该算法法官正确的结果正确;否则,它被定义为TP(真阳性);如果背景被确定为一个苹果果实,这意味着算法法官错误的结果是正确的,它被定义为FP(假阳性);如果苹果果实为背景来判断,这意味着算法法官正确的结果作为一个错误,它被定义为FN(假阴性)。

在模型评估准确率( ),召回率( ), 主要是使用价值。

的计算公式 所示

的计算公式 所示

计算的公式 所示值

数据集的训练完成后,体重将生成文件这一训练获得的。获得重量文件可以通过设置重量选择路径,和苹果的水果可以通过使用重量训练文件进行测试。

4所示。模型训练和实验分析

4.1。培训环境

该算法需要执行许多操作特征提取和分类;因此,它需要高性能的机器。实现的细节展示在表1

在培训期间,pretraining重量在官方网站下载,网络模型调整是基于一定pretraining重量通过转移学习。这样做的好处是,它可以加速模型的收敛损失函数,提高检测精度。设置合理的hyperparameters也会影响模型的质量培训。在模型训练过程中,批处理大小设置为8。势头被设置为0.937,衰变设置为0.0005,学习速率设置为0.01,时代是设置为300。

4.2。培训结果

损失曲线显示在图模型的训练7。从图可以看出7,左边是训练集迭代曲线,右侧是验证设置迭代曲线。从图可以看出,损失值对训练集和验证集的迅速下降在第一次数十轮培训,和经过250轮培训,损失价值基本趋于稳定。因此,在这项研究中,模型的输出经过300轮培训决定作为苹果的模型检测。

4.3。实验设置

数据集由真正的苹果在苹果园数据捕获;即,总共3000名苹果图像被收集。介绍了马赛克扩充数据集;特别是随机扩展增加了许多小目标,从而提高了苹果检测模型的泛化能力(20.]。然后,所有的图片都分为三组:训练集,测试集(70%的图片),和验证(随机选择图像的30%)。当研究苹果基于形状特征的识别算法,因为猪形状特征算子不需要考虑颜色,各种水果的图片介绍了不同颜色的样品是有利的。当研究改进YOLOv5苹果识别算法、图片与不同阻塞度,发展阶段,国家作为训练数据被发现。这些不同的数据样本如图8

4.4。结果和分析
4.1.1。比较不同的目标检测算法的结果

实验随机测试算法的识别效果的各种真实的图像。验证算法的准确性对苹果在不同分布状态识别和定位,在这项研究中,测试是根据上述标准分为五类,和统计。数据9(一个)- - - - - -9 (e)显示的识别影响猪+ SVM, RCNN更快,基线YOLOv5, YOLOv6,和改进YOLOv5算法对图像的通畅,水果粘,装袋。

在图中,可以看出图像收集处于通畅状态(每组第一的照片)是明亮的水果和背景。苹果的外形轮廓是非常清楚的。在图像采集的水果粘连(每组的第二幅),附近的水果很容易识别。然而,在水果树枝和树叶在远处被屏蔽,光线暗,识别变得困难。图片收集装袋状态(每组照片三)有一个相对明亮的背景,但果实部分的轮廓变形的袋子。在上面的比较,选择许多深度学习模型,与传统机器学习模型是只猪+支持向量机,因为猪+支持向量机广泛用于传统的目标检测算法。猪可以更好地描述图像的几何特性和保持良好的形状不变性和光学变形。通过支持向量机分类猪特征向量,利用支持向量机训练分类器完成本地化水果的分类。检测结果,猪+ SVM算法显示更好的苹果识别能力与明确的形状特性和小的差异大小。然而,在粘附和装袋,由于缺少光和轮廓,一些功能的苹果不见了。 The other two algorithms show stronger feature extraction ability, because the deep neural network displays better recognition effect compared to HOG + SVM.

10/24/11。识别不同的照明角度不同的检测算法

为了验证本文方法的优越性,我们添加了更高级的版本YOLOv6比较实验。在这个测试中,我们使用相机的光角作为控制变量,这是三个拍摄灯光:背光,侧光,光。50图像被随机选择不同复杂闭塞环境包括背光照明角度,侧光,正面光,测试集的数据。猪+支持向量机的检测效果,RCNN更快,YOLOv6,基线YOLOv5,改善YOLOv5算法在上述条件下进行比较。评价指标准确率精度, 综合评价得分,召回率,检测速度来评估算法的性能。计算评估值加权平均,并记录在表2,整体结果如图10

如图10,苹果有明确的静脉和平均表面光照强度的侧光,使容易识别。在背光的情况下,苹果的外观和分支的光强度显著降低,,很难区分这两个概念。此外,背后的小对象的检测是很困难的。光滑的光线,光线强度的一部分苹果变得更高,表面和外表面显示了一个白天的颜色没有血管的特点(21]。

如表所示2猪+ SVM基于形状特征,是一种水果识别方法,光几乎没有影响。它所面临的缺点是它只能准确地识别目标具有明显的形状特征。的 改进的YOLOv5高出1.26%和3.63% YOLOv6和基线YOLOv5,分别和精度高于0.54%和4.81% YOLOv6和基线YOLOv5,分别。的 更快的RCNN低6.01%比改善YOLOv5和精度比改善YOLOv5低3.59%。的 改进的YOLOv5是13.47%高于猪+支持向量机,和猪的精度高于12.12% + SVM。可以得出结论,深入学习算法的评价指标通常是高于传统算法,因为模型训练的神经网络具有很强的泛化能力,仍有良好的效果,当颜色特征不明显。的检测速度提高YOLOv5和YOLOv6是相似的,领先其他两个算法作为一个单级检测算法。

4.4.3。识别不同的检测算法不同的遮挡关系的结果

接下来,阻塞程度的苹果表面的比较测试。在该测试中,苹果表面的阻塞程度作为控制变量。同样,五十水果图像粘连,装袋,密集,重叠的情况下复杂闭塞环境随机选为测试集数据和测试通过四个算法。总体结果如图11,计算评估值加权平均和记录在表3

如图11通畅,苹果有不同的静脉和清晰的轮廓和明显区别于背景。略阴影苹果更轻的颜色,和他们的一些形状特性是由树枝和树叶。苹果干扰的严重堵塞表面的颜色和静脉特征苹果表面,和水果的形状被袋子部分变形。此外,多余的部分塑料袋不再让苹果的外观圆;因此,外表特征已不再清晰。

如表所示3虽然猪+ SVM算法可以识别苹果,当它被树枝和树叶,检测效果并不理想。改进YOLOv5 0.88%和4.41%的精度高于YOLOv6和基线YOLOv5,分别 1.61%和4.27%高于YOLOv6和基线YOLOv5因为不同苹果的改进的骨干网提取功能目标更好,提高了识别精度。袋装苹果,该算法识别苹果的塑料薄膜作为一种功能在一起训练和检测在检测,提高了识别率。改善YOLOv5是13.58%的精度高于RCNN更快,和 是13.07%高于YOLOv6因为RCNN地区越快表明网络预测忽略一些小目标,导致可怜的模型检测效果。

总结,对比传统的猪+ SVM算法和深度学习算法,虽然猪+ SVM算法可以识别苹果在各种情况下,精度和 价值远远低于现有的深度学习算法。为什么传统的机器学习模型猪+选择支持向量机验证传统方法猪+ SVM算法具有检测时间长和精度低的缺点。从表可以看出23修订后的手稿,改进YOLOv5算法模型训练文本比快RCNN在任何样本,并与YOLOv6并不明显的差距。然而,在比较测试, 得分明显优于YOLOv6。本文改进YOLOv5算法模型训练可以胜任光变化的目标识别,闭塞,和装袋苹果,苹果采摘机器人使用这种视觉算法可以实现多个苹果的识别在复杂闭塞的环境。提出YOLOv5方法的优越性。

5。结论

为了解决错误的问题检测和错失检测苹果采摘机器人在复杂闭塞的环境中,本文研究了传统机器学习算法猪+支持向量机,提出了一种快速识别方法对多个苹果目标在复杂的基于改进YOLOv5闭塞环境。首先,通过改善CSP结构网络中,卷积层(Conv)和批正常化(BN)层的CBL (Conv + BN + Leaky_relu激活函数)模块融合到一个batch-normalized卷积层。随后,CA(协调关注)机制模块嵌入到不同的网络层设计改进的骨干网提高表达能力的特征在骨干网络更好地提取特征不同的苹果的目标。对于一些目标重叠遮挡,nms改为DIOU_nms借据,从而大大提高了模型的识别能力阻挡目标。最后,实验比较表明,在不同的照明角度, 价值的改进YOLOv5算法是13.47%,6.01%,1.26%,和3.36%高于猪+ SVM, RCNN更快,YOLOv6和基线YOLOv5分别。的 价值的改进YOLOv5算法在不同遮挡是19.36%,13.07%,1.68%,和4.27%高于其他算法,分别。它有能力检测粘,严重阻挡苹果,导致检测精度高。平均图像识别时间,改善YOLOv5 0.27速度比猪+ SVM和0.229年代的速度比YOLOv6 RCNN更快,接近。闭塞的水果和分支机构的复杂性阻碍了探测器从学习无限多种重叠和闭塞的情况下,当训练数据是有限的。因此,一个值得探索的方向是使用现有的数据通过无监督或semisupervised方法来解决这个问题。本研究可以提供一个理论依据机器人快速高效地识别苹果在复杂环境中。

数据可用性

支持这项研究的数据都是在文章中。

的利益冲突

钱,杨郭新,冯宣布的研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

作者的贡献

钱郝和郭新设计的研究。钱和鑫郭相应的数据处理。钱,郭新,冯杨写了初稿的手稿。冯杨帮助组织了手稿。钱和鑫郭修改和编辑最终版本。

确认

这项工作是支持的山西省重点研发项目(201903 d221018)。