文摘

随着经济的快速发展和提高农业生产水平的提高,人们对水果的需求也逐年增加。中国是世界上最大的水果生产和消费国家。根据相关统计数据对中国报道,到2019年底,各种水果销售的总量已经达到约2.7亿吨,与苹果占全球产出的48%,梨占全国总产量的69%。然而,中国的水果采摘仍由人工选择过程中,需要大量的人力和时间来完成,因此导致果实采收效率低。一些农民无法在短时间内完成摘水果,导致大量的水果无法上市,造成巨大损失。为了解决这个问题,本文侧重于视觉识别和智能水果采摘机器人的路径规划。使用机器人来完成摘水果是目前最好的方法。本文建立了采摘机器人识别和基于立体视觉定位系统,用于识别和定位果园的水果种植面积。目标点的坐标误差的智能水果采摘机器人坐标系小于10毫米,精度高。然后,智能水果采摘机器人的路径规划是基于视觉反馈神经网络算法和生物刺激。 Our empirical evaluations suggest that the proposed robot walks in the planting park in the shape of “zigzag” and realizes full-coverage path planning after 6 turns. The results show the efficiency of the intelligent method.

1。介绍

最重要的类型的农业机器人采摘机器人,拥有巨大的发展潜力。然而,并没有准确的定义果蔬收获机器人。一般来说,采摘机器人只有完成采摘的蔬菜和水果和实现作物选择的基本工作,包装和运输的编程。它有很强的自动机械和感知能力。它是一个跨学科的前沿学科,涉及电子、机械、信息、农业、计算机科学、生物学、和智能技术包括人工智能和机器学习技术。与此同时,我们应该掌握知识的机械结构,传感器,视觉影像技术,和其他相关领域的决策和实现。

目前,农业生产也在向多元化发展,规模、和准确性,和农业劳动力成本继续增加,导致劳动力短缺和增加成本。机器人技术已经成为解决农业问题的主要方式,特别是,当挑选水果包装和出口。通过提高果园的水果和蔬菜的自动化,农民果园种植和采摘的自动化可以提高。与此同时,它可以准确地识别和计划选择路径和大大提高果蔬采摘的效率,这是很有价值的促进农业服务的发展及其现代化(即。智能农业)。

本文的创新研究智能水果采摘机器人的视觉识别和路径规划如下:(1)建立一个采摘机器人基于立体视觉识别系统,它使用一个双目立体视觉技术来识别和定位在果园里的水果。此外,随后使用fuzzy-based方法,二维熵算法来识别障碍在果园里,可以准确地识别和定位的具体位置在果园,水果摘水果的关键部分。(2)因为果园种植植物的特点是平行的行和列,因此生物激励神经网络方法用于计划的最优路径覆盖全球的智能机器人摘水果。机器人的形状“锯齿形”在挑选水果采摘机器人可以计划最优安全路径在短时间内和缩短果实的采摘时间。以下是本研究的主要贡献。(我)建立一个采摘机器人识别和基于立体视觉定位系统。(2)使用二维模糊熵算法来识别障碍在果园里。(3)生物刺激神经网络方法用于计划的最优路径覆盖全球的智能水果采摘机器人。

剩下的纸是组织如下。节2的相关工作,我们提供了一个概述。部分3是关于识别和定位系统的基于立体视觉的机器人。节4,基于视觉反馈的采摘机器人的轨迹规划进行了讨论。部分5结果说明了视觉识别和智能水果采摘机器人的路径规划。最后,部分6本文总结和未来的工作。

2。相关工作

在1960年代,张和Chaisattapagon提出使用机器人采摘水果的目的。自那时以来,水果采摘机器人变得越来越成熟随着几十年的发展(1]。需要几十秒选成功,但现在可以在10秒钟内完成(2]。摘水果的方式是通过机械振动果树和水果分开。这种方式具有较高的效率。然而,它将破坏水果和很难确保质量的水果(3]。近年来,计算机技术和电子信息技术的迅速发展,尤其是人工智能,机器学习,图像处理。水果采摘机器人更聪明(4]。巴奈特等人开发了一个fruit-harvesting辅助设备基于《生态挑选移动平台(5]。本设备广泛用于中小型果园和可以帮助在挑选各种各样的水果。它不能自动完成在实际操作。特殊人员必须提高平台和移动设备。此外,类似的设备应由一个计算机应用对水果采摘的更多控制任务,可以通过机器学习方法引导他们更聪明。

王等人开发了一个震动摘苹果机器人(6),环绕整个果树两边,然后振动水果树的主干区域高频率。果树的果实落v型收集设备,然后收集设备关闭完成摘水果。陈等人开发了一种负压夹紧摘苹果机器人(7]。摘机的主体在这个机器人是一个six-degree-of-freedom工业机器人,可以自由移动手臂的大面积和安装一个微型摄像头的机器人手臂来收集水果的位置(8]。峰等人开发了一个摘苹果的概念原型机器人的自由度6自动挑选水果的果园。摘水果的平均周期是5 - 9 s [9]。中国采摘机器人的研究时间相对较短,而现在绝大多数的采摘机器人不能应用于市场。苏等人建立了摘苹果机器人的移动系统基于“航行者”号也要多些ARM11 + Windows CE和探索活动花絮和视觉障碍检测技术在苹果公园。此外,该方法提出了移动机器人的路径规划方法基于生物激励神经网络,使用BP神经网络来完成导航控制算法。然而,这项技术不能运行在嵌入式计算机系统(10,11]。

李等人深入调查和研究了正运动学和逆运动学的机械手臂和建议的方法,完成了轨迹插补算法选择的手臂,它使用分区控制等方面根据轨迹规划的基本约束,并完成模糊轨迹跟踪控制。基于HOO稳定控制算法,李等人分析了稳定的控制方式选择的手臂,有效抑制摘苹果的“摇晃”问题机器人手臂。然而,手臂运动规划和避障的问题还没有被深入探讨,在现有文献[12,13]。此外,基于机器学习的方法也不是调查的水果采摘机器人(位置)和他们的精度。

3所示。识别和定位系统的基于立体视觉的机器人

3.1。建立一个独立的系统

本文构造一个智能水果采摘机器人系统,由视觉系统(14)、工业机器人、计算机和终端执行器。视觉系统进行了机器人采用立体视觉产品Bumblee2 PGR生产的公司。基线长度是120毫米。左边和右边镜头垂直基线和光轴平行。镜头采用1/3-inch索尼icx204彩色CCD镜头,可以自动同步,焦距为3.8毫米。它连接电脑和ieee - 1394传输数据。它可以搜索和定位选择目标在一个地区,应用于移动水果采摘机器人视觉导航的后方。最终效应是由德国Schunk公司制造,锁模力是保证处于恒定状态。最后,系统形成了一个开环的视觉控制系统。机器人控制器的控制量的计算方法是基于立体视觉信息。 It runs outside the control cycle, and the calculation times are only once, which is shown in Figure1。

3.2。识别和位置的水果

在水果采摘过程中,智能水果采摘机器人的末端执行器决定了工作位置根据成果的目标。如今,摘水果的各种常见方法是纯净的空气吸入挑选,手指抓拿,吸气相结合,手指摘,等等。(15- - - - - -17]。本文选择电动爪夹水果,然后处理扭曲果实采摘的水果。因此,水果带执行机构的重心应该垂直于重力,水果的工作中心可以根据水果重心定位(18,19]。

水果的可靠性和准确性在双目立体视觉定位技术受到各种因素的干扰时,包括各种不可控因素。如果实际形状和环境光导致无效的随机分布在立体视觉匹配匹配点,然后很难获取深度信息。这可能是导致未能完成摘水果。摘要匹配点集的深度难以通过立体视觉模块(0.385米20.]。此外,大约70%的水果是球形,立体视觉技术可以避免上述问题。不同的点的三维位置信息在目标是用于构造水果球模型,然后水果重心的位置由最小二乘法计算。以下是水果球模型的计算公式:

如果球中心的坐标在相机坐标系(一个,b,c)、公式(1)可以转化为下面的公式:

如果有n点,然后他们以矩阵形式表示。上面的公式可以说明如下:

上面的公式简化为

米由最小二乘法计算:

通过以上计算,得到了球面中心坐标。

本文选择八个不同的点目标计算目标的位置,和水果的形状被描述为一个圈。基于霍夫变换,中心坐标(我,j)和半径R图像平面上的不同的水果。该方法可以准确地识别水果和简单的中心获得的外圆的外切矩形水果。左上角的坐标点和矩形的右下角点(x_最小值,y_最小值),(x_马克斯,y_马克斯),分别。最后,(x,y)点矩形区域中随机选择的。水果识别程序的整个过程如图2。

3.3。基于模糊二维熵障碍识别

不同的照明和成像分辨率会干扰目标探测的准确性,导致像素图像边界等的集成优势,和区域,显示一个中间过渡现象,所以图像具有较强的模糊性在自然环境中。图像处理不确定信息本身的缺点。与此同时,有许多模糊图像处理后的信息。因此,模糊处理算法处理的问题时可以选择在自然环境中识别障碍。

假设一个灰度图像的大小米×N。的灰度值(米,n)像素坐标是由X_锰,l是灰度级数,一个是任何模糊集一个,μA(X_锰)是模糊集的隶属函数一个,模糊集的程度一个的灰度值X_锰像素的图像。

背景或目标图像是由集合一个,用于分割灰度图像阈值;选择一个阈值,将图像分为两部分:目标和背景图像。假设一个₁作为目标,一个₂为背景,下列公式表示图像模糊H:

上面的公式P(一个₁)代表发生的概率一个₁模糊事件,P(一个₂)代表发生的概率一个₂模糊事件,P(一个₁)+P(一个₂)= 1。如果P(一个₁)+P(一个₂)= 0.5的价值di h是最高的;也就是说,di h是最高的在同一时间。

上面的公式μ_一个1(x_锰)代表检测目标的模糊隶属函数,μ_一个2(x_锰)是背景模糊隶属函数,μ_一个1(x_锰)+μ_一个2(x_锰)= 1。

4所示。基于视觉反馈的采摘机器人的轨迹规划方法

4.1。全球机器人路径的选择

假设水果机器人的终端执行器想选择n水果,其坐标可以表示为{₁,₂、…_n},₁代表了最初的出发和返回我后选择。假设任意两点之间的距离,包括由起始点和目标点d(胃肠道,gj)。然后,选择路径规划问题描述如下:让x= {1,2,…n}是一个子集的搜索整数,X相应数量的吗n水果:

在本文中,使用遗传算法来计算最小值。

4.2。遗传算法的数学模型

遗传算法(GA)是指一个问题的解集作为一个人口和提高解决方案的质量通过遗传操作如交叉、选择和突变。美国学者首次提出遗传算法,通用性强的优点,简单的计算过程,强鲁棒性。它可以快速处理非线性和复杂的问题,传统的搜索算法不能处理。另外两个特点的遗传算法是全局搜索和并行性。也就是说,下面是遗传算法的计算表达式:

在上面的公式中,C代表了个体编码方法,E表示个体适应度评价函数P₀代表了初始种群。同样的,米代表人口规模,表示选择运营商,代表了交叉算子T代表了遗传操作的终止条件。遗传算法的基本流程图如图3。

4.3。基于遗传算法的水果采摘序列规划

本文利用双目立体视觉识别9不同位置的水果树,位置转换为机器人的位置,如表所示1(在以下x- - - - - -,y- - - - - -,z相互重合)。这个数量应该注意的是,列;1代表机器人的初始位置,其余的九个值屈指可数,摘水果的位置(21]。此外,的价值米的值是20,问_c的值是0.9,问_米是0.1。我们可以把这些预定义的参数和值代入上面的公式来计算最佳路径,给出的C= {1、8、6、10、4、9,3,5,7,1}。

图4显示了选择智能水果采摘机器人的路径规划;l是它的最短路径,长度是2846毫米。

基本的挑选水果智能采摘机器人的路径是先安排水果机器人的坐标原点,然后拿水果从远到近,然后返回到初始位置。选择路径基于该方法给出的C' ={1、2、6、8、7、9,4日,10日,3,1}。计算后,计算路径的= 3202.5毫米。因此,l大于 ,这表明,遗传算法具有一定的意义机器人路径规划的水果。此外,这说明它可以提高操作效率的水果采摘机器人,还有大量的工作也低于其他方法。

4.4。基于生物激励神经网络路径规划

4.1.1。生物刺激的神经网络动态模型

基于生物激励神经网络,神经元之间的连接关系和外部输入定义在动态环境中,和相应的目标和障碍最低的最终分布的神经活动状态关系图。神经元活动容易受到运动学是用来传播,吸引全球空间机器人。障碍的神经活动状态图只能部分地避免由机器人(22]。基于神经网络动态神经元活动状态图,结合机器人的不完整的运动学约束,可以合理地计划为自主避障机器人路径(23]。

1952年,赫胥黎和何杰金氏病第一次使用电路元素来构建一个小型树突细胞的膜基于生物神经系统的计算模型。下面是动态电压的表达式V_米通过细胞膜:

在上面的公式中,C_米代表细胞膜电容,埃克代表细胞膜上的钾离子饱和度潜力,E_Na代表了钠离子饱和度细胞膜的潜力,和Ep表示中性潜在泄漏电流饱和;_k代表钾离子电导率,_Na代表的是钠离子电导率,_p代表中性通道电导率。

10/24/11。运动控制

智能水果采摘机器人应该完成转向控制和避障控制在挑选水果种植公园。基于误差分析和推导力学,后面的路径规划控制机器人的驱动轮。假设机器人的参考速度虚拟现实和角速率是由ωr这两个机器人速度由以下公式计算(24]:

在上面的方程中,C1,C2,C3代表积极的增益参数,e_D代表行驶方向,e_l代表新方向,e_θ表明转向角和方向错误。

4.4.3。路径规划

基于生物激励神经网络方法,智能水果采摘机器人需要走在植物园与复杂环境条件下的控制。这里,有必要使用生物刺激神经网络在静态种植园和静态障碍物的数量在每一行的公园是更少。智能水果采摘机器人的行走路线是“智”,遍历每一行的植物种植,直到它停在采摘机器人的位置。离散拓扑组织神经元的数量在生物刺激神经网络架构是32×32,假设上界B和D外部刺激的都是1,ωij重量参数在最新的连接μ。的价值μ的值是0.7,r₀的计算值是2吗C是0.35,和神经元的外部输入参数的值E是100。在图5下面两组选择障碍有不同的大小,并且智能水果采摘机器人移动上升点的初始位置P(1,1),外部输入二世在静态环境是由神经元的障碍E和其他神经元的值是0。如果智能水果采摘机器人通过任何时候,和重置神经元的外部输入的结果是0,这表明成本地区挑选工作已经完成。

在图5以上,智能水果采摘机器人开始挑选从底部到顶部,然后从上到下走在种植行之间的锯齿形形状。智能水果采摘机器人的转向角值表中列出2。表中的结果表明,该智能水果机器人必须接受六转后遇到两组障碍采摘时期和实现足额的路径规划25]。

5。结果视觉识别和智能水果采摘机器人的路径规划

5.1。智能水果采摘机器人的视觉识别分析

本文以下翻译矩阵可以通过录音结束运动水果智能机器人与相机的距离:

校准坐标得到的机器人坐标系,然后结束位置是教在目标位置,和机器人基础坐标系由教学吊坠(读26]。基于双目立体视觉模块,水果图像采集和存储。接下来,图像坐标标定对象的中心通过系统绘图工具,然后二维坐标(u, )标定对象的中心被替换成立体视觉模块建立三维库函数和计算摄像机坐标系的设置值。在这个实验中,选择十个校准点,如表所示3,映射矩阵T摄像机坐标系和机器人之间通过使用最小二乘法,正如前面解释的部分。

映射矩阵的智能水果机器人摄像机坐标系与MATLAB软件编程和计算获得的,如下:

映射矩阵后得到实验的验证。教学目标的位置点的水果智能机器人可以使用上面的标定方法,通过和相应的三维坐标测量值可以获得。然而,有一个计算值之间的误差智能水果机器人坐标系中的目标点和实际测量值。这个错误被称为校准误差,如图所示6在下面。

根据实验结果,不同的组件的最大标定误差对目标的位置坐标水果智能机器人坐标系小于10毫米。然而,错误属于综合误差,其中还包括立体视觉测量过程中误差的模块。以下是干扰校准精度的两个主要因素:(我)当检测目标坐标系的水果智能机器人,教机器人的末端中心的中心目标,然后读取机器人的位置,也就是说,目标机器人的位置。这时,很难一致目标中心和中心,这妨碍了测量精度,导致相当大的和重要的错误。(2)相机3 d重建和智能水果采摘机器人有很高的准确性。然而,当校准系统,这个错误将导致增益校准系统和干扰校准系统的准确性。因此,几组测量数据后,错误使用最小二乘法可以减少干扰。

5.2。视觉智能水果采摘机器人的路径规划分析

由于公园本身的复杂性和不可预测性的障碍,有必要结合遗传算法,并使用模糊二维最大熵检测不同类型的障碍在果园里。遗传算法的数学模型,建立了摘水果的顺序是根据制定的全球智能机器人水果采摘路径。最佳选择路径计算C={1、8、6、10、4、9,3,5,7,1},选择最短的路径长度是2846毫米。然后,路径规划是基于生物激励神经网络动态模型实现的完整路径规划。结果表明,智能水果机器人必须经过6特殊项目实现果园路径的全覆盖。

当规划全覆盖路径果园种植地区基于生物激励神经网络最优路径和次优路径的智能水果采摘机器人从起点到关键位置可以准确地获得。当固定障碍是已知的或没有障碍,那么聪明的水果采摘机器人可以完全覆盖操作区域,及其路径的形状类似于“智这个词。“这个方法既简单又有效。在路径规划,有必要建立一个离散拓扑地图,这可以减少公园的几何参数的分析,和数量列在拓扑地图上只能根据确定的行数在公园里。实验表明,这种路径规划方法将不会受到环境的障碍。只需要50毫秒完成路径规划操作,和生物刺激神经网络模型不需要学习,也不会引起“僵局”,所以它有很强的普遍适用性。

6。结论和未来的工作

目前的问题,农业,农村,和农民收入国家吸引了注意力。中国继续调整农业产业结构。最明显的改变是扩大的面积种植果树。果树已经成为第二大粮食作物后滞后。然而,中国的水果和蔬菜产业在开发过程中还面临着许多问题。生产技术落后、自动化水平提高,劳动效率低,水果不挑时间,直接影响农民的收入。针对这个问题,本文侧重于视觉识别和路径规划的水果智能采摘机器人,建立了水果采摘机器人的识别和定位系统基于三维四个奇观,构造水果自动拣选系统,利用双目立体视觉技术来定位和识别水果,并使用模糊二维熵识别障碍。然后,采摘机器人的轨迹规划构建了基于视觉反馈,和利用遗传算法选择顺序是合理的计划。最好的路径是最好的路径C= {1、8、6、10、4、9,3,5,7,1}。

我们评估显示,视觉识别系统和智能水果采摘机器人的路径规划方法,建立了在这篇文章中,可以准确地识别水果的位置在公园并完成任务。在实践中,机器人的应用可以减少水果和提高农民的劳动果实采收的效率。这需要琐碎的时间来完成路径规划操作,和生物刺激神经网络模型不需要学习,也不会引起“僵局”,所以它有很强的普遍适用性。在未来,我们将集成基于机器学习的智能算法的决策使水果采摘机器人。此外,我们将使用更先进的方法来进一步提高机器人的效率和准确性,以增加农民的利润和减少劳动的努力。

数据可用性

请求的数据可以从相应的作者。

的利益冲突

作者宣称他们没有利益冲突有关的出版。

确认

本研究项目支持的河南省青年骨干教师学院和大学(2021年ggjs182):研究水果采摘机器人智能控制系统的实现基于双目视觉。