目标识别和苹果采摘机器人的轨迹规划方法考虑颜色多媒体图像分割算法

文摘

为目的的显著减少处理时间的苹果采摘机器人在收获过程中,很有必要开展相应的研究方法快速识别和轨迹规划。通过综合应用程序信息的相关性,可以减少图像处理区域。图像识别和轨迹规划相关的模板匹配算法去除均值和标准化产品可以采用,并根据不同的阈值分割方法可用于实现效果。随后,比较正确地进行实验来验证该方法的有效性。

1。介绍

苹果采摘机器人是科学和技术的不断进步的产物。这是一个高科技对抗平台,也代表着一种人类的智慧和综合技术的比赛双方(1,2]。机器人可以在高度复杂的趋势做出判断在该领域基于相应的规则,以指导自己的最优决策,然后采取相应的行动有利于击败对手(3]。在两党之间的比赛期间,苹果采摘机器人密切关注视觉系统进行一个全面的搜索相关的环境信息,如目标和球。随后,激光、红外和其他相关测距系统是用来进行全球定位的机器人和全面检测障碍物,然后将获得的信息根据一定的规则,形成相应的特定的操作说明和演示操作(4,5]。因此,要求实时性能、鲁棒性和准确性非常高。当机器人逐渐接近图像的中心的中心目标水果,它通常需要多次识别图像,实现轨迹规划多次才能完成的任务(6]。在过去,获得每个图像的过程实际上是由重复执行一个特定的识别算法。识别时间通常是接近几乎相同。最后总体识别时间实际上是所有图片的识别时间的总和(7]。在整个采集过程,识别时间是不可分割的一部分。如果可以减少识别时间,收获机器人的速度可以显著增加,和手工收获之间的差距和机器收割可以进一步缩小,从而极大提高它的实用价值。因此,在本文的研究中,作者进行了一个全面的应用程序的信息的相关性调查的快速图像识别方法和相应的轨迹规划方法。

2。快速识别和轨迹规划方法

2.1。图像分割

的原因选择基于颜色特征的图像分割方法是有一个特别明显的色差苹果水果和背景。果园的一组照片是在自然环境中,密切关注背景和苹果果实区域。后台主要指的是树枝,天空,绿色的叶子,和其他地区苹果果实所在地。颜色的值因子R, G, B是综合统计和相关分析。统计分析后,我们可以看到,无论色差R -或2 r-g-b,苹果的水果可以从背景颜色区分有效地根据其自己的方法(8]。在正常情况下,R-G计算方法不仅相对方便,但也非常简单。因此,色差R-G作为颜色特征值图像分割过程中。色差曲线对应于R-G图所示1。

如图1,我们可以确定固定阈值,然后使用获得的值来确定相应的固定阈值的水果图片。然而,它是通过大量的实验发现,基于固定阈值分割方法仍有一些缺陷。最主要的原因是,它不是特别适应光线的变化。在此基础上,作者采用了大津方法,它通常被称为基于动态阈值的分割方法。作为一个动态阈值分割方法,它具有良好的性能。在收购的过程中动态阈值,需要执行基于该方法计算三个方面。第一个方面是图像中目标类,第二个方面是背景类最小方差,和第三个方面是背景类的最大方差。

图像分割完成后,仍有一些相对孤立的小洞,小点,和小毛边。然而,这些噪声会严重影响识别。因此,我们需要采取相应的措施消除噪声的影响(9]。在本文中,我们采用了“Corrosion-remove-expansion”方法有效。首先,相应的腐蚀进行了计算,然后分割后的图像的计算方法是基于一个特定的方法。目的是消除目标边界点,以便它可以呈现一个逐渐向内收缩的现象。随后,小区域删除操作是完全应用,其目的是消除一些剩余的小地区基于相应的方法。最后,计算进行全面扩张,它的目的是扩大接触的一些点,然后将它们合并到目标。通过上述处理,我们可以图像分割成两个部分:第一部分是背景,第二部分是水果。

2.2。识别目标的水果

的过程中收获水果,如果使用一个single-manipulator收获机器人,它只能执行任务的方式收获果实。图像中如果有多个水果,然后需要确定目标水果收获基于某种方法在机器人可以成功完成收割工作。处理过的图像需要打上标记基于8-domain标记方法,然后是标志着水果面积选为基本对象获得二维重心坐标。具体的方程如下所示: 在哪里我和j水平和垂直坐标的像素的水果图片,N是像素的总数的水果图片,和Ω的像素集属于相同的水果图片。

与此同时,它也需要计算对应的边长。最后,我们可以确定目标水果基于原则的有效应用,目标是最接近图像中心。具体的距离的计算公式如下: 在哪里和是水果和质心的坐标和图像的中心坐标。

2.3。提取识别区域

前一帧图像中目标的水果信息相对较明显的作用。尤其是水果为目标在下一帧图像,它有一个相对突出的参考作用。也就是说,当处理下一帧图像的面积,我们需要前一帧图像为基础(10]。在正常情况下,为了获得果实的质心坐标,完成相关工作往往是逐渐接近中心的形象。因此,当我们完成收购的第一形象,这些病例通常可以通过后续处理不断减少。上述处理后,图像处理时间将大大减小,使得整体收获时间可以进一步削减,最后快可以增强在最有效的方法11]。描述的具体步骤如下:(1)后获得的图像,我们使用相关方法进行一定的处理,有必要确定目标水果收获有效的基于水果精华的原则是最接近图像的中心 。那些拥有自己的边长l和米也应该被确定。最后,在左上角的坐标的最小水平边界矩形 应该确定,如图2。(2)我们图像分割成四个领域基于一个特定的方法,即区域a, B, C, D,确定哪些地区的水果是通过中心的水果和图像的中心坐标。如果它位于区域,坐标 和 作为基础点确定矩形的加工区域,和细节如图3;如果它位于区域B,坐标 和 作为基础点确定矩形加工区域;如果它位于C区,坐标 和 作为基础点确定矩形加工区域;如果它位于区域D,坐标 和 作为基础点确定矩形的加工区域。(3)获得的图像,矩形加工区决定选择在步骤(2)为基本对象。进行相应的处理是基于在步骤(1)的方法。为空间以外的区域,我们可以用白色填充它根据相应的规则,和细节图所示4。肯定也有差异。有必要转换目标水果中心坐标获得基于方程(1利用矩形加工区坐标系)。目的是将获得的图像的坐标系统。质心坐标的处理目标水果所在区域,我们可以假设 并把它转换成相应的坐标系统获得的图像,和质心坐标 目标的水果可以获得如下: (4)有必要确定矩形加工区在下一帧图像基于方法获得的步骤(2)步骤(3)中,然后使用该方法有效地进行相关的处理。通过这种方式,可以进行连续循环加工直到质心坐标和图像的坐标中心相互重叠。

2.4。颜色空间的选择

在图像处理的过程中,常用的颜色空间,如RGB和HSV,多样化。摄像头输入系统的视觉系统,有必要采用CCD,和最具代表性的输出模式是RGB颜色空间。在正常情况下,如果我们需要段一组彩色图形,想到的第一个选择方法往往是RGB (8,12]。

RGB空间有非常显著的优势。这种优势是它不仅简单,而且直观。它不需要任何转换或分类过程中的应用,及其速度是相对较高的。然而,它仍然有一些缺陷。这些缺陷主要体现在如下两个方面。首先,RGB空间颜色显示空间,这是不适合人类视觉特性。其次,如果条件不同,测量了RGB颜色值的分布呈现分散状态。在这种情况下,很难确定一个特定对象的RGB值。此外,它特别容易包括一些颜色没有指定的对象,也可能错过一些应该识别的对象(13]。在正常情况下,如果在游戏场上位置是不同的,也可能有巨大差距的光强度。因此,颜色的RGB值在不同的职位上可以有很大的不同。由于上述几个原因,RGB并不适用于颜色分类(14]。

为此,RGB空间点(r, ,b)被转化为一个点(h,年代, )在HSV空间。

假设米= max (r, ,b),n= min (r, ,b),r, ,和b归一化值的RGB颜色空间。

给定的值r, ,和b,在这r, ,和b∈(0,255),相应的转换范围如下:h∈(0, 360),年代∈(0,1),∈(0,1)。

3所示。测试结果和分析

3.1。图像分割测试

首先进行分割算法和固定阈值分割算法通过使用某种方法综合比较。两个不同的苹果水果选择不同光线下拍摄的图像。细节图所示5(一个)和5 (b)。图像对应的图5(一个)是一个强光照射下形成的图片,和图片对应的图吗5 (b)是一个图像弱光照射下形成的。在数据5 (c)和5 (d)、水果图像分割后得到基于一个固定的阈值显示,分别。的分割阈值以上两个都是一样的。虽然有一定的噪音从树枝和树叶在图5 (c)由于树枝和树叶,这种类型的噪音相对较小。在图5 (d),有一个过度分割现象更加突出。因此,它可以观察到,关于光的变化,基于固定阈值分割不太适应。如果在强光条件下拍摄的图像,然后分割效果并不完美;另一方面,如果图像是在弱光条件下,它也可以显示过度分割的情况。数据5 (e)和5 (f)显示水果图像分割在基于动态阈值的大津算法,分别。从分割的效果,可以观察到它的果实分割效果较好。与基于固定阈值分割,其适用性的光强多了。

3.2。匹配识别测试

来验证是否匹配是正确的,我们需要使用匹配的概率进行相应的测试。苹果果实的照片拍摄于一个环境与自然光线被选中。为了增加匹配和大幅增加的难度大小,我们应选择尽可能复杂的背景,应该有多个苹果果实图像中。此外,我们还需要手动选择10个苹果,它的目的是用这些10个苹果作为目标水果和模板图像在同一时间。如图所示的细节6(一)。基于方程的计算值(4)、R∼G色差值和2 r-g-b色差值作为图像像素灰度值在这项研究中,和相关算法,快速消除平均值和规范化等产品,用于匹配的有效识别。它可以发现通过观察数据6 (b)- - - - - -6 (d)RG色差值后使用,目标水果(1)、(4)和(5)显示匹配错误。此外,我们是否使用灰度计算基于方程(4)或2 r-gb色差,其成功率可以达到100%。

3.3。干扰识别测试

的过程中逐渐接近图像的中心,由于不同的拍摄角度和不同的灯光效果,有可能是一些变化可能发生在对比度和亮度。因此,特别需要进行匹配的算法测试通过使用相关的方法。

一般来说,有两种方法来调整图像的亮度。第一种方法被称为非线性方法,和第二个被称为线性方法。当非线性方法用于调整图像的亮度,它可以很容易地导致巨大损失的图像信息,和图像调整后会相对平坦,没有坚实的层次结构。相反,当线性方法用于调整图像的亮度,调整后的图像通常显示了强烈的层次结构,这是比较现实的,生动的,自然的。因此,作者采用图像处理的方法来调整图像的亮度图6然后进行相应的匹配后调整。有一定的亮度变化和匹配概率之间的关系。如图的特定关系7。在这个图中,横轴上的负值代表逐渐降低亮度,和积极的价值代表亮度逐渐增加。它可以发现通过观察图的间隔内的亮度的变化范围是[-−35岁40]。只要是在这个区间内,匹配的概率可达100%。当亮度调整比较大或小,可能发生一定的匹配误差。然而,匹配的概率将大大减小。自相关捕获工作往往是在很短的时间内完成的过程中,逐渐接近图像中心,亮度的变化不是特别明显。因此,可以有效地满足的基本要求。

的调整之下,作者还进行了相关的处理使用photoshop,然后执行匹配识别匹配匹配概率的变化和对比。如图的特定关系8。负值此处指的是逐渐减少的对比,而积极的价值指的是逐渐增加的对比。它可以通过图表的观察发现,对比的变化不会影响匹配的识别,识别是相对准确的在所有的情况下。

3.4。算法比较测试

比较上述三种算法通过使用一些方法根据一定的规则来验证识别的速度。(1)算法1:首先识别算法适用于处理每一帧的动态图像。(2)算法2:首先识别算法适用于处理每一帧的动态图像。图像的相关信息用于后续的图像处理框架。(3)算法3:首先识别算法用于处理每一帧的动态图像。图像的相关信息应用于下一帧的图像处理。随后,相关算法有效地消除采用平均值和规范化。

我们假设,在接近图像中心的过程中,动态图像获得的视频传感器的数量是4框架,具体的像素大小为320×240,10套照片进行分析并根据一定的规则相比,通过使用一些方法。最后,相应的识别时间。算法1中的特定的平均时间是1.15秒,和具体算法2的时间是0.95秒。它可以观察到应用程序相关的信息可以减少处理时间17%。算法3中所花费的时间是0.74秒。因此,它可以看到应用程序的快速中值和归一化相关算法可以缩短处理时间,与一个特别明显的效果。1算法相比,减少了处理已达到36%。从上面的比较,就可以知道,本文中采用的设计方法有很大的优势,可以提高机器人的收割速度显著(表1)。

4所示。结论

通过实时图像信息处理,最全面的监控照明环境的变化可以完全实现,和颜色阈值也可以相应的调整在同一时间。通过这种方式,可以进行一定的图像分割准确性,所以图像信息从而获得更准确和客观的,相对的适应性。我们已经获得了实现基于不同的阈值分割算法的影响。与旧的方法相比,本文方法优越的有效性,识别时间也减少了一个令人印象深刻的36%。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

引用

1. h . d . Wang歌,d .他,“苹果采摘机器人视觉系统的研究进展,”农业Gongcheng学报/中国农业工程学会的事务,33卷,不。10日,59 - 69年,2017页。视图:谷歌学术搜索
2. s·m·佩尔森和i Sharf Sampling-based算法的机器人路径规划,“国际机器人研究杂志》上,33卷,不。13日,1683 - 1708年,2014页。视图:出版商的网站|谷歌学术搜索
3. 倪x, x,小王,小王,z姚明,和y妈,“选择设备的结构设计和图像识别研究苹果采摘机器人,”IFAC-PapersOnLine,51卷,不。17日,第494 - 489页,2018年。视图:出版商的网站|谷歌学术搜索
4. h . j .黄h . h .越南和t .涌,“Q (λ)基于向量方向的自主移动机器人路径规划问题,“言语交际,17卷,不。3 - 4、249 - 262年,2011页。视图:出版商的网站|谷歌学术搜索
5. w·d·赵x, y Chen,和c,“晚上图像识别对苹果采摘机器人,”中国农业机械学会的事务,46卷,不。3,第15 - 22,2015页。视图:出版商的网站|谷歌学术搜索
6. 美国田村和美国Maeyama”,建议路径跟踪和到来的判断方法使用目标向量在不平整的地面移动机器人的遥操作图像指出,“重症监护医学,45卷,不。3、183 - 189年,2011页。视图:谷歌学术搜索
7. 黄懿慧金,j·b·公园,w . s .儿子和t . s . Yoon”修改算法基于回旋曲线曲线的运动规划,“电子信件,53卷,不。24日,第1576 - 1574页,2017年。视图:出版商的网站|谷歌学术搜索
8. h . y . a .黄h . Wu Liu和z阴,“空间机器人系统的轨迹规划后再定位捕捉目标基于粒子群优化算法,”第十届国际研讨会论文集,2017年ICIRA2017年8月,武汉,中国,。视图:出版商的网站|谷歌学术搜索
9. 唐,d .赵w·贾,c . Yu j . Wei和c .阮特征提取和基于机器视觉识别应用在Lotus收获机器人施普林格,可汗,瑞士,2015。
10. k . k . Pandey, d . r . Parhi轨迹规划和目标搜索的移动机器人的环境中使用一个基于神经网络的方法,”Robotica,38卷,不。9日,页1 - 15,2019。视图:出版商的网站|谷歌学术搜索
11. h . z赵、g·l·杨和c . y .陈”使用3 d匹配选择和放置在你的机器人,”应用力学和材料卷,870年,第294 - 289页,2017年。视图:出版商的网站|谷歌学术搜索
12. 廖廖,y, j .谢”加载机器人避障轨迹规划改进RRT算法的基础上,“国际工程的核心期刊》第六卷,没有。5,209 - 213年,2020页。视图:谷歌学术搜索
13. 瞿y和z刘降维高光谱目标识别和导数光谱特性优化,“光和Electronoptic》杂志上,17卷,不。3 - 4、249 - 262年,2017页。视图:出版商的网站|谷歌学术搜索
14. h .小岛”,cp控制柔性机械臂轨迹规划使用遗传算法,”日本机械工程师学会的事务,卷68,不。670年,第1790 - 1784页,2017年。视图:出版商的网站|谷歌学术搜索

版权

版权©2021王丫。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。