文摘

提出了一种视觉污垢检测算法和一种新颖的自适应tiling-based选择性污垢区域范围方案可重构机器人形态。视觉污垢检测技术利用三层过滤框架包括一个周期模式检测过滤器、边缘检测、噪声滤波有效地检测和部分灰尘区域从复杂地面背景。然后适应tiling-based区域范围计划已被用来生成tetromino形态学的分割污垢。提出的算法在Matlab环境中验证与实际捕获的污垢图像和模拟tetrominoes瓷砖。实验结果表明,提出的三级过滤显著增强的泥土在传入的图像检测率与不同背景复杂的地板。此外,选择性污垢区域范围已经由不包括清洁区域的洁净区域的瓷砖地板上地图模式所产生的适应性tetromino瓷砖的算法。

1。介绍

在过去的十年里,移动机器人平台在安全领域发挥着举足轻重的作用,监测、实验室援助,医疗机器人和专业清洁任务。其中,自动清洁机器人越来越关注和高度竞争的市场由于高要求在家庭、医院、美食广场,和行业。通常,自动清洁机器人有不同的清洗模式,如清洁整个地区的自动模式,选择区域清洁模式清洁指定区域,特定地点和现货清洗方式清洗(1]。在这三种模式,选择区域清洁模式和现货清洁模式是具有挑战性的任务,这需要有效的污垢检测机制和最佳分段土地区区域范围规划。通常情况下,压电传感器或碎片光学传感器广泛应用于泥土检测在自动清洁机器人2- - - - - -4]。然而,这些传感装置能够检测传感器和污垢只有当它打击不能够识别灰尘密度和污渍在地板上2]。因此,这些设备不能预先确定所需的清洁工作取得更好的清洁(2]。

应用土检测自动清洁机器人是一个新兴技术(5- - - - - -7]。它提供了有效的解决方案检测各类污垢和污渍在地板上。此外,应用系统在本质上是被动的,不需要触摸检测身体的碎片。还可以检测和估计的密度残骸在地板上使用图像处理技术。通过建立污垢检测方案,自动清洁机器人可以预先确定脏和清洗领域,可以调整运营模式实现高效清洁。此外,机器人的清洗时间也可以减少排除已经打扫区域(2]。

安徒生et al。5)开发了一种视觉清洁传感器基于计算机视觉的自动清洁机器人和大功率发光二极管。清洁传感器检测到的区域并创建灰尘通过分析表面地图图像像素使用多变量统计方法。在[6,7],鲍曼等人采用光谱残余图像滤波器检测地板上的灰尘和污垢的形象,在最大滤波器响应和最小的滤波器响应的不同层模式被用来修复污垢阈值。然而,这显然是所示实验结果的检测比计划根据不同的表面大大不同。的灰尘和泥土建立检测算法(8),最大限度地稳定极值区域(女士)和精明的边缘检测技术用于识别尘埃颗粒在地板上,然后光谱残余过滤和RGB过滤器用于检测泥浆和它的颜色。Grunauer et al。9,10)提出了一个无监督灰尘点检测算法对工业清洗机器人,采用高斯混合模型(GMM)对RGB彩色图像识别和灰尘斑点的地板上。马丁内斯et al。11)提出了平面表面的污垢建立检测。作者使用RANSAC算法表面平面检测;然后采用中值滤波和阈值技术去除表面的背景和肮脏的地区。机器学习和模式提出了同时考虑污垢检测由蓝光et al。12]。作者使用事例的(再)分类器确定污垢粒子的大小和形状。然而,这些方法有一些实际的限制和缺点;检测比例是很大程度上依赖于表面纹理和未能检测到小型和微型污垢粒子在明亮的表面(6- - - - - -8]。

地板清洁机器人的另一个关键的挑战是部署合适的运动计划覆盖dirt-defined地区有效。一般来说,固定形态机器人使用随机游走,铺天盖地的,螺旋,曲折,结合模式的分段污垢区域(3,13,14]。Gylling提出了一种贪婪heuristic-based选择性区域覆盖地板清洁机器人简单向前和向后运动规划是用来覆盖的区域(13]。在[4Banerjee),李和直接利用模式涵盖了基于贝叶斯框架污垢地图。沿墙走算法由哈桑最灰尘累计覆盖地区等人在墙上和角落15]。赫斯等人提出poisson-driven污垢基于地图的选择性区域覆盖地板清洁机器人随机游走模式是用来覆盖随机位于污垢细胞(3]。然而,这些运动模式是理想的表面覆盖的空白,不能适应的复杂层任意形状有尖角,狭窄的空间16,17]。

可重构机器人形态可以覆盖的最大区域比固定的形态和任意空间机器人(18- - - - - -22]。Prabakaran等人提出了一种新颖的基于运动规划技术tetromino瓷砖算法可重构机器人形态hTetro(18]。在这里,斜tetrominoes(τ1 -τ4)和T-shapestetrominoes利用生成集群瓷砖模式有效地覆盖最大的工作区。作者提出了一个相同tromino瓷砖基于理论的运动规划方法hTromo机器人。该算法使用L -和I -trominoes模式生成集群瓷砖模式(23]。尽管上面提到的作品(18,23,24讨论整个区域范围使用tetromino和tromino瓷砖算法,他们不解决选择性污垢区域范围在一个给定的工作空间。

为了解决泥土直接选择性污垢区域范围的问题,提出了改进的视觉污垢检测算法使用一个三级过滤技术提高污垢检测率和选择性的新颖的自适应花砖算法灰尘区域范围。三层过滤框架集成周期模式检测滤波器(25),边缘检测滤波器,和噪音过滤器,在周期模式检测滤波器应用于过滤掉地板上的常规模式的形象;然后边缘和噪声过滤器是用来检测图像的肮脏的地区。最后,美联储dirt-mapped区域自适应tetromino瓷砖算法生成最优分段污垢瓷砖模式区域。这个工作可以申请提供的技术有效的地板清洁食品法院使用可重构机器人形态(例如,hTetro机器人)。

该算法在MATLAB环境下进行测试与ACIN [9),鲍曼污垢数据库(7),和真正的测试图像。实验结果证实了该方案实现更好的泥土检测率和增强选择性灰尘使用可重构形态学区域范围。

本文的其余部分组织如下:部分2解释了污垢检测和分割框架随后polyominoes花砖理论部分3。节4,我们目前的实验和讨论的结果数据集和数据记录在不同类型的地板表面污垢类型不同。最后,给出了结论和未来的工作部分5。

2。提出了污垢检测和分割方法

在这个工作中,假设大多数的室内地板展示正则模式可以很容易地检测和去除的图像处理技术。我们应用一个三级层模式的图像处理方案检测和删除输入的背景图像,只留下背后的肮脏的地区。之后,一个自适应花砖方案应用于这些分割区域选择性污垢区域范围。

图1说明了该应用的功能框图选择性污垢区域范围的计划。每个阶段的功能描述下面三级过滤。第二部分组成的自适应瓷砖节中描述3。

2.1。三级过滤

2.1.1。周期模式检测过滤器

这一步过滤掉地板的背景图像只留下肮脏的部分。在开始这一步之前,传入的图像进行预处理,例如,包括平面图像归一化和灰度转换。通常情况下,在空间域,在地板上周期性的模式会有不同的山峰在频域。这个属性被用来识别层模式和污垢从抓取的图像内容,作为典型层展览周期模式传入的图像中检测到地板上的周期模式检测过滤器。过滤器使用自滤技术计算出适当的滤波函数识别层模式的频率。它会自动变化的滤波函数根据地板背景图案。周期性的过滤器的过滤功能是通过计算确定的大小Fourier-transformed形象。数学上,周期模式检测过滤器描述如下。

最初,输入图像转换成频域通过应用二维快速傅里叶变换(Eq。1));然后使用周期模式检测过滤器使用Eq。转换后的图像(2)。 在哪里 过滤后的图像, 是Fourier-transformed源图像, 频域滤波函数。它可以由应用FFT移位操作Fourier-transformed源图像,然后选择最大日志组件,如方程式给出。(3)- (5)如下:

后计算滤波器函数 ,频率周期模式是抑制图像根据情商。6)。

最后,过滤后的图像 图像空间转换的频率空间与傅里叶反变换根据情商。7)。

2.1.2。边缘检测和增强

这一步执行边缘检测和增强地板上减去背景图像。由于高过滤效果在前一个阶段,脏的边缘部分略有模糊这可能扰乱视觉污垢在后期分析。它可以克服采用Sobel边缘滤波器有效地确定模糊区域的污垢。识别边缘后,弱边缘如图磨1。

2.1.3。噪声去除和污垢分析

一旦灰度图像增强了索贝尔过滤器在阶段2中,灰度图像被转换成一个二进制图像污垢检测分析在后面的步骤。二进制图像,很容易区分脏区域从背景中。灰度图像通过阈值转换为二进制图像。图1显示灰色的二进制图像在第三阶段转换。输出二进制图像周围残留噪声。它可以有效地去除由应用程序的二进制图像中值滤波。图1显示了实现中值滤波后的二进制图像。很明显,中值滤波器完全抑制噪声,而过滤器保护泥土的地区。在地板上的脏区域检测和分割在当前图像帧,三级过滤的输出反馈到下一个阶段,选择性污垢区域范围的自适应瓷砖。这一步需要找到合适的分段土地区集群模式。

3所示。Polyominoes瓷砖

polyominoes定理用于选择性污垢在这个工作区域范围。我们首先介绍一般polyominoes花砖理论。Polyominoes基本上是直线通过连接单元排列在广场(26]。通常,polyominoes可以分为无界的,片面的,静态polyominoes。这取决于空间对齐,几何突变和手性。例如,一组domino由两个polyomino相等的正方形的混合,可以单一片面的,单身自由,和两个固定的多米诺骨牌作为它的子组。同样的,triomino有三个polyominoes,通过它我们可以能够建立两个无界polyominoes两片面polyominoes,六个静态polyominoes [24]。在的情况下tetromino由四polyominoes,能够构建五无界,七单面的,19静态的tetromino。

3.1。自适应Tiling-Based选择性灰尘区域范围

本节描述如何tetrominoes瓷砖基于模式的可重构形态是用于有效地在分段土区域。的详细描述tetromino瓷砖算法和自适应花砖方案分段污垢区域范围规划描述如下。

3.1.1。Tetromino瓷砖理论

的tetromino瓷砖集群可重构算法生成形态的有效使用倾斜区域范围tetrominoes(τ1 -τ4)和T-shapestetrominoes(T1-T4),如图2(一个)和2 (b)。

案例1。让和是平铺的矩形的大小。矩形的区域必须是多方面的,(l×w)= 4n,在那里 。它表明,应该能被4整除。然后矩形区域可能通过T -组织覆盖tetrominoes如在图所示3。

例2。让l= 4和4≤w≤7,然后 矩形区域可能通过T -组织覆盖tetrominoes和斜tetrominoes如在图所示4。

例3。让w> 7和 ,然后w= 4n+r,在那里是一个整数。同样,它允许(4×的分裂w)矩形区域n(4×4)长方形和一个(4× )矩形。图5说明了不同大小的网格覆盖规划根据情况3。

3.1.2。自适应Tetromino瓷砖的算法

自适应花砖方案描述了有效的利用可重构形态学在分段土区域。它利用(4×4)(4×5)(4×6)和(4×7)集群tetromino瓷砖模式分段土区域。算法自动组分段土区和修复合适的集群tetromino瓷砖(s)的模式。例如,确定集群模式,捕获的区域划分成小矩形块如图6。每个矩形块的大小是等于一块模拟可重构机器人。矩形框全部或部分驻留在泥土的地图是瓷砖和分组(4×4)(4×5)(4×6)和(4×7)网格。矩形框外的灰尘地图是清洗区和排除在瓷砖的一代。然而,一些外面的矩形框附近土边界可能包括在分组以适应集群瓦集在泥土上的地图。自适应tetromino瓷砖算法中描述的算法1。

在图6地区(a, b, c, d)说明集群tetromino瓷砖组(s)是固定的自动根据这个算法。例如,该地区(a)的大小(4×10)与两套瓦(4×4)模式和一套(4×6)模式。同样,(4×12)大小的土地区(b和c)覆盖着三个(4×4)集群模式。下一个地区(d)(4×11)的大小是瓷砖一(4×4)和一个(4×7)模式。

3.1.3。与T-Trominoes

相比之下,t-trominoes(23),tetromino集群瓦集可以用更少的数量的覆盖面积最大的可重构的形状。例如,图7显示的比较分析t-tromino和tetromino瓷砖基于模式的区域范围为(4×6)网格,在那里t-trominoes需要8瓦集,而tetromino花砖方案只能用6瓦集覆盖这个地区。

此外,任何 网格可以通过集群瓷砖tetromino(4×4)模式(4×5)(4×6)和4×7集。但(3×5)的网格大小(3×7)和(3×9)不能由任何安排的t-trominoes瓦集(23]。因此,tetromino在覆盖模式有更大的灵活性最大的任意形状区域。

4所示。实验结果和讨论

两个不同的实验来验证执行的自适应选择土地区保险制度建立的工作。第一部分的实验是为了验证污垢与真正的泥土图像和图像检测算法从泥土数据库(7,10]。第二个是验证自适应花砖计划与污垢生成的地图。

4.1。泥土检测算法验证

视觉污垢检测算法验证了我们真正的污垢图像和ACIN [10和鲍曼污垢数据集7]。我们现时的数据库捕获不同地面背景的各种污垢材料如图8- - - - - -10。污垢的选择范围从一种颜色纸片段,木材废料,水果皮,花瓣,粮食和不同颜色的土壤和液体污渍。数据8- - - - - -10显示了我们的视觉算法的检测结果为不同的地板图片。发现污垢对象是由视觉映射污垢地图如图8。映射的结果和数值结果污垢检测率( )在表1表明,该计划提供非常低的假警报和达到更高的污垢检出率。

视觉污垢检测算法的鲁棒性评估通过测量泥土检测率(α)不同表面的各种污垢类型。算法的检测率是衡量计算上所有的区域(真正的)在一个二进制图像像素求和区域覆盖所有像素的图像。单个像素的面积是决定通过观察2×2的社区。表1显示了不同地面背景对象的检测率与不同类型的污垢。

从表1很明显,提出视觉污垢检测算法的检测率稳定不同的地板类型以及各种污垢。“茶颗粒”的最大变化是污垢。这背后的原因可能是茶颗粒随机分布就像马赛克模式在地板上。茶颗粒的大小也与马赛克谷物,所以检测比例不同。

4.2。使用泥土数据库

此外,我们验证了污垢与ACIN提出视觉算法的检测率10和鲍曼et al。7]污垢数据库。泥土数据库包含不同类型的污垢在家里拍摄的图像和办公环境光照条件不平衡和高频繁地板纹理。ACIN的检测结果和鲍曼的污垢数据库数据所示11- - - - - -16。

4.2.1。准备ACIN污垢数据库

提出了三级过滤应用于ACIN数据集不同污垢类型在不同的楼层(纸板、液体污渍和模糊地板与食物污渍)数据11- - - - - -13,分别。结果表明,我们提出的三级过滤分段的泥土从地板背景忠实。在图14,我们使用图片有不同程度的光照条件和应用该算法检测输入图像中的污垢。三级过滤器的输出检测灰尘污渍,即使在不同的光照条件。

4.2.2。鲍曼污垢数据库

提出了三级过滤应用于第二个数据集在[7)与污垢类型作为街道灰尘和树叶中给出数据15和16,分别。结果表明,我们提出的三级过滤分段两种污垢从地板背景忠实。

4.3。选择性污垢与自适应花砖区域范围

适应性tiling-based选择性污垢区域范围方案验证了视觉污垢地图来自两个不同的测试床的大小(400×160厘米)如图17和18。获取污垢地图,各种类型的污垢分散在试验台和图像捕获断言便携式可视化工具模块(27]。的可视化工具模块由5像素,180°FOV CMOS相机传感器,四个红外标记测量集中区域,调整相机的高度灵活的手臂,摄像机头倾斜从90−90度。捕获面积的大小(400×160)厘米,相机的高度调整到100厘米,斜45度角向下射击区域如图19。数据(17日)和(18日)显示了两种类型的测试床:试验台1是一个马赛克地板,试验台2有瓷砖。数据17和18 (b)展示各自的泥土地板捕获图像地图生成的改进污垢部分中描述的检测算法2。

获得视觉污垢地图后,自适应花砖算法已经应用于视觉污垢地图。数据17和18 (c)说明了tetrominotiling-based选择性污垢区域范围方案分段灰尘污垢地区地图自动分成一组(4×4)(4×5)(4×7)等,根据自适应花砖算法。例如,在图17 (c),生成的地图显示的灰色区域清洁区域,和其余地区充满了一些泥土。分段土地区可以覆盖使用瓷砖模式(4×5)(4×4)和(4×7)。在图17 (c),完全脏地区覆盖42号(4×4)瓷砖(蓝色),而部分脏地区覆盖(4×5)瓷砖(绿色)安排两次,(4×7)瓷砖(黄色)只安排一次。在图18 (c),瓷砖(4×5)和应用(4×7)两次,(4×4)29次。结果通过这项工作证明自适应tiling-based方案可以应用赫芝选择性最大覆盖的泥土。

4.3.1。选择性污垢区域范围验证不同距离

分析污垢图谱选择性区域范围、泥土洒在400×160厘米试验台地区不同距离(例如,150厘米和350厘米)的可视化工具模块如图20.和21。数据20.,21 (b),21 (c)显示了污垢地图生成和自适应tiling-based污垢区域范围,分别。

获得的结果显示,该应用泥土检测方案能够识别的泥土包围400厘米距离当前位置。同样,污垢生成的任意形状区域可以通过使用自适应可重构形态覆盖最大花砖图案。

4.3.2。与现有方案相比

生成的泥土地图,在赫斯et al。3Banerjee)和李和(4)计划,清洁设备移动整个工作区一旦收集灰尘的信息。它需要额外的时间和精力在穿越目标区域。而在该方案,可重构形态学清洁机器人可能需要同时遍历图像目标区域,并通过应用技术提出了工作,可以发现其强度和应用适当的清洁污垢和模式。此外,自适应花砖方案提高了最大土面积瓷砖受限区域覆盖的操作区域。

5。结论

在这项工作中,我们提出了一种选择性污垢区域范围方案可重构基于视觉污垢探测技术和形态学polyominoes花砖理论。三层过滤框架是用于有效的泥土地板检测和分割从复杂的模式。实验结果证明提出的污垢检测算法是高度可靠和健壮的不平衡光照条件和高频繁的地板材质和能够检测未知的表面上的污垢没有任何以前的知识。此外,选择性污垢区域范围最大化通过瓷砖模式所产生的适应性tetromino瓷砖的算法。视觉污垢的集成检测和polyominoes tiling-based区域范围将有效降低地板清洁努力通过选择肮脏的地区通过最优模式生成。在未来的工作中,我们有选择性区域清洗策略提出的计划来实现一个真正的可重构机器人hTetro在SUTD开发的。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作由国家资助机器人研发项目办公室,新加坡,在批准号RGAST1702,新加坡大学的技术和设计(SUTD)和工程技术大学的拉合尔(UET),巴基斯坦,授予博士后研究离开,感激地承认进行这项研究工作。