障碍区域3 d感知方法,移动机器人基于视觉特点

文摘

一种新的移动机器人3 d感知障碍区域方法在基于改善室内环境突出区域提取(ISRE)提出。这个模型获得的原始图像Kinect传感器,然后获得原始显著地图(OSM)和强度特性显著(IFM)从原始图像的滤波算法。IFM被用作输入中子相。为了使点火范围更加精确,相点火脉冲输入进一步加强如下:点乘法算法之间是相内部神经元和二值化突出OSM的形象;然后我们确定最后的点火脉冲输入。的显著区域二值化抽象通过改善相多个迭代终于完成了。最后,二值化区域映射到深度Kinect传感器获得的地图,和移动机器人可以实现障碍定位功能。该方法在移动机器人(Pioneer3-DX)。实验结果证明了该算法的可行性和有效性。

1。介绍

近年来,机器人已经大量的被应用在许多领域。特别是,移动机器人发展迅速帮助人类完成困难的任务。为移动机器人,实现高效的视觉信息处理环境因素显然是重要的,这样的方法建立避障系统需要识别障碍和描述它们在数学上给了避障策略一直是一个热门的研究焦点。

目前,基于视觉信息的障碍识别和分割方法主要包括四种类型(1]。Ohya et al。2)提出了一种基于模型的方法用来定位障碍;障碍检测通过计算边缘之间的差异估计从3 d环境模型和实际相机图像的边缘检测。然而,他们的研究结果未能发现棕色的盒子在50%的情况下。为了解决这些问题,我们提出一个自动障碍区域提取算法,基于视觉注意力的特点。模拟人类视觉系统的惊人能力,视觉显著算法可以很容易地从图片和视频检测突出视觉的子集。加缪et al。3)开发了一个模型,该模型只使用实时图像流分流,避免开车时的障碍向指定目标方向在实验室包含办公家具和机器人和计算机设备。这项工作的主要贡献是一个简单的演示,健壮,最小系统使用flow-derived措施来控制转向和速度,以避免长时间实时碰撞。但是这种方法只使用可观察到的图像信息表示在2 d图像序列。它不能表达真实的用户环境需求的足够信息。与现有的方法相比,我们的方法可以实现3 d感知障碍区域有效地利用移动机器人的Kinect传感器系统。香港et al。4)描述了本地方法基于功能相关性。根据一定标准,“特征点”从每个视图选择和搭配特征点在其他视图中通过计算衡量相似性特征点周围的两个窗口。Bing et al。5)建立了一个模型,根据光学行为状态可以生成机器人地面流场的变化而移动。但对于噪音、阴影和遮挡现有计算光流不够精确和可靠的,而光流场计算也耗时。

考虑机器人的运动障碍区域的相对位置在机器人的视图会改变;因此,阻碍区域提取可以被转换为一个运动区域提取的问题。在此基础上,本文提出了一种新的障碍区域定位法在室内环境中,应用于移动机器人。确保移动机器人可以通过合适的路径,机器人需要检测和定位障碍的道路。首先,Kinect生成的场景图像传感器。然后,移动机器人系统收益OSM和IFM突出原始图像的滤波算法。指的是改善相理论,我们点之间相乘法算法采取内部神经元和二值化突出OSM的形象;然后我们确定最后的点火脉冲输入。最后,突出区域二值化抽象被提高;再利用多次迭代实现。在此基础上,获得的二值化区域映射到深度映射通过Kinect传感器和移动机器人可以定位障碍(6]。

本文的其余部分组织如下。节2总体设计是解决。部分3介绍了ISRE科幻算法与相算法的方法。部分4描述了ISRE算法在移动机器人的优势之后,实验结果和分析。结论和未来的工作进行了讨论5。

2。我们的模型的概述

实现障碍信息,新的障碍区域定位方法应用于移动机器人识别和位置等优点的障碍。应用程序的细节图所示1。

一般来说,完成任务的位置,这个方法可以分成三个部分7]。一个是感知形象。这部分的目的是通过Kinect传感器获取场景图像。另一个显著区域提取。这部分旨在获得OSM IFM科幻原始图像的算法首先,然后IFM被作为输入中子相,最后突出;再利用抽象实现了改进的二值化区域。最后一个是获取深度信息和定位障碍。对于这部分,突出二值化区域映射到Kinect传感器获得的深度图;我们可以获得深度的障碍地图和定位障碍。

3所示。算法的体系结构

为了确定移动机器人障碍,首先需要认识到移动机器人障碍。在本节中,我们使用ISRE方法结合科幻算法(8与相算法)。该方法提取原始图像特点和强度特性图像基于科幻算法(8];所有像素的强度特性形象被视为输入神经元相。为了达到更精确的火花的范围,ISRE算法改进的输入相引发脉冲完成显著区域二值化抽象的多次迭代。然后,根据障碍的深度地图,移动机器人可以获得信息来定位的距离障碍。

3.1。ISRE方法

如上所示,ISRE算法是一个混合模型,模拟人眼的生理过程。ISRE算法主要有6个步骤。

步骤1。获得OSM和IFM通过图像的粗分割。

步骤2。IFM的每一个像素被认为是相的输入神经元。

步骤3。每一个外部刺激形式当地刺激通过突触连接的重量。

步骤4。通过连接调制增益相的内部项目。

第5步。改善相的点火脉冲。

步骤6。通过多次迭代生成二进制的显著图。

流程如图2。图2(一个)是原始图像。原始图像首先被抽象成感知均匀的元素,如图2 (b)。每个元素表示的意思是颜色的像素属于它。然后,两个对比措施每个元素基于元素定义的独特性和空间分布。第一个对比测量实现是一个普遍采用假设图像区域,在某些方面从其他地区脱颖而出,吸引我们的注意力,因此应该标记更突出,如图2 (c)。第二对比测量实现呈现独特的元素更突出当他们被组合在一个特定的图像区域,而不是均匀分布在整个图像,如图2 (d)。图2 (e)是原来的显著地图(OSM)和图2 (f)是地图(IFM)强度特性。图2 (g)是最后的显著图与我们ISRE方法。

一步将节中描述3.2。部分3.3描述了具体步骤的过程和3。一步在部分将讨论吗3.4和步骤和6将在部分3.5。

3.2。障碍显著区域提取单元

卓越的地图科幻算法(8)没有克服的缺点对比不同模型将基于单一的全球视野。换句话说,当高强度地区的背景下,它会提取背景的显著区域,如图3 (b)。提到这个问题,ISRE模型利用分割是从粗到细。首先,我们与科幻算法进行粗分割,然后用改进的相细分割图像的算法,并完成显著区域二值化抽象最后,如图3 (c)。

3.3。相输入单元

原始图像获得OSM,通过科幻IFM算法。其具体过程分为四个步骤。

步骤1。输入原始图像进行超像素分割。

步骤2。提取每个元素独特的超像素。

步骤3。衡量整个图像的分布;也就是说,指的是某些地区元素和突出特点,呈现深度。

步骤4。保险丝的一步与步骤并确定OSM, IFM。

IFM的元素被认为是相的刺激输入吗(9];与此同时,突触连接权重和当地的刺激(9通过结合形成8个社区的地区。的价值是由距离中心像素边界像素。的价值表明

3.4。调制单元

调制单元的主要功能是耦合调制外界刺激的主要输入和当地的刺激输入连接所示(9] 在哪里是神经元和内部项目是突触之间的连接强度系数。价值更高;8个社区的神经元对中枢神经元有更多的影响。的价值是0.4。

3.5。脉冲发生器单元

人类生物视觉流程的一个重要特征是视觉注意力的变化场景的变化。为了准确模拟过程,ISRE算法改进传统相点火脉冲单元。具体步骤可描述如下。

步骤1。OSM的像素75%最大非零灰度值,并将其值设置为1(白色),以定义一个凸起地区的最大射程。别人的值设置为0(黑色)来定义特定的背景区域。也就是说,我们取得了OSM OSM_C二进制图像。

步骤2。神经元的内部项目和OSM_C行为点积来确定最后的点火脉冲输入所示

步骤3。的神经元的动态阈值决定。这一过程给出了如下: 在哪里(9是指数衰减系数的传统相的动态阈值。
的价值是0.3。

步骤4。比较最多与动态阈值确定所有的神经元的值范围和生成定时脉冲序列,见

经过多次迭代,我们终于完整的提取二进制显著地图。的准确性ISRE迭代次数有关;迭代次数越多,精度越高。但增加迭代的数量需要很多时间。经过反复测试,我们选择三个迭代。迭代的数量ISRE模型抑制人类视觉神经系统的影响;也就是说,它可以有效地抑制噪声的重要目标区通过孤立的神经元或小面积点火。

3.6。3 d感知障碍区域

随着新的传感技术,二维彩色图像(RGB)随着深度地图(D)现在可以获得使用低成本的传感器,如微软的Kinect摄像头风格(10]。每像素深度映射提供了深度信息使用一个红外激光投影仪与摄像机相结合。虽然没有提供一个真正的3 d网格,RGB-D图像提供了更多的信息比传统的二维彩色图像捕获的对象。RGB-D图片已经被应用于各种通用对象识别等任务,表面建模和跟踪、室内环境建模,人脸识别,发现场景中的对象和机器人视觉(11- - - - - -13]。自从RGB-D形象的本质从Kinect和常规3 d地图有根本的不同,现有的基于视觉显著障碍定位技术可能对这些图片不能直接适用。Kinect的深度图的每个像素值表示的相对距离,从传感器像素的图像捕获。重要的是要利用两个RGB和深度数据的特征提取和分类。

为了找到这些障碍,我们获得深度图的障碍通过二值化区域映射到Kinect传感器收集的深度图,然后计算障碍和机器人之间的距离 在哪里代表机器人和障碍物之间的距离,意味着深度图像的价值,和深度图像的行和坳。

4所示。实验结果

4.1。标准数据库的结果

验证ISRE算法有效地提取图像显著,做对比实验在两个方面:视觉效果和客观定量数据比较,基于对1000年的原始图像的数据库和提供的重要的真正价值14,15)和数据库的现有7个显著提取算法。视觉对比实验结果如图4。

从图可以看出,第二列算法(16)未能充分突出的重要区域。第三列SR算法(17)只关注显著边缘的提取,但失去了内部信息。第四列GB算法(18),第五列MZ算法(19)模糊的提取效果。第六列英尺算法(15)和第七列AC算法(20.整体性能更好,但效果并不好当重要的背景太浓。例如,网格的图像在第三行和第四行竹子的形象被视为显著区域提取出来。第八列科幻算法(8]是ISRE的基础模型,更准确地提取显著区域在不同类型的场景中,而相比之下,实际价值提取效果仍需改进时重要的区域优势和亮度有很大的差异。第九列是最后的点火脉冲输入结果根据本文提到的算法;整体效果有明显改善的基础上科幻算法;关于叶的提取图像的区域在第四行和图像的鹅翅膀在第二行有显著提高,成为接近价值十行(地面真理,GT)。

为了进一步验证该算法更客观,我们需要咨询15)和设计三个实验项目的定量计算(16,老17],GB [18],MZ [19),英国《金融时报》(15),CA (1,交流20.,科幻小说8),和ISRE算法获得客观的比较实验数据。所有的三个协议由(12)进行比较的显著区域提取的显著的像素数量算法和真正的区域的像素数量,然后计算他们的回忆,精度测量值显示在(7)。所不同的是,实验1使用自定义阈值划分二进制显著地图,每个数据库的图像结果显示曲线图表,而实验2使用自适应阈值划分二进制显著地图,每个数据库的图像结果显示直方图图。结果是图所示5。

安全域(发现突出的地区)是重要的区域计算列。中提到的参考标准(21];也就是说,为了避免过高的价值也许导致的召回提取更大的重要区域,我们应该设置提高精度的比例。

从图可以看出5(一个)每个图像的提取影响数据库基于ISRE列在本文提到的改善或改变算法相比基于科幻小说。根据图5 (b),查准率、查全率和ISRE算法的测量可以达到0.891,0.808,和0.870,明显高于其他八列:

4.2。平均绝对误差

为了证明,ISRE算法的提取结果更近似于二进制地面实况GT。对于一个更加平衡的比较,考虑了这些影响,我们也因此评估之间的平均绝对误差(MAE)连续凸起地图(阈值)和二进制地面实况GT,平均绝对误差被定义为 在哪里和的宽度和高度是各自的特点和地面实况图像地图。图6显示相同的方法美测量ISRE和GT非常近似。ISRE的算法美测量是0.610和0.599 GT是。美几乎是相等的。这表明我们提取接近GT,如图6。

4.3。实际场景的结果

4.3.1。系统硬件平台

该平台用于环境勘探是美国移动机器人Inc.3 Pioneer3-DX嵌入式Kinect,见图7。

该机器人重达9公斤,身体的机器人44厘米×38厘米×22厘米。它拥有两个驱动轮和从动车轮,驱动车轮的半径达到4.5厘米。Kinect是一个新的Xbox 360和广泛使用的设备。Kinect的兴趣在增加计算机视觉由于其优势提供3 d环境的和低成本的信息。该设备包含一个RGB相机,multiarray麦克风和深度传感器。使用这些传感器,Kinect执行深度测量的光编码和捕捉全身3 d运动。三个软件系统需要安装驱动Kinect,“OpenNI”、“SensorKinect”,“夜间”。版本号“OpenNI”,我们使用的是1.5.2.23。

4.3.2。3 d感知障碍区域

进一步验证的有效性ISRE算法在移动机器人上,我们使用该算法来提取显著区域的场景图像在我们的实验室,并提取对象设置为3;有篮球、砖块、纸箱;实验结果如图8。

移动位于位置时,ISRE识别的砖块,砖块和机器人之间的距离可以计算(6);这是1436毫米。我们纪念这个机器人的位置和测量距离真正的统治者。被定义为真正的距离。值是1458毫米。同样,当机器人位于位置B, C, D, E和它能认识到砖头,篮球,和纸箱,和距离,分别是1273毫米,1108毫米,1704毫米,2378毫米,而真正的距离,分别是1301毫米,1084毫米,1741毫米和2359毫米。相对误差不超过5%。我们还可以看到从图8该算法模拟人类的视觉;可以达到准确识别目标对象,检测地面障碍和定位功能的障碍。Pioneer3-DX动作时,障碍距离信息是通过同时障碍的深度图像。尽管提取可能完全不同在不同的场景,有一个问题,可能会丢失一些重要的信息。

4.3.3。对比实验

障碍区域3 d感知策略基于ISRE方法用于与科幻方法在同一场景中我们的实验室。实验结果显示在图9。

在这个实验中,机器人开始在红色节点位置显示在右一半的图9。许多障碍是不小心在我们的实验室。机器人移动路径与方法和科幻方法在同一场景中分别由黑色和黄色的颜色显示。我们可以发现,当高强度地区是在后台,科幻方法将提取背景的障碍区域(红线包围的区域在图的中间9)。机器人移动路径将受到这些错误的区域的影响。所以,从右边图的一半9,我们可以看到,避免路径依赖ISRE朝着最优的路径和方法显然比只取决于短科幻的方法。

5。结论

本文提出了一种新的3 d感知障碍区域的方法,在室内环境中移动机器人基于视觉特点。移动机器人可以准确地提取和认知障碍的实验环境。ISRE算法改进的基于相算法提取效果显著。当一个高亮度背景中存在显著的区域,科幻算法(8)将提取显著区域背景。提到这个问题,我们使用相来提高科幻算法通过模拟人类视觉的生物过程。显著区域二值化抽象,完成了改进相用迭代。为了使点火范围更准确,我们使用一个自适应阈值方法来改善点火脉冲单元的原始相模型。对比我们的方法的性能,我们做了一些定性和定量实验基于标准的图像数据库。的提取算法更接近真实值。在真实场景图像显著区域提取测试该算法还显示精度高,进一步证明了有效性和效率。该方法进行Pioneer3-DX。实验结果表明,该方法可以准确定位障碍和强劲,满足实时的要求。

在后续研究中,我们将利用颜色和纹理信息的原始图像的显著区域恢复丢失重要的信息,使提取真实的场景更接近人类视觉意义。在进一步的研究中,该算法对目标识别和跟踪的功能,障碍检测和三维重建等将被考虑。

利益冲突

作者宣称没有利益冲突有关的出版。

承认

研究工作是由中国国家自然科学基金(61175087和61175087)。

引用

1. s . Goferman l . Zelnik-Manor, a Tal,“环境敏感特点检测”《IEEE计算机学会学报计算机视觉与模式识别会议(CVPR 10)2383年,页2376 - 2010年6月旧金山,加州,美国。视图:出版商的网站|谷歌学术搜索
2. a . Ohya a小坂,a .谷湖”建立由移动机器人导航与避障使用单摄像机视觉和超声波传感、”IEEE机器人和自动化,14卷,不。6,969 - 978年,1998页。视图:出版商的网站|谷歌学术搜索
3. t·加缪d·库姆斯·m·赫尔曼et al .,“实时single-workstation避障只使用广角流发散,”Videre,1卷,不。3、323 - 330年,1999页。视图:谷歌学术搜索
4. b . j .香港x Tan Pinette, r·维斯和e . m . Riseman“基于图像的归巢”,电机控制系统,12卷,不。1,38-45,1992页。视图:谷歌学术搜索
5. l . Bing h . Bing-rong s光,“视觉行为模型基于光流处理,”《航天,24卷,不。5,页463 - 467 2003(中国)。视图:谷歌学术搜索
6. D.-L。Dinh蔡明俊。Lim: d . Thang s . Lee, t·s·艾。金,“实时3 d人体姿势恢复从一个深度图像使用主方向分析,“应用智能第41卷。。2、473 - 486年,2014页。视图:出版商的网站|谷歌学术搜索
7. s . m .贾x赵,w . b .曲,和y,“生物免疫系统应用对移动机器人的残疾人,”机器人杂志705198卷,2014篇文章ID, 6页,2014。视图:出版商的网站|谷歌学术搜索
8. f . Perazzi p . Krahenbuhl y Pritch, a .霍农“卓越过滤器:对比基于过滤显著区域检测,”《IEEE计算机视觉与模式识别会议(CVPR 12)IEEE,页733 - 740年,普罗维登斯,RI,美国,2012年6月。视图:出版商的网站|谷歌学术搜索
9. 托马斯l和m . k .杰森,使用脉冲耦合神经网络图像处理施普林格,纽约,纽约,美国,2013年。
10. m·g .他,:美国Bharadwaj Vatsa, r·辛格“RGB-D脸上识别使用Kinect,”学报第六届IEEE国际会议上生物识别技术:理论,应用程序和系统(bta”13)IEEE,页1 - 6,阿灵顿,德克萨斯州,美国,2013年10月。视图:出版商的网站|谷歌学术搜索
11. l . Bo,任x和d·福克斯,“深度内核对象识别描述符,”《IEEE / RSJ智能机器人和系统国际会议,页821 - 826年,旧金山,加州,美国,2011年。视图:谷歌学术搜索
12. 诉Lepetit y公园和w .哇,”Texture-less对象跟踪和在线训练使用RGB-D相机,”学报第十届IEEE国际研讨会上混合和增强现实(ISMAR 11)IEEE,页121 - 126年,2011年10月在瑞士巴塞尔。视图:出版商的网站|谷歌学术搜索
13. a . Ramey诉Gonzalez-Pacheco, m . a . Salichs”低成本RGB-D传感器集成在社交机器人对于手势识别,”学报第六届ACM和IEEE国际会议上人机交互(HRI 11)瑞士洛桑,页229 - 230,,2011年3月。视图:出版商的网站|谷歌学术搜索
14. d·马丁,c . Fowlkes d·塔尔和j·马利克,“人类自然图像分割的数据库及其应用评价分割算法和测量生态数据,”学报》第八届IEEE计算机视觉国际会议(ICCV ' 01),卷2,页416 - 423,IEEE,温哥华,加拿大,2001年7月。视图:出版商的网站|谷歌学术搜索
15. f r . Achantay s Hemamiz Estraday s Susstrunky“Frequency-tuned显著区域检测,”《IEEE计算机学会学报计算机视觉与模式识别会议研讨会(CVPR ' 09)1604年,页1597 -迈阿密,佛罗里达州,美国,2009年6月。视图:出版商的网站|谷歌学术搜索
16. A . l .霍奇金和A·f·赫胥黎“膜电流的定量描述及其应用在神经传导和兴奋,”《生理学,卷117,不。4、500 - 544年,1952页。视图:出版商的网站|谷歌学术搜索
17. x侯和l .张“卓越检测:光谱残留的方法,”《IEEE计算机学会学报计算机视觉与模式识别会议(CVPR ' 07),页1 - 8,明尼阿波利斯,明尼苏达州,美国,2007年6月。视图:出版商的网站|谷歌学术搜索
18. h·乔纳森·k·创造者,p .彼得罗,“基于视觉特点,”诉讼第20届年度会议上的神经信息处理系统552年,页545 -温哥华,加拿大,2006。视图:谷歌学术搜索
19. Y.-F。马和周宏儒。张“Contrast-based形象关注分析通过使用模糊增长,”学报》第11届ACM国际会议多媒体(多媒体' 03)ACM,页374 - 381年,伯克利,加州,美国,2003年11月。视图:出版商的网站|谷歌学术搜索
20. r . Achanta f·j·埃斯特拉达,p .会et al .,“显著区域检测和分割,”学报第六届国际会议上计算机视觉系统圣托里尼岛,页66 - 75年,希腊,2008年5月。视图:谷歌学术搜索
21. m m。程,G.-X。张:j . Mitra x黄,S.-M。,“全球对比显著区域检测,”《IEEE计算机视觉与模式识别会议(CVPR 11)IEEE,页409 - 416年,普罗维登斯,RI,美国,2011年6月。视图:出版商的网站|谷歌学术搜索

版权

版权©2015道徐等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。