移动机器人同时定位和地图基于单眼相机

文摘

本文提出了一种新颖的单眼的大满贯(同步定位和映射)算法建立移动机器人。在这个方法中,跟踪和映射过程分成两个独立的任务和并行执行的线程。在跟踪线程中,地面特征估计方法是用来初始化算法约束移动的移动机器人。和一个初始地图是由呈三角形匹配特性进行进一步的跟踪过程。在映射线程,一个纵向搜索过程是利用寻找匹配特性。homography-based例外拒绝方法采用拒绝不匹配特性。室内实验结果表明,该算法有很大的性能地图构建和验证该算法的可行性和有效性。

1。介绍

成功实现自治或半自治任务,协助日常人类活动,建筑环境的3 d几何映射成为移动机器人的基本问题之一。在计算机视觉的社区,跟踪和映射的稀疏特性可以很容易地进行实时跟踪,用一个手持相机。现有Structure-from-Motion (SFM) (1)和基于过滤器同步定位和映射(大满贯)(2)方法研究了近年来为了同时估计自由移动相机的姿势和环境的稀疏空间结构3]。

计算机应用方法为机器人定位和环境识别提供巨大的优势。因此,许多研究致力于扩展移动机器人视觉技术平台。最近,它已被证明是可能的估计使用单眼相机实时轨迹。典型的基于过滤器的愿景大满贯是戴维森提出用一个相机。戴维森的工作,一个概率过滤用于跟踪和特征映射程序一致的场景地图和相机姿势估计相对实时协调(4]。罗耶等人提出了一个单眼视觉移动机器人定位系统和自主导航的SFM大满贯(5]。罗耶et al。的工作,一个稀疏的3 d地图构建的视频序列的学习步骤。然后稀疏图被用来定位机器人的学习路径或一个稍微不同的路径。特别是,克莱恩和莫里提出了一个著名的SFM-based视觉大满贯命名加以改进(平行跟踪和映射)6,7]。本文方法,映射和跟踪被分成两个单独的任务和并行执行的线程。跟踪线程,健壮的姿势估计计算相机的功能检测和匹配。在映射线程,通过纵向搜索过程的特性是分析建立映射。最近,加以改进算法已经广泛应用了初始猜测一些密集的映射系统(8,9)或机器人系统的定位方法10- - - - - -12]。福斯特等人提出了一种半直接单眼视觉测距算法在某种程度上不同于加以改进(13]。在他们的工作,特征提取时只需要选择一个关键帧初始化新的3 d点。在跟踪步骤中,对应的特性是一个隐式的结果直接运动估计(14]。三角特性的异常值测量的深度,深度估计贝叶斯滤波器用于功能位置。

精神通过上述工作,本文旨在提出一个健壮的移动机器人基于一种改进的算法加以改进。本文的主要贡献是提出了一个初始化方法,利用地面特征和homography-based约束用于拒绝不匹配特性。假设一个摄像头是固定在移动机器人上飞机开始移动。在初始化过程中,移动机器人构成大致是局部使用homography-based姿势估计方法与特征跟踪帧。当移动机器人的距离是5厘米,地面功能构成估计执行来实现机器人的精确定位。和相机的姿态计算通过使用摄像机和机器人之间的翻译。然后,建立了初始地图通过综合这些匹配特性。这个初始化过程后,算法开始跟踪机器人通过使用加权投影误差函数。实现一个关键帧时,执行程序实现的映射匹配特性通过纵向搜索和匹配的所有功能将受到考验homography-based约束为离群值被拒绝。优化生成的地图,本地和全球束调整也调整算法加以改进。 The indoor experimental results demonstrate the feasibility and effectiveness of the proposed algorithm.

剩下的纸是组织如下:在部分2,该算法的每个部分详细解释。部分3介绍了我们的系统的实验结果在现实环境。最后,结论是勾勒出未来的工作部分4。

2。算法结构

该算法的整体结构如图1。遵循原文的结构加以改进算法,该算法分为两个独立的线程的跟踪线程和线程映射。在跟踪线程中,precalibrated相机固定在移动机器人捕捉实验场景的照片。然后,地面采用基于功能的姿态估计算法实现高质量的初始映射为进一步摄像机跟踪过程。机器人位姿估计初始化后,通过最小化加权投影偏差能量函数。当选择一个关键帧,映射过程将开始在其他线程中。检测到新地图点通过使用之间的纵向搜索新的关键帧和其最近的关键帧。摆脱不匹配特性,利用homography-based约束拒绝异常值,实现一个清晰的和高质量的3 d稀疏地图构建。最后,局部和全局包是用来调整达到一个优化的地图。

2.1。参数定义

让代表一个3 d的坐标点在摄像机坐标系和定义表示归一化图像投影坐标。针孔照相机,3 d点的投影在图像平面上出现 在哪里是投影函数。这个词指定的内在参数矩阵;也就是说, 在哪里焦距表示在单位的水平和垂直像素,而表示图像的主点坐标平面。值得注意的是,上述线性模型无法描述一个广角相机。在这工作,符合Devernay提出的数学模型和Faugeras15),扭曲的图像之间的几何约束映射投影(下标)和相应的无畸变的位置(下标)制定 是径向距离;也就是说,。我们使用相机的姿势对世界的参照系 在哪里是一个4×4矩阵描述相机的姿势每一帧相对于这个世界,表示旋转矩阵,代表翻译向量。转换的形式相机的参照系的世界,这样。

假设相机固定在移动机器人是一个不断变换所描述的转换作为显示在图1。让是描述机器人的相对运动的转换在一个时间步时相机捕捉两个图像。自是一个常数,相机的相对运动捕获的两幅图像之间的参照系机器人的运动有关,可以通过平面参数化运动机器人的如下: 在哪里。

2.2。初始化算法

随着地面特征有时比上面的更丰富空间的室内环境,地面采用基于特征定位算法初始化改进的算法加以改进。两个抓取的图像(生活和参考)相同的地平面相关的平面单应性矩阵。两个相应的功能和,单应性矩阵变换特征坐标参考图像中实时图像中的像素,取决于相机运动和参数地平面的参考相机坐标系: 在哪里工厂的规模。和很容易被使用预先计算的相机标定方法。

相机的姿势可以通过最小化能量函数如下: 在哪里是homography-based投影误差。

随着nonground姿势估计特性有很大的影响,地面特征检测和姿态估计算法表示为(8)根据homography-based姿态估计算法和一个3 d场景流深度估计算法: 在哪里是地面的深度特性;是一个3 d场景的深度估计流深度估计算法。显示功能是否被放置在地上。只有当,。措施的投影误差由深度特性。是3 d点的坐标对应特性与深度。

为了优化这个提议的地面特征检测模型,一个交流计划利用更新或在每一个迭代。完整的程序迭代显示如下:(一)修复;解决

优化这个能量函数的一阶泰勒展开式在执行。然后,误差函数 在哪里。

最后,一个高斯牛顿迭代步骤是获得有效地优化误差函数。能量函数的解决方案

机器人位姿的更新过程是应用如下: 在哪里最后解决方案的评估和吗是一个小更新估计参数化。在这种方法中,我们需要评估成本函数的偏导数在解决方案。误差函数的推导计算每个特征点的偏导数: 在哪里是th的发电机组。(b)修复;解决

能量函数可以通过迭代来解决以下方程: 在哪里雅可比矩阵的投影函数评估点u;。一般来说,它只需要3 ~ 5次迭代达到收敛的解决方案。(c)重估通过使用。(d)迭代不会停止,直到地面特征不再改变或到达最大迭代。(e)当检测到所有的地面特征,所有的地面特征被用来实现更精确的姿态估计的m-estimation计划(9)。加权能量函数描述如下: 在哪里是图基biweight函数(16]和 在哪里的中值价值吗,是健壮的标准差,图基特定常数。

图3说明了该算法的初始化。首先,该算法跟踪特性使用patch-based方法如图3(一个)。跟踪所有功能被视为原始姿势估计通过求解地面特征(9)。当移动机器人的翻译大约是5厘米,地面特征检测和姿态估计算法进行移动机器人的精确定位。在图3 (b),所有的地面特征检测到通过使用该算法,可靠和准确的评估是通过使用m-estimation方案。移动机器人的精确定位,所有匹配特性分析建立了地图构建和初始地图后,纵向搜索过程,如图3 (c)和3 (d)。它表明,该算法能够检测所有的地面特征,实现高精度姿态估计中初始化。

2.3。跟踪程序

准确的摄像机构成的决心是需要一致的单眼地图构建,这个过程的目标是找到一个旋转矩阵和翻译向量这当前相机坐标系变换到全球的世界。在这部作品中,最佳姿势是派生的迭代一个健壮的目标函数最小化reprojection误差加以改进算法中使用的图像平面: 在哪里是投影误差。代表图基biweight函数。

强烈的实验研究后,我们意识到地图初始化的质量产生重大影响随后的映射。由于这个需求,我们开始前的3 d点云的动态跟踪。方法部分2。2执行初始化。在这个初始化过程中,一对形象因此聚集在不同的相机位置所对应的移动机器人和估计使用homography-based方法。当机器人移动的距离是5厘米和机器人的精确定位是实现初始化期间,高质量的初始映射的猜测是呈三角形的记者提供的点进行进一步的跟踪和稀疏的映射过程。

一旦跟踪开始,我们试图追踪FAST-10角落(17]在阻碍图像和它们使用作为跟踪的视觉特性在数据关联过程。空间的6 d轨迹移动相机可以通过SFM派生。正确的帧间通信是至关重要的,四级而且FAST-10特性提取和匹配架构来提高跟踪性能。频段8×8块模板是用于匹配的角特性和最具吸引力的选择匹配配对,通过搜索在圆形ZMSSD候选人地区最小的区别(为SSD) [18)成绩。图像的特点对粗水平金字塔大约估计的相对姿态(搜索18),然后最后一个准确的姿势是优化通过一千通讯的功能。在实验过程中,跟踪执行和后续的增量的主要框架策略映射。一个关键帧选择考虑跟踪质量等因素,跳帧的数量,比例的新特性,距离最近的关键。

2.4。映射过程

基于姿态估计的图像特征,匹配特征点三角成三维点云。稀疏的地图初始化后前所述,稀疏的映射线程开始查询公司新的关键帧。一旦成功地选择一个新的关键帧,提取的快速特性评估利用Shi-Tomas找出最突出的分在新的关键帧。欧几里得当前关键帧之间的转换和最亲密的邻居,在跟踪报道,记者是可用的,新特性可以在相邻关键帧利用纵向约束和ZMSSD准则适用于那些剩余的无与伦比的特征点在当前的关键帧。这些新地图点纳入地图后三角的新特性对。

值得注意的是,3 d点的投影稀疏图通常是不一致的与相应特征点由于不参与特性发现,姿势估计,等等。小周边地区中相应的功能通常可以发现关键帧之间的纵向搜索过程。关键帧之间的这种联系,完善地图优化使用束调整程序(19)同时优化姿势所有关键帧和地图点。在实践中,这个过程在计算变得越来越昂贵的地图尺寸和关键帧的数量增加。出于这个原因,当地的束调整也采用这个线程来执行。最近的关键帧和最亲密的邻居和地图在他们的观点都是利用当地的束调整调整。根据这一局部和全局包调整机制,关键帧可以集成在很短的时间,它还允许合理的摄像机跟踪。

2.5。Homography-Based局外人拒绝

在映射线程,一个纵向搜索过程是用来实现一些新的匹配特性。匹配的搜索功能找到ZMSSD的最小差异特征在纵向。理想情况下,ZMSSD价值两个匹配的补丁应该很小。特别是,ZMSSD = 0,这意味着两个匹配的补丁,完全符合。与旋转ZMSSD不是不变的,一些不匹配的特性分析和添加到地图上加以改进。尽管一些不匹配的功能将被拒绝在打包机的调整优化,他们中的大多数都几乎被删除。作为投影偏差姿势估计算法加以改进,利用噪声对定位的准确性会有一些影响。

加以分析的性能特性匹配,检测到的特性的三个典型的图像,如图4(一)通过使用FAST-10算法。原始图像块之间的ZMSSDs和扭曲的补丁,分别旋转和转换设在,设在,设在计算和绘制数据4 (b)- - - - - -4 (d)对所有功能。ZMSSD值的一些特性不同的旋转或翻译很容易混淆特性在补丁匹配搜索。此外,纵向搜索过程通常是很难建立一对一的映射等特征匹配与困惑ZMSSD评估。因此,噪声地图和低准确估计有时通过原始算法加以改进。

有效地建立正确的特性匹配关系,homography-based约束采用这些新的检测功能。在纵向搜索过程th形象层面,单应性估计使用RANSAC方法的检测功能。只有当投影误差小于阈值是检测功能接受良好的匹配特性。考虑 在哪里参考的特点吗。一般来说,更高层次的金字塔图像的单应性可以用较低的一个近似方程如下: 在哪里是down-sample图像金字塔。在实验过程中,阈值在高水平的图像金字塔的规模也减少了图像down-sample率。

图5是原始之间的比较结果加以改进算法和改进的算法加以改进。在图所示的实验环境5(一个)。图5 (b)显示了生成的地图由原算法加以改进。7680年建立映射实现特征点和6生成关键帧在摄像机移动。有一些不匹配的特性已被分析到地图。尽管一些不匹配的特性被拒绝后束调整优化,仍然存在一些不匹配的特性将影响加以改进的定位算法。图5 (c)展示了地图与homography-based约束建立了通过使用本文方法。有超过1500的特征点接受并添加到地图。拒绝和不匹配的特性通过使用homography-based约束。

3所示。实验结果

进行室内实验验证算法的有效性和准确性。我们的硬件系统设置由Pioneer3-DX平台和一个单眼视觉系统图中描述2。机器人平台是合格等室内研究活动映射,避障路径规划等等。一个前瞻性点灰色Flea2摄像头(如图1)固定在移动机器人。相机的焦距约3.5毫米的视野是大约65°。相机是通过1394 B 2.8 GHz的英特尔i5连接电脑4 G RAM。实验在一个室内环境中执行,如图6。

在实验过程中,移动机器人运行路径从A到D后,虽然相机捕捉图像。首先,初始化算法通过使用提出了地面功能的方法。在初始化过程中,逐帧跟踪的特性。所有的特性被视为地面特性和移动机器人的粗定位估计(9)。当机器人移动的距离是5厘米,地面特征检测过程执行来实现移动机器人的精确定位。移动机器人之间的翻译和相机,计算相机的姿势估计初始化映射和纵向搜索。然后,所有三角形和添加到地图匹配特性进行进一步的跟踪过程。初始化后,算法开始估计其姿势通过最小化加权投影误差函数和地图更新纵向搜索后一个关键帧。评估方法,加以改进算法只使用地面特征跟踪过程被认为是地面真理在实验中。只在地面上加以改进算法,检测分析功能是实现三维协调。和算法只有在接受的特性。原加以改进算法的初始化是有时不适合在实验期间,地面特征构成估计是用来初始化算法。

图7是映射算法的结果和原始算法加以改进。数据7(一)和7 (b)是原始加以改进算法生成的地图在不同的观点。一些不匹配的特性已经被添加到地图使用纵向搜索过程。它会影响姿势估计与不匹配特性。更糟糕的是跟踪过程会让一些可笑的错误,无法追踪的功能,这是不可恢复的。处理这些不匹配的功能,homography-based约束采用改进算法。纵向搜索过程后,所有检测到的匹配特性之间的新的关键帧和其最近的关键帧用于估计和RANSAC计划单应性。过滤的特性与单应性投影的距离误差。在数据7 (c)和7 (d)不匹配的地面特征被拒绝和清晰的地图是由使用该方法。实验表明,该算法能够实现一个清晰的和高质量的3 d功能映射。

图8显示了比较原始之间的定位本文方法的结果,地面只加以改进,我们的算法在映射的实验。作为显示在图8,估计参数x,y,z,球场,偏航,卷该算法的和地面只有加以高度相互一致。但在最初的算法加以改进,估计参数偏离离地面只有加以改进算法由于噪声地图。表1说明了误差的均值和方差由最初的加以改进和实现该算法。估计轨迹图所示的三个方法9。该算法只加以改进与地面高度一致。以上实验结果表明,该算法对失配高性能特性拒绝和姿态估计。这些结果也验证了该算法的可行性和有效性。

4所示。结论

本文提出一种并行跟踪和映射算法使用单眼相机移动机器人。摄像机是固定在移动机器人具有一致的翻译,和机器人正朝着一个室内实验。地面特征姿态估计方法是用来初始化算法。和一个初始地图是由呈三角形匹配特性进行进一步的跟踪过程。建立一个稀疏的3 d地图,一个纵向搜索过程是利用寻找匹配的特性时,一个关键帧。此外,拒绝不匹配特征的方法是采用基于单应性实现清晰的地图。室内实验结果表明,该算法对稀疏的高性能特征映射和验证该算法的可行性和有效性。

作为未来的工作,我们将进一步提高该算法的性能处理映射的照明场景变化。我们还计划找方法来扩展我们的工作一个密集的视觉大满贯系统单眼相机。

相互竞争的利益

作者宣称没有利益冲突有关的出版。

确认

研究工作为促进项目”资助在北京工业大学智能机器人关键技术”模块化和实用化的智能服务机器人”和中国自然科学基金(61175087和61175087)。

引用

1. m . Tomono”3 d定位和映射使用单一相机基于structure-from-motion自动基线选择,”诉讼的IEEE机器人与自动化国际会议上' 05)举行(“国际机器人与自动化会议”2005年4月,页3342 - 3347。视图:出版商的网站|谷歌学术搜索
2. a·j·戴维森移动机器人导航使用积极的愿景英国牛津大学,牛津大学,1998年。
3. h . Strasdat j·m·m·蒙特埃尔和a·j·戴维森,“视觉大满贯:为什么过滤器?”图像和视觉计算,30卷,不。2、65 - 77年,2012页。视图:出版商的网站|谷歌学术搜索
4. a·j·戴维森”,实时同步定位和映射只有一个相机,”学报》第九届IEEE计算机视觉国际会议2003年10月,页1403 - 1410。视图:谷歌学术搜索
5. e .罗耶m·鲁m . Dhome和人类。洗手间,“单眼视觉移动机器人定位和自主导航,”国际计算机视觉杂志》上,卷74,不。3、237 - 260年,2007页。视图:出版商的网站|谷歌学术搜索
6. g·克莱因和d·莫里“平行跟踪和映射为小型AR工作区,”学报第六届IEEE和ACM国际研讨会上混合和增强现实(ISMAR ' 07)奈良,页225 - 234年,日本,2007年11月。视图:出版商的网站|谷歌学术搜索
7. g·克莱因和d·莫里“keyframe-based大满贯的敏捷性,改善”学报第十届欧洲计算机视觉大会' 08)2008年10月,页802 - 815。视图:谷歌学术搜索
8. j . Stuhmer s Gumhold d·克莱莫,“平行广义密度阈值方案生活几何的手持相机,”趋势在计算机视觉和主题施普林格,页450 - 462年,柏林,德国,2012年。视图:谷歌学术搜索
9. r·a·纽康比和a·j·戴维森”与单个移动相机,居住密集的重建”《IEEE计算机学会学报计算机视觉与模式识别会议(CVPR 10)2010年6月,页1498 - 1505。视图:出版商的网站|谷歌学术搜索
10. m . Blosch s.w、d . Scaramuzza和r . Siegwart“基于愿景飞行器导航在未知的和非结构化的环境中,”诉讼的IEEE机器人与自动化国际会议的举行(“国际机器人与自动化会议”10),页第21至28,安克雷奇,阿拉斯加,美国,2010年5月。视图:出版商的网站|谷歌学术搜索
11. s.w m . w . Achtelik s . Lynen et al .,“单眼视觉长期微型飞行器状态估计:一个纲要,“《机器人技术领域,30卷,不。5,803 - 831年,2013页。视图:出版商的网站|谷歌学术搜索
12. 美国Tano j .盛,s .贾”移动机器人定位和地图构建基于激光测距和加以改进,”《IEEE国际会议上机电一体化和自动化(国际11),第1020 - 1015页,北京,中国,2011年8月。视图:出版商的网站|谷歌学术搜索
13. c·福斯特,m . Pizzoli, d . Scaramuzza“动宾:快半直接单眼视觉测程法”诉讼的IEEE机器人与自动化国际会议的举行(“国际机器人与自动化会议”14)香港,2014年6月,页15 - 22日。视图:出版商的网站|谷歌学术搜索
14. j·恩格尔,j . Sturm和d·克莱莫”Semi-dense视觉单眼相机的测程法,”学报14 IEEE计算机视觉国际会议(ICCV 13),页1449 - 1456年,悉尼,澳大利亚,2013年12月。视图:出版商的网站|谷歌学术搜索
15. f . Devernay和o . Faugeras直线直,“机器视觉和应用程序,13卷,不。1、14 - 24,2001页。视图:出版商的网站|谷歌学术搜索
16. p . j .休伯健壮的统计数据施普林格,柏林,德国,2011年。
17. 大肠Rosten t·德拉蒙德,“高速检测,机器学习”电脑Vision-ECCV 2006: 9日欧洲计算机视觉,格拉茨,奥地利,2006年5月7 - 13日。程序,我卷,3951在计算机科学的课堂讲稿施普林格,页430 - 443年,柏林,德国,2006年。视图:出版商的网站|谷歌学术搜索
18. j·马丁和j·l·克劳利在“相关技术的比较,”国际会议智能Autonmous系统学报》上卡尔斯鲁厄,页86 - 93年,德国,1995年。视图:谷歌学术搜索
19. r·哈特利,a . Zisserman计算机视觉中的多视图几何》,剑桥大学出版社,2003年。视图:MathSciNet

版权

版权©2016 Songmin贾庆林等。这是一个开放的访问分布在条知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。