仿射不变的几何约束 - 基于高精度的同时定位和映射

抽象的

在这项研究中，我们使用基于仿射不变的几何约束来描述用于在线增量同时定位和映射（SLAM）的新的基于外观的循环闭合检测方法。与其他基于纯粹的单词袋式不同的方法不同，我们所提出的方法使用几何约束作为补充，以提高精度。通过建立仿射不变假设，所提出的方法不包括错误的视觉单词，并计算正确匹配的视觉词的色散，以提高似然计算的准确性。此外，相机的内在参数和失真系数对于该方法是足够的。3D测量不是必需的。我们使用长期内存和工作内存（WM）的机制来管理内存。只有有限尺寸的WM用于环路闭合检测;因此，所提出的方法适用于大规模的实时Slam。我们使用CityCenter和Lip6室内数据集测试了我们的方法。我们所提出的方法结果可以有效地校正先前方法的典型假阳性定位，从而提高更好的回忆比和更好的精度。

1.介绍

同时本地化和映射（SLAM）被广泛用于生成定位或自主机器人导航的地图。

基于外观的SLAM类型的特点是低成本的解决方案。此外，基于视觉特征的SLAM为匹配和识别提供了丰富的信息。

几乎所有基于外观的血液都是纯粹的词语方法，提取SIFT [1]或SURF [2]描述符，然后使用暴力匹配方法或NNDR [3.等等来计算两个地点之间的可能性。

改善环路闭合检测的精度和召回比率的最大挑战是假阳性定位回圈闭合假设选择分数高于假正定位。这导致验证假阳性本地化和拒绝假阴性本地化的拒绝。

两个地方之间的可能性计算是建立环形关闭假设的最决定性因素。但在许多条件下，纯粹的词语方法无法有效地计算场所之间的可能性。

我们所提出的方法试图通过将视觉单词的几何约束附加到经典纯粹的单词似然计算来改善似然计算结果。几何约束包括订单和面积限制，其被设计为仿射不变的几何约束。因此，即使观点显着改变，所提出的方法也可以很好地工作。此方法使用类似于[的内存管理方法4，5]用于实时处理，并使用SURF作为其可视化描述符;描述符由NNDR匹配[3.]．

在本文中，我们描述了更精确的似然计算，以提高环路的检测性能。该方法通过建立仿射不变假设，排除错误匹配的视觉词，计算正确匹配的视觉词的离散度，提高似然计算的准确性。部分2回顾一些以前纯粹基于词汇袋的方法及其典型问题。节3.，我们描述了所提出的方法。部分4呈现我们的实验结果。节5，我们讨论了我们提出的方法的优势，缺点和前景。

2.相关工作

参考 [4- - - - - -8]提出一些典型的纯粹袋式方法。

康明斯和纽曼[6]基于仅适用于外观的概率救助条件的快速方法。但这种方法的精确度和召回比率并不令人满意。

Kawewong等人。[9]提出了一种跟踪图像序列中鲁棒特征的方法，称为位置不变鲁棒特征(PIRF)。他们还为SLAM PIRF-nav提出了两种仅在线增加外观的方法[7PiRF-Nav2 [8]基于PIRF。关于PIRF的稳健性，PIRF-NAV和PIRF-NAV2中的方法在动态环境中令人满意地表现得令人满意。与[6，查准率和查全率也有显著提高。

然而，对于闭环检测，PIRF-nav和PIRF-nav2的处理时间并不能很好地控制。处理时间随着地图比例尺的增加而增加。此外，由于pirf提取的鲁棒特征会持续存在于图像序列中，许多有用的特征会被忽略。这可能导致视觉特征的严重丢失，特别是在室内低分辨率数据集，如Lip6Indoor [10]．因此，难以提高PIRF-NAV和PIRF-NAV2的性能。

Labbé和米肖[4，5]提出了一种基于短期存储器（STM）和名为RTAB-MAP的长期存储机制的方法。它可以通过有效地控制处理速度来优化SLAM的处理时间而不增加当地图的刻度增加时的处理时间。

然而，由于图中所示的问题1，很难提高RTAB-map的查全率。

RTAB-MAP是目前可用的最佳视觉上的SLAM方法，可能代表纯粹的单词方法可能的性能极限。

fab-map3d [11]是一种与3D几何约束相结合的纯粹词语方法。它比Fab-Map更好[6，但它需要每个可视单词的三维测量信息。

提出的方法试图在不进行任何三维测量的情况下设计外观SLAM的几何约束。

不像Ransac [12]及PROSAC [13，提出的方法估计仿射不变假设和计算两地点之间的可能性没有任何随机元素。因此，该方法更稳定，更适合于只有少数词匹配的情况。

3.提出的方法

本节介绍了具有几何约束的新似然计算方法。我们还包括对循环关闭假设选择的简要说明。数字2给出了该方法的似然计算。

3.1。图像不成本

有时相机镜头会造成重大扭曲;未置换的图像是建立仿射不变假说所必需的。

为了产生不失真的图像，我们必须确定相机所必需的内在参数，径向失真系数，及其切向失真系数通过校准。使用OpenCV校准和拆查相机很容易[15]．固有参数和失真系数对于某些相机是稳定的。更多细节可以在OpenCV文档中找到。

由于现实世界不平坦，现实世界形象并不严格遵守仿射不变的约束。但是，在大多数情况下，图像中的地标可以被认为是在平坦的环境中。

３．２．顺序约束

我们设计了一个距离顺序约束，以排除错误匹配的视觉单词。

如图所示3.，是匹配不正确的一个例子。我们首先计算的相对距离向量，按照从最近到最远的顺序排序。和．除了和，．

同样的,和．尽管存在匹配的视觉词语，和是明显不同的。

我们设计了基于偏移的线性公式来计算．这定义如图所示5．我们还定义在 （1）。在图4，,．因此,高表示不正确匹配的概率更高。可以用来区分正确和错误匹配的视觉词。

请注意不是仿射不变的数量，对噪声百分比敏感。因此，我们无法设置某个阈值，从而消除了大规模SLAM的不正确匹配的视觉单词。使用归一化是候选人之一。我们归一化■使用其平均值和标准偏差．

我们提出的方法使用基于KD Tree的[16] FLANN [17来建立相对距离向量■提取描述符时。所有提取的单词都用于建立S和这些向量保留进一步查询。当需要时，这些向量通过计算表达式消除所有不匹配的单词（1）建立新的载体，以处理订单约束。原始矢量不会改变。

在图4，和被排除在外，我们可以获得一组纠正的单词和．

然而，唯一的顺序约束对于一个高度精确的似然计算是不够严格的。我们设计了一个面积约束来建立仿射不变假设和．

3.3。种植面积限制

图中给出了仿射不变量的一个例子6．虽然,从来的坐标和变化显着，图中所示的种植面积的比例关系没有变化;那不仅是， 但是也，等等。

因此，当发现面积的仿射不变比例关系时，就可以建立仿射不变假设。

我们提出了一种基于订单约束的结果建立仿射不变假设的方法。首先，我们计算总面积： 在哪里是重心的重心

然后，我们根据仿射不变假设定义两对视觉单词的偏差：

,如果这就建立了一个仿射不变假设。因为是一种强大的仿射阈值阈值，一定适用于大规模的猛烈。

事实上,在建立仿佛不变假说是重要的。这只有在这个意义上才有意义吗由遵守仿射不变约束的可视词来构建。处理订单约束后，已消除错误匹配的单词，但噪声仍然存在。

3.4。可能性计算

经上述处理后()，只剩下正确匹配的单词。现在可以计算基于几何约束的可能性在测试和当前地点之间。 在哪里测试的地方是和吗是当前的位置。是匹配词对的大小和总和。 在哪里是两个地方之间的匹配词对的数量。．

是仿射不变词参数的离散度，用于估计两地之间的可能性。 在哪里

显然．

在[4，5]，可能性计算公式是 在哪里和是签名的总话和比较签名,分别。然而，由于这种方法试图获得低可能性，它可能会导致假阴性定位。但对于纯粹基于词汇袋的方法，因为精确度很难控制，所以别无选择，只能选择低可能性。

提出了一种新的似然计算方法：

这种似然计算方法比[4，5]．另外，由于将几何约束添加到计算中，所提出的方法实现了更好的准确性。

3．5．环闭假设选择概述

该方法使用与[中的循环闭合假设选择方法类似。5]．我们通过以下递归公式更新贝叶斯筛选器： 在哪里是可能的概率用过去的位置结束一个循环和是STM中当前位置是新位置的概率。对这个公式来说重要吗，作为一个标准化概率的平均值和标准偏差，本文方法对这一问题有显著影响。简要描述了可能性，由于空间限制，我们无法详细描述。请参阅 [4，5]．

什么时候低于环闭阈值，循环闭合假设将被接受。

请注意太高了，循环闭合假设将被拒绝，尽管高循环闭合假设的概率非常高。这可能导致错误正面本地化。

4.实验

我们使用MacBook Pro，i7进行了计算，i7与16 GB RAM进行了计算。该应用程序是用C ++编写的。我们通过两个众所周知的数据集测试了我们的方法：Lip6Indoor和CityCenter。

4．1.Lip6Indoor

数字7表明，典型的假阳性局部位置发生在纯粹的单词方法，如[5，6，8]．通过所提出的方法处理后，两个地方的几何约束，该方法拒绝了假阳性闭环假设。该数据集388张图像的分辨率为240 × 192。相比之下,(5，所提出的方法仅提高了1.55%的召回率。但是当回忆的比例在[5，精确度迅速下降。的100%召回比例[5]的精密度为63%，而本方法的精密度为87.5%。表格1显示Lip6室内数据集的结果。

参考 [6，8比[快5]但他们的召回比例很低。在提出的方法和[5，则每帧平均需要额外53.5毫秒的处理时间。使用本方法处理一帧的最大时间为825.3 ms。由于该数据集以1hz的频率捕获，因此该方法可以进行实时处理。

4.2。市中心

在城市中心数据集中，由于我们的方法有效控制，我们获得了更高的召回比例。该数据集中的2474个图像的分辨率为640×480.每两个图像在同一位置同时捕获。

由于在某些场景中（如丛林），召回比例不能进一步增加，有太多类似的单词。所提出的方法在这些类型的场景中失败。对于成对不当匹配太多，建立了糟糕的仿射不变假设。表格2显示CityCenter数据集的结果。

所提出的方法的一帧的最大处理时间为1780.7 ms。数据集在大约0.5Hz处捕获，因此也可以在此数据集中实时处理所提出的方法。

5.结论与未来研究

这些实验表明，我们的提出方法可以比纯粹的基于袋式的血液方法更好地工作。我们证明，2D几何限制是打破瓶颈的有效方法，提高基于外观的血液的精度。

虽然所提出的方法在大多数情况下运作良好，但它无法处理一些问题。特别是，一个典型的问题在同一图像中有太多类似的单词。正在考虑解决此问题的方法。一个可能的解决方案是增加nndr [3.阈值以更有效地避免重复特征。这一步骤可以减少描述符匹配的假阳性比率，但会导致更多的假阴性避免。然后利用该方法构造基于高阈值匹配特征的仿射不变假设。最后，利用仿射不变假设避免重复特征，检索潜在的正确匹配。

今天，高性能手持智能手机非常受欢迎。因为所提出的方法不需要任何3D测量以在使用手持设备时实现高稳健性，所以它可以应用于许多类型的平台，用于由行人导航。

利益争夺

作者宣布没有关于本条的出版物的利益冲突。

致谢

该研究得到了中国国家自然科学基金的重点项目（Grant No.51538007）和中国国家自然科学基金项目（Grant No.71101096）。

参考

1. D. Lowe，“来自本地规模不变的功能的对象识别”第七届IEEE计算机视觉国际会议论文集(ICCV’99)，卷。2，PP。1150-1157，Kerkyra，Greece，1999年。视图:谷歌学术
2. H. Bay, T. Tuytelaars，和L. Gool，“冲浪:加速强大的功能，”在电脑Vision-ECCV 2006，卷。3951，pp。404-417，Springer，2006。视图:出版商的网站|谷歌学术
3. K. Mikolajczyk和C. Schmid，“局部描述符的性能评估”，图案分析和机器智能的IEEE交易第27卷第2期10, pp. 1615-1630, 2005。视图:出版商的网站|谷歌学术
4. M.Labbé和F. Michaud，“基于实时外观的循环闭合检测的内存管理”IEEE / RSJ智能机器人和系统国际会议的诉讼程序：庆祝50年的机器人学（IROS'11），第1271-1276页，美国加利福尼亚州旧金山，2011年9月。视图:出版商的网站|谷歌学术
5. M.Labbé和F. Michaud，“基于外观的循环闭合检测在线大规模和长期操作”，机器人上的IEEE交易，卷。29，不。3，pp。734-745,2013。视图:出版商的网站|谷歌学术
6. M. Cummins和P. Newman，“邀请应用纸FAB-MAP:使用学习的视觉词汇模型的基于外观的位置识别和地图绘制”第27届国际机器学习会议(ICML’10)论文集，英国爱丁堡，2010年。视图:谷歌学术
7. A. Kawewong，N. Tongprasit，S. Tangruamsub和O. Haegawa，“在线和增量外观，在高度动态的环境中，”基于高动态环境“，”国际机器人研究杂志，第30卷，第2期1，第33-55页，2011。视图:出版商的网站|谷歌学术
8. N. Tongprasit, A. Kawewong和O. Hasegawa，“PIRF-Nav 2:加速在线和基于外观的室内环境SLAM”IEEE计算机视觉应用研讨会论文集(WACV’11)， pp. 145-152, IEEE，科纳，美国夏威夷，2011年1月。视图:出版商的网站|谷歌学术
9. A. Kawewong, S. Tangruamsub, O. Hasegawa，“动态户外场景长期识别的位置不变鲁棒特性”，Ieice交易信息和系统，卷。E93-D，没有。9，pp。2587-2601,2010。视图:出版商的网站|谷歌学术
10. A. Angeli, D. Filliat, S. Doncieux, j . A.。Meyer，“使用视觉词汇袋进行闭环检测的快速增量方法”，机器人上的IEEE交易，第24卷，第2期5, pp. 1027-1037, 2008。视图:出版商的网站|谷歌学术
11. R.Paul和P. Newman，“Fab-Map 3D：具有空间和视觉外观的拓扑映射，”IEEE机器人与自动化国际会议文集(ICRA’10)，pp。2649-2656，Anchorage，Ala，美国，2010年5月。视图:出版商的网站|谷歌学术
12. M. A.Fischler和R.C.Bolles，“随机样本共识：用于模型适合应用程序分析和自动化制图的范式，”计算机械协会的通信，第24卷，第2期6，pp。381-395,1981。视图:出版商的网站|谷歌学术|Mathscinet.
13. O. Chum和J. Matas，“与PROSAC-progressive样本共识的匹配”，刊于IEEE计算机学会计算机视觉与模式识别会议论文集(CVPR’05)，PP。2005年6月220-226，Ieee，San Diego，Calif，2005年6月。视图:出版商的网站|谷歌学术
14. M. Cummins和P. Newman，“FAB-MAP:外观空间中的概率定位和映射”，国际机器人研究杂志第27卷第2期6，页647-665,2008。视图:出版商的网站|谷歌学术
15. G. Bradski，《OpenCV库》，Dobb博士的软件工具杂志2000年。视图:谷歌学术
16. J. H. Friedman，J.L.Bentley和R. A. Finkel，“一个用于在对数预期时间中找到最佳匹配的算法，”数学软件学报，卷。3，不。3，pp。209-226,1977。视图:出版商的网站|谷歌学术
17. M. Muja和D. G. Lowe，“快速近似最近邻的自动算法配置”，在计算机视觉理论与应用国际会议的诉讼程序（Vissapp '09），pp.331-340，Insticc Press，2009。视图:谷歌学术

版权

版权所有©2017 Gangchen Hua和Xu Tan。这是分布下的开放式访问文章知识共享署名许可协议如果正确引用了原始工作，则允许在任何媒体中的不受限制使用，分发和再现。