一种改进的三维注册方法移动增强现实城市建筑环境

文摘

三维注册扮演关键的角色增强现实(AR)系统。现有的方法是不适合直接应用在移动AR系统的建筑环境,实时性能和鲁棒性差的原因。本文提出了一种改进的三维注册方法的移动基于“增大化现实”技术的建筑环境,基于SURFREAK KLT。这种方法增加了建筑节能的算法描述符和维护算法的鲁棒性。实施和评估登记方法,智能手机移动AR系统建筑环境。实验结果表明,改进后的方法具有更高的实时性和鲁棒性,和移动基于“增大化现实”技术的三维注册可以实现良好的性能和效率在复杂的建筑环境。移动增强现实系统可用于建立识别和信息增加建筑环境,进一步促进基于地理位置的游戏,城市遗产旅游、城市规划和智能城市。

1。介绍

增强现实(AR)是指虚拟信息的有机集成到用户看到的真实场景(1),其中,移动基于“增大化现实”技术可以增强用户的理解和对现实世界的看法,同时,加强与实际环境中用户的交互特别是建筑环境(2]。基于“增大化现实”技术的技术特点是virtuality-reality组合,实时互动,和3 d登记(3]。其中,3 d登记是AR系统的核心和关键指标评估AR系统的性能,这是解决实时3 d目标对象之间的映射在现实世界和2 d屏幕。一般来说,三维注册方法主要分为基于硬件的三维注册和应用三维注册。

基于硬件的三维注册方法实现地面物体的定位设备的3 d坐标系统主要由GPS定位、地图服务、加速度传感器、磁传感器,和其他硬件设备,它主要用于导航领域。例如,吴et al。4)提出了一种空间信息混合虚拟现实登记方法硬件跟踪和定位来满足需求的户外AR导航;李和程5)提出了多传感器基于Android平台的注册方法用于户外导航。然而,与应用三维注册方法相比,它极大地影响传感器的精度和户外环境,和匹配精度很难满足的要求在户外环境中三维注册。

应用三维注册标识目标对象的特性和定位的帮助下视频流通过摄像设备;它关注的是基于自然特征点的图像匹配算法。然而,它主要应用在室内;很少有图像匹配算法的移动设备,可以直接用于建筑环境。建筑环境的应用程序容易因素如光照、规模、和角,从而导致可怜的匹配效果。结果,立即移动基于“增大化现实”技术所面临的问题是实现快速和有效的匹配目标的背景下复杂的建筑环境和基于确保匹配精度。

经过综合分析现有算法的不足,本文提出了一种改进的移动基于“增大化现实”技术的三维注册方法,其目标是实现高效的建筑环境的三维注册。该方法有效地提高了现有算法的实时性能,同时保持较高的匹配精度和实现建筑环境的快速和有效的识别和计算的初始三维矩阵。同时,该方法充分利用时间序列的相关帧的视频流和跟踪和预测建筑环境的自然特征点使用光流跟踪算法,从而提高实时性能的三维注册。

为此,本文在以下方式:组织相关工作介绍部分2。部分3提供整个过程的改进的三维注册方法移动基于“增大化现实”技术的城市建筑环境。给出了实验结果和分析4。试验系统也是实现部分5。最后,部分6提供了本研究的结论和讨论未来的前景。

2。相关的工作

自然特征的视觉注册方法(6)使用视觉信息与真实的场景,如特征点,线,和纹理,这些特征的提取和识别;摄像机跟踪登记可以实现。这种注册方法不需要校准的对象和登记精度高。它可以应用于摄像机跟踪登记在大型户外场景。三维注册的关键技术包括两个部分:图像匹配和目标跟踪7]。

基于自然特征点的图像匹配算法的关键技术之一,现实的三维注册(8]。它实现实时检测和匹配的目标图像,为后续的目标跟踪提供所需的特征点和注册。目前,筛选[9],[冲浪10),和其他图像匹配算法广泛应用基于自然特征点,这样的算法具有良好的匹配效果和强鲁棒性。然而,他们的实时性能相对较差,从而导致识别效率低和穷人移动AR系统的流畅。ORB (11,快12,狂13),和其他算法基于二进制描述符先后提出的研究人员,他们提高了计算速度比浮点描述符中使用以前的算法。然而,这些算法的匹配精度和鲁棒性差,进而导致可怜的匹配效果和移动AR系统的稳定性。与其它算法相比,具有更好的冲浪实时性能和鲁棒性。戴et al。14)基于二分法的方法分割图像的实时性能和改进跟踪与ORB通过结合冲浪,但是算法的鲁棒性降低;Gui et al。15)提出了一个基于“增大化现实”技术的跟踪注册算法基于在线学习的自然场景,为了提高登记效率通过改善在线学习冲浪描述符,但实时性能仍低因为浮点类型的描述符还冲浪。

3所示。改进3 d移动登记建筑环境的基于“增大化现实”技术

3.1。改进的冲浪算法

SURFREAK冲浪和反常的算法相结合的改进移动AR系统的性能。众所周知,冲浪算法遵循筛选尺度空间理论取代高斯滤波器的一盒过滤和筛选算法提取特征点使用积分图像和海赛矩阵技术,以减少计算负荷的冲浪算法。因此,海浪的特征点提取算法实现显著提高计算速度与筛选算法相比,但其浮点64 d描述符仍然无法满足实时需求。狂算法的描述符提供的二进制计算和存储方法,计算速度有更大优势的描述符生成、存储、和匹配比浮点算法描述符的冲浪。结果,本文提出了改进的算法SUFREAK相结合的特点,小怪物描述符的计算量和良好的鲁棒性算法,以解决冲浪算法的实时性能差的问题和糟糕的图像匹配的复杂的建筑环境。

总的来说,上网是用来提取特征点,怪物是用来提取基于特征点描述符。SURFREAK如图的实现1。首先,图像灰色是进行目标图像和视频图像的移动电话。然后,冲浪算法用于提取特征点,和提取的特征点描述符是由反常的构造算法。最后, - - - - - -最近邻算法(资讯算法)进行特征点描述符匹配的目标图像和移动视频。

然而算法滤波后,仍然存在不匹配特征点的情况下,因此,使用RANSAC算法消除失配。该算法抗噪能力强,可以更好的完成细化的匹配点对。

3.2。KLT光流跟踪算法

三维注册方法基于SURFREAK算法提高了计算的速度在一定程度上,但它仍然无法跟踪目标的实时视频的场景,和登记方法没有充分利用时间序列和相关视频帧的流。而共同移动基于“增大化现实”技术的应用,视频中两个相邻帧的变化通常是小的,所以可以使用这个特性来获得当前帧与前一帧的变换矩阵,利用KLT算法的局部搜索方法,从而完成跟踪登记的目标和基于“增大化现实”技术的三维注册更有效率。

KLT (Kanade-Lucas-Tomasi)是图像特征光流跟踪算法基于最优估计(16),推测下一帧的特征点的大致位置使用已知的图像帧的特征点。该方法的算法可以实现良好的噪声免疫力和实时性能和广泛应用在各个领域。

规模较大的图像序列视频转换和运动,结合高斯金字塔分层和路光流算法可以更好地实现目标的跟踪。视频流通过移动终端是由高斯分层抽样,和路光流计算从最低层的金字塔,和低层的计算结果作为下一层的参数,重复这个过程,直到到达金字塔的顶层。在移动终端与跟踪,通过模拟实验,跟踪计算速度可以有效地增强高斯金字塔的层 是集。

3.3。框架的改进三维注册算法

摘要实时跟踪注册方法基于SURFREAK和KLT算法的特征点(17)(表1提出了)。三维注册方法首先执行SUFREAK并提供图像匹配的特征点,为后续的操作精度高。然后,它追踪特征点在图像匹配过程中提供使用KLT跟踪算法,以实现目标的跟踪。位置、态度、维度、照明和其他因素的目标将会改变在整个目标跟踪的过程。这些因素会导致跟踪特征点的减少和损失。在这一点上,该算法设计了一种动态更新策略对特征点:当至少30跟踪特征点的丢失,将会再次执行目标识别图像匹配模块和提取特征点。同时,提高图像匹配的效率,可以提取目标图像的特征点描述符可提前建立降低图像匹配所消耗的时间。

具体步骤如下:

步骤1。获取移动终端的视频,对视频帧执行灰度处理,以确定是否有匹配标签的帧。

步骤2。如果有一个匹配的标签,认为图像匹配已经完成。继续步骤8。

步骤3。如果没有匹配的标签,认为没有进行图像匹配。

步骤4。使用SUFREAK算法,将特征点提取和构建描述符当前场景的视频帧。

第5步。与离线目标图像进行特征匹配,使用RANSAC算法消除失配。

步骤6。确定现场是否成功与离线显示目标图像匹配点对的数量。

步骤7。如果匹配成功,保存从现场提取的特征点和图像帧prePts和preImg分别添加匹配的标记。继续步骤13。

步骤8。如果匹配失败,删除匹配的标记。继续步骤1。

第9步。执行KLT目标跟踪计算与存储preImg prePts,和当前帧curImg作为参数,获得特征点的nextPts跟踪目标。

第10步。确定跟踪丢失的数量根据nextPts跟踪点。

步骤11。如果跟踪点的数量大于设定的阈值,更新跟踪参数:preImg = curImg prePts = nextPts。继续步骤13。

步骤12。如果跟踪点的数量不能大于设定阈值,删除匹配的标记。继续步骤1。

步骤13。计算3 d登记矩阵使用PNP型算法根据目标特征点,以便执行虚拟现实集成或态度的调整模型。

4所示。实验和分析

实验环境如下:(1)软件开发环境:Windows 7(英特尔(R) Core i3 - 2120 CPU 3.3 GHz, 4 g内存)操作系统和Eclipse开发平台,开发包OpenCV2.4.9和ARToolKit Android 5.2;(2)实验设备:体内V3L手机,1.5 GHz 8核处理器和3 G内存。

4.1。SUFREAK算法

以下4.4.1。实验方案

验证SUFREAK算法的性能,实验选择三个algorithms-SURF, ORB,狂(使用快速算法提取特征点)进行比较实验。实验比较和分析了匹配性能和稳定性两个方面的匹配速度和算法的鲁棒性(图像匹配的鲁棒性复杂的构建环境敏感因素,如旋转,规模,照明,和观点转变;因此,鲁棒性实验将按照这四个主要影响因素),综合性能评估算法是使用正确的匹配点对的两个指标和匹配分数。

匹配性能主要是衡量匹配速度指标,指综合时间消耗特征点检测,描述符提取和特征匹配。稳定性是衡量两个正确的匹配点对指标(提取四转换图像的旋转下,规模,照明,和观点)和匹配分数。正确的匹配点对体现了图像匹配检测算法的性能。更多的匹配点对,匹配效果越好(18]。匹配分数的比例是正确的匹配点对过滤从两个匹配图像较小数量的特征点提取的两个匹配的图像(19),它是用来测量各种算法在各种图像变换的不变性。一个较大的值表示更好的区域检测器的歧视。匹配分数的计算公式如下:

在哪里的值是匹配分数,是正确的匹配点对的数量从两个匹配图像中提取,和代表各自的特征点检测在同一地区的两个图像匹配,和 的最小值和 。

4.1.2。实验数据

实验选择10建筑场景图像数据测试算法的实时性能和鲁棒性。

测试效果是相似的;因此,只有一个选择场景的描述。如图2,它是由四组建筑场景图像和每组由六个图片(尺寸 )。

4.1.3。匹配速度

核实SUFREAK算法的实时性能,本文编制的平均匹配时间消耗SUFREAK,冲浪,怪物,和ORB算法,如表所示2。

从平均时间消费的比较和匹配点在表的算法1消耗的平均时间改进SUFREAK算法本文是大约27.81%的时间被海浪算法,显示显著提高计算速度和克服冲浪算法实时性能差的不足。改进的SUFREAK算法消耗更多的时间在构建金字塔规模以确保算法的尺度不变性;因此,与ORB和反常的算法相比,该算法较低的计算速度,但它有更多的匹配点对和一个更好的匹配效果。

4.1.4。图像变换的鲁棒性

图像转换的执行算法比较测试数据集来验证算法的鲁棒性方面的观点,光照、视角和旋转不变性。实验结果的匹配点对,匹配分数,如图3。

照明下变换,算法的匹配点对的数量减少的减少照明亮度。狂算法的匹配点对的数量显著减少,而变化的匹配点对ORB算法相对较小;然而,它的匹配分数很低。摘要SUFREAK算法具有更高的平均比冲浪算法匹配分数,和SUFREAK算法提供了一个更好的光照鲁棒性。原因在于SUFREAK描述符生成通过比较采样点的灰度值对受高斯平滑后,和高斯平滑可以减少光照的影响。他们更统计与冲浪算法相比,创建描述符与相邻的像素块的灰色的区别。

视点转换的算法更敏感。随着视点的变化增加,图像匹配点对的数量和匹配分数下降更明显。相比其他算法的性能角度变换,SUFREAK算法本文最多的匹配点对,匹配分数最高。实验结果表明,该SUFREAK本文算法有更好的观点转换比冲浪和其他算法的鲁棒性。

根据旋转变换,每个匹配算法的最大跌幅的数量匹配点对图像旋转后约45度,但当图像被接近90度旋转,匹配点对的数量迅速增加。同样,匹配分数曲线显示了先降低,然后增加的趋势。根据旋转变换,怪物和ORB显示强鲁棒性。同时,SUFREAK算法的匹配点对的数量有一个小的差别与冲浪算法,但SUFREAK算法的匹配分数曲线总体上高于冲浪的算法,因此,旋转海浪算法的鲁棒性优于。冲浪的原因可能在于算法的分析计算,确定特征点的主方向向量组成的圆形的Haar小波附近滑动与60°扇形窗口。SUFREAK算法,特征点的主方向是由最长45和对称连接采样点在43个采样点周围的特征点在整个邻域窗口,这是更容易受到角变化的影响。

在尺度变换下,各种算法的匹配点对,匹配分数呈现一个下降的趋势作为一个整体,而SUFREAK算法和冲浪算法下降过程中看到一个微小的增加。其中,冲浪和SUFREAK算法显示出更好的鲁棒性的匹配点对,匹配分数。在图像变换,SUFREAK算法有比冲浪稍弱的鲁棒性算法在整体尺度变换,但在小规模的转换,转换规模SUFREAK算法的鲁棒性优于冲浪算法。同时,ORB和反常的算法都呈现快速下降的数量规模匹配点对,匹配分数曲线,和尺度不变性的鲁棒性相对较差。

实验结果证明:与冲浪算法相比,改进的SUFREAK算法体现更高的运营效率和满足实时需求,和算法的鲁棒性的观点和照明转换优于冲浪算法在一定程度上。在一定水平,这有助于解决贫穷问题的图像匹配结果从不同角度的视图和照明复杂的室外环境的差异。

4.2。基于SURFREAK和KLT 3 d登记实验

验证的效率KLT移动AR系统的光流跟踪算法比较实验方案基于SURFREAK和KLT算法设计:首先,根据SURFREAK和KLT特征跟踪方法,识别和跟踪的图像帧序列由相同的视频图像。然后,记录时间,分别被图像匹配模块和目标跟踪模块。最后,进行一个比较分析的时间消耗统计两个模块。实验视频数据通过移动前端摄像机的Android手机。的平均帧频视频大约是27 - 28日帧/ s,和视频图像的大小 像素。KLT光流算法的跟踪效果如图4。左边的图中显示前一帧的跟踪特征点,右边的图显示了特征点抵消后跟踪(右),和红线代表的长度之间的偏移量(运动)前一帧和第二帧目标图像的视频。

实验结果如表所示3和4的时间消耗统计,SURFREAK图像匹配算法和KLT跟踪算法,分别。的平均时间消耗匹配图像基于SURFREAK算法大约是222.11毫秒,而采取的平均时间KLT光流跟踪算法大约是97.85毫秒。被KLT跟踪算法的时间消耗约占44.05%的SURFREAK图像匹配算法。图像匹配算法可以有效地替代目标跟踪,从而增加移动AR系统的流畅性。

5。系统实现和结果

基于改进的三维注册方法,本文设计和实现了一个原型基于android系统的手机AR系统,它适用于户外建筑环境的识别和信息增加。在第一步中,用户的当前位置信息通过GPS的手机,和空间检索执行一定的半径范围内以这个位置为中心,寻找建筑图片在这个空间区域,以进行粗筛选匹配的图像(图5(a),数量的匹配对0)。然后,手机是与建筑图像匹配和跟踪建筑形象,增强现实技术是进行建筑通过叠加文字,3 d模型和其他信息(图5(b)、建筑名称:逸夫楼;概述:地理科学学院、福建师范大学;匹配的双数量:42)。最后,系统实现了快速识别建筑通过掩星(图5(c)(图)和运动实验5(d))。识别和跟踪效率相对较高。

6。结论

图像的鲁棒性匹配算法的移动基于“增大化现实”技术的应用是非常必需的,因为灯光和角度的转变。然而,现有的冲浪太低效算法由于移动设备的性能。本文提出了一种改进的三维注册方法基于SURFREAK移动基于“增大化现实”技术的建筑环境和KLT算法。冲浪算法结合该方法提高了反常的算法,以便改进算法继承了强大的冲浪算法的鲁棒性和快速提取利用反常的描述符,从而有效地弥补了冲浪算法的实时性能差、实现高效的户外建筑环境的识别。图像识别完成后,采用光流跟踪的方法有效地提高了系统的实时处理能力。实验结果表明,三维注册方法特征鲁棒性强,配准精度高,和良好的实时性能,满足需求移动AR系统的识别效率和实时性能的三维注册。这项工作的贡献的问题跟踪目标跟踪过程中解决,如变形和部分遮挡,使目标跟踪更加健壮。移动增强现实系统预计将用于构建识别和信息对建筑环境,进一步增强为基于位置的游戏提供一个有用的工具,城市遗产旅游、城市规划、智能城市等。

实验结果表明,三维注册方法特征鲁棒性强,配准精度高,实时性能好,满足需求移动AR系统的识别效率和实时性能的三维注册,这是一个非常重要的因素,基于“增大化现实”技术的游戏体验。虽然改进SUFREAK算法提出了体现显著提高匹配速度,仍有一些未来承担工作。,也可采用二分法法分割图像而不影响算法的鲁棒性,进一步提高匹配的效率。

数据可用性

没有合成的数据用于这项研究。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究是由公益科研机构的特别基金福建省2020号r11010009-2。

引用

1. g . Liestol和a . Morrison”视图、校准和间接增强现实中不协调”2013年IEEE国际研讨会上混合和增强现实——艺术、媒体和人文(ISMAR-AMH)页23-28阿德莱德,SA,澳大利亚,2013年。视图:出版商的网站|谷歌学术搜索
2. h .中国y香港,问:Yaochen“地理研究表示:一个评论,”地理的进展,30卷,不。2、141 - 148年,2011页。视图:谷歌学术搜索
3. l .小梅w .中东、y灸和j .北京市“Artoolkit 3 d登记基于动态特征模板匹配,”计算机应用与软件,34卷,不。7,104 - 109年,2017页。视图:谷歌学术搜索
4. f . x Wu任,青云d,“基于混合硬件的虚拟现实空间信息登记跟踪和位置,”地理信息科学,26卷,不。3、提升,2010页。视图:谷歌学术搜索
5. 丹和g . Cheng .“基于安卓平台的应用和研究移动增强现实,”计算机应用与软件,32卷,不。1、16 - 19,2015页。视图:谷歌学术搜索
6. z徐和g .王”,研究三维注册技术的方法,”地球和环境科学,卷440,不。3、1 - 8,2020页。视图:谷歌学术搜索
7. w·马·h·熊,x, x,, y,“室内场景实现实时三维注册机制AR-GIS可视化在移动应用程序中,“ISPRS国际信息杂志》上,7卷,不。3、112 - 126年,2018页。视图:出版商的网站|谷歌学术搜索
8. m . Ozuysal m . Calonder诉Lepetit, p . Fua“快速关键点识别使用随机的蕨类植物,”IEEE模式分析与机器智能,32卷,不。3、448 - 461年,2010页。视图:出版商的网站|谷歌学术搜索
9. 吴·m·r·布莱恩g . Wang, j . r . Cavallaro”一个快速和有效的筛选器使用移动GPU,”2013年IEEE国际会议音响、演讲和信号处理2678年,页2674 - 2013 BC,加拿大,温哥华。视图:出版商的网站|谷歌学术搜索
10. f .郭、罗x和l .咦,“研究基于海浪的特征提取和匹配方法移动增强现实系统,算法”2015年国际工业化学信息学和计算机工程会议,页615 - 619年,西安,陕西,中国,2015。视图:出版商的网站|谷歌学术搜索
11. e . Rublee诉Rabaud、k . Konolige和g . Bradski”ORB:一个有效的替代筛选或冲浪,”2011年国际会议上计算机视觉西班牙巴塞罗那,页2564 - 2571,,2011。视图:出版商的网站|谷歌学术搜索
12. s . Leutenegger m . Chli, r . y . Siegwart“快:二进制健壮的不变的可伸缩的要点,”2011年国际会议上计算机视觉西班牙巴塞罗那,页2548 - 2555,,2011。视图:出版商的网站|谷歌学术搜索
13. a . Alahi r·奥尔蒂斯,p . Vandergheynst“狂:快速视网膜关键点,”2012年IEEE计算机视觉与模式识别会议普罗维登斯,页510 - 517年,国际扶轮,美国,2012年。视图:出版商的网站|谷歌学术搜索
14. d . Xuemei l . Lang和c . Mengyuan”研究的基于改进的ORB的图像特征点匹配算法,”《电子测量与仪器,30卷,不。2、233 - 240年,2016页。视图:谷歌学术搜索
15. z . w . Gui, y, j . Chen和y . t . Wang“在线学习登记跟踪和基于自然场景,”软件学报,27卷,不。11日,第2945 - 2929页,2016年。视图:谷歌学术搜索
16. r . j . Mstafa和k . m . Elleithy”视频隐写术算法基于Kanade-Lucas-Tomasi跟踪算法和错误校正码”多媒体工具和应用程序,卷75,不。17日,第10333 - 10311页,2016年。视图:出版商的网站|谷歌学术搜索
17. h .香和m . Lianquan”,一个健壮的水印算法使用上网功能区域,”武汉大学的测绘学和信息科学,42卷,不。3、421 - 426年,2017页。视图:谷歌学术搜索
18. l .回族l .清泉和c高,“移动目标检测使用C_SURF登记,”武汉大学的测绘学和信息科学,39卷,不。8,951 - 955年,2014页。视图:谷歌学术搜索
19. f . Yidong s曰,“基于SURF特征提取的图像匹配算法和FLANN搜索,“杂志的图片4卷,第654 - 650页,2015年。视图:谷歌学术搜索

版权

版权©2021吴勇等。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。