文摘

本文提出一种融合景观增强现实方法基于多视图三维模型重建。基于原则与增强现实技术,该方法使用培训和提取图像的自然特性,它解决了人工造成的便利和美学问题的迹象。通过提取和训练的自然特性在不同的尺度上获得的图像,哈里斯和反常的算法用于提取特征并为实时获取的图像创建二进制文件描述符。特征匹配是进行上述两个特性来估计重建模型的位置就会出现。同时,对3 d模型重建的困难需要相关专业知识和重建效果差的缺陷,SFM算法用于多视图重建景观模型的实现增强现实自然场景和景观模型的融合方法。实验后,融合通过这个方法很有效,这证明了方法的可行性和潜力。

1。介绍

越来越多的现象表明,人类活动不断破坏自然世界,和生存的环境正面临着大问题。此外,由于单一的表现形式的景观在自然场景,人逐渐缺乏新鲜的风景。因此,如何有效地保护景观以自然场景和发展独特的景观表现形式已成为近年来的研究热点。虚拟现实的出现(1)带来了许多研究人员的新视觉。虚拟现实抽象用户从他们的环境,给他们提供了视觉和听觉刺激,这使得他们在完全不同的环境中找到一个不同的感觉(2,3]。尽管虚拟现实有强烈的沉浸,用户体验成本高是因为昂贵和难以携带设备实现虚拟现实,经过很长一段时间的使用,会引起头晕,和持久的舒适体验不足,所以虚拟现实市场发展限制了很长一段时间。在此基础上,研究增强现实领域的出现。

增强现实(AR) [4是虚拟现实技术的进一步发展,结合真实场景和虚拟视觉交互和增强了真实世界的应用模型,声音,灯光,等。近年来,由于新皇冠疫情的出现,人们的旅行大大限制,人们的欣赏各种风景的独特美丽的自然场景受到抑制。“增大化现实”技术为人们创造了一种新的方式与外面的世界联系。通过研究[5),它是发现,在大流行期间,数字技术,如基于“增大化现实”技术发挥了重要的作用在人们的需要帮助对抗流感大流行。从提出“增强现实”这个词6)到现在,从一个有限的应用程序场景开始广泛应用在医学(7)、文化(8)、教育(9,旅游10)、娱乐(11),和社会互动12),基于“增大化现实”技术已被证明其巨大的发展潜力。

各种景观在自然场景的设计起着至关重要的作用在人们的身体和心理健康的发展,尤其是绿色景观的设计(13]。疫情已经抑制了人们的自由旅行和阻碍人们感受景观的意义的外面的世界。使用基于“增大化现实”技术的技术,人们可以感受到独特的表达室内室外景观和现在现实模型的形式,让人们的另一种魅力相应的景观。它减少了遗憾,人不能访问现场亲自景观由于流行和经济原因,不能真正体验自然风光景观和满足人民升值的任意性的景观。

为了应对“增大化现实”技术的发展局限性的自然场景,我们结合基于“增大化现实”技术的实现技术和景观在自然场景的特点,实现一个基于“增大化现实”技术的融合方法,其中包括基于“增大化现实”技术的创造,多视图重建的景观模型和虚拟现实合成演示。

在这种集成方法,人们可以享受不同的名胜风景。旋转识别地图或者摄像头设备,他们可以查看各种观点的国家风景的四面八方。因为我们用的多视图重建技术模型重建的模型真实的风景,更现实的模型重建通过三维模型软件,可以显示的特征形象景观在自然场景在最大的程度上。这个多媒体融合方法基于AR技术只需要一个照相机装置和一个显示设备,相对较低的成本和简单的操作模式,大大满足了大众的渴望AR技术。

在本文中,我们提出一个增强现实方法融合景观结合多视图三维模型重建基于增强现实技术的实现原理。通过培训和提取图像的自然特性,我们解决问题的方便和美学由人工标记功能。同时,该方法使用Harris角点检测的方法捕获的视频帧图像的特征提取。反常的算法是用于创建二进制特征描述符特征匹配的画面自然风光景观从不同的角度,完成功能训练。然后,在结合相机的投影矩阵,计算虚拟模型渲染的位置。SFM算法用于多视图重建景观模型来解决3 d模型重建的困难需要相关的专业知识和可怜的重建结果的缺点。最后,重建模型进行相应的调整,然后呈现在上面位置估计的工作通过OpenGL实现增强现实自然风光和景观模型的融合方法。

本文的其余部分组织如下。部分2描述了一些相关的工作。细节这个基于“增大化现实”技术的实现技术,如功能训练的图片,和3 d模型的多视图重建工作将在部分3。这种融合方法的演示的结果将在部分4。我们将分析结果和讨论部分的下一个方向的工作5。

2。相关工作

增强现实(AR)技术提供了一种流设施覆盖真实场景图像与虚拟图像和计算机模型允许观众观察景观建筑的看不见的高度,它实际上代表了另类景观变化(14,15]。近年来,数字技术,如基于“增大化现实”技术的发达在景观建筑呈现。

这篇文章(16提高了虚拟现实技术的建模方法,解决了低自动化和弱的缺点适用性,和增强虚拟现实技术的应用在室内景观设计。摘要(17)结合虚拟现实技术和图像处理技术来设计一个交互式建筑景观漫游的方法,解决了低分辨率的问题,传统的单一的系统结构景观规划仿真系统的影响。

罗德里格斯et al。18]分析了可能的好处和局限性的传统过程建模技术应用于虚拟遗产和提出了一个完整的房屋模型重建的方法生成。在[19],Tobiaš等人结合GIS技术、3 d软件,和过程建模工具提出景观可视化模型和捷克在城堡城堡和场景,它允许用户轻松地识别历史景观特征及其随时间的变化。周et al。20.)提出了一种改进的三维重建方法通过使用点和线的组合功能。通过将提取的3 d线集成到一个优化的密集的点云,景观建筑的边缘从而准确地重建,准确性,完整性,重建模型的效率提高。

杨et al。21]提出了基于三维重建的交互式系统方法和基于“增大化现实”技术。系统结合重建模型与基于“增大化现实”技术的环境和提供一个更加方便的方式来设计和管理建筑设计的基于“增大化现实”技术的应用。田et al。22)提出了一个有效的基于“增大化现实”技术的闭塞基于三维重建的处理方法,从而确定是否有阻塞之间的真实场景和虚拟模型和实时处理。这种方法大大提高了AR系统的实用性。

户外可穿戴AR系统[注册算法23)登记的准确性提高了跟踪户外场景的自然特征,被头盔显示装置。提出了基于GIS的一个现实的可视化方法Ghadirian和主教(15),动态增强景观视图的时间变化建模。通过结合GIS和AR,景观的方法显示复杂的信息状态和自然场景的动态变化。Portales et al。24)提出了传统摄影和基于“增大化现实”技术之间的协同作用。它在视觉上建造了一个混合的城市空间,用户可以穿过现场,它创建了一个基于“增大化现实”技术的环境,身体是不可能的。为增强现实三维模型可视化系统(25)让用户方便地感受到户外文化景观在自然场景的信息。ARGIS系统[26)是一个户外AR系统的注册机制,结合3 d GIS和AR系统,这是比视觉跟踪注册方法快得多。结合传统和间接AR,希梅诺et al。27)提出了一种新的移动AR-based应用解决问题引起的不舒服看拥挤的人群在博物馆,它允许用户自由地观察增强博物馆环境而不用担心被其他用户。今天和黑门山28)结合自然与增强现实交互和应用文化遗产博物馆来解决这个问题,文化景观和工件不能查看或互动。Ou et al。29日]结合深度学习和增强现实技术,提出了一种方法来建立一个更有效率和恢复景观再现性较高的沙箱系统和三维效果,弥补了传统景观沙箱系统的缺点。Allal-Cherif [30.]分析了利用AR技术的智能体验带游客参观大教堂,这让他们很容易地看到一些地方没有对公众开放由于破坏文化遗产景观和帮助游客了解相应的历史和文化信息。

上述相关工作的出现促进了基于“增大化现实”技术的集成和交互技术和模型重建技术在自然场景。然而,它仍有缺点,比如只适用于室内和大型计算体积,需要携带笨重的设备以及使用手册迹象影响便利和美学,并提出景观模型的真实性是不够的。增强现实融合方法提出了以自然特征为标志,并使用基于“增大化现实”技术的技术和景观模型的多视图重建方法在自然场景,可以显示增强的虚拟模型的现实环境在最大程度上。

3所示。过程

增强现实(AR)技术增强了环境混合现实世界和虚拟模型。米尔格拉姆和米尔格拉姆等人提出了一个reality-virtual连续体(31日,32),把真实和虚拟环境作为连续体的两端。它们的中间部分被称为“混合现实”,增强现实接近真实的环境,和增强虚拟接近虚拟环境。Azuma [33)首次提出增强现实的科学定义,并指出基于“增大化现实”技术的技术有三个问题:(1)相结合的虚拟模型和现实世界中,(2)实时互动,和(3)三维注册。

这个增强现实融合方法的实现需要自然场景视频帧的收购,以及特征识别提取实时捕获的视频帧图像。三维注册技术是用于匹配的特性获得的图像与模板图像和计算模型视图矩阵。生成的模型重建场景的风景呈现在现实场景中通过虚拟现实合成技术,最后提出了显示设备,如图1。

3.1。图像特征训练

图像特征AR系统的培训是一个重要的一步。模板的功能训练图像特征匹配操作产生至关重要的影响。我们将列车在不同分辨率的特性,不同的角度,不同的亮度。

功能训练是分不开的从图像数据的采集,以及图像采集需要注意以下几点。(1)视角。不同的角度变化将改变摄像机的可视区域(2)距离。自然场景摄像机的距离会改变主题的图像的分辨率大小功能训练(3)照明。不同的照明将捕获的图像的亮度变化。当地的亮度可能过高或过低(4)避难所。避难所将导致捕获的图像是不完整的和影响功能训练效果

所有上面的点会导致捕获图像的数量特性发生变化,这可能会导致后来的特征匹配操作失败,影响系统基于“增大化现实”技术的实现。

为了实现更有效的基于“增大化现实”技术系统对自然场景和风景,图像采集与不同角度、决议、照明和执行存在部分遮挡特性集训练目标。一些图像的收购(取部分从不同角度图像采集)的例子在图所示2。

这里,收集到的图像数据特征提取的训练通过构建尺度空间狗(高斯函数的区别)。狗算法(34)是一个灰度图像增强算法,提取特征点。通过使用以下不同的高斯核函数参数值采集图像, 卷积运算实现的规模处理获得的图像,即。图像的模糊程度, 高斯核函数, 代表了图像像素位置,是比例因子,确定图像的模糊程度,卷积运算, 是输入图像, 尺度下图像对应的吗值处理。然后,两个相邻尺度空间图像的差了 在同一大小获取狗形象,即。,高斯尺度空间微分。通过使用这种方法训练图像特征提取,可以保留许多详细的功能。

图像金字塔是将采样图像实现图像大小转换的影响。高斯图像金字塔是由结合高斯核函数与图像金字塔。培训的结果(与一些图片在不同的角度为例)在图所示3。在培训过程中,我们设置了最小和最大20和96号决议,分别构造高斯微分规模空间,设置默认图像特征提取度值和初始化值。基于构建尺度空间和图像金字塔,我们可以获得不同分辨率的图像。特征提取的训练后,可以得到如图的效果4(第一组具有不同角度的图像为例,为了比较特征点提取的显示效果,我们调整不同大小的图像显示的大小相同),在绿点代表了特征点用于初始图像的跟踪和识别,红框表示用于连续跟踪特性,和蓝色数字表示的数量连续跟踪特性。

根据特征点的数量的趋势呈现在图4(见表1相应数量的特征点和图5趋势的特征点的数量),可以得出结论,从图像中提取特征点的数量显著增加随着图像分辨率的上升趋势。我们把多个不同分辨率的图像训练更好地实现一个基于“增大化现实”技术的融合系统对自然场景的风景。

3.2。三维注册

增强现实系统添加虚拟三维模型真实的场景,并叠加在真实场景的位置决定了最终的现实感。3 d AR系统的登记是关键一步,决定了虚拟现实场景模型。目前,三维注册技术可分为三类:基于传感器,基于传感器和愿景,建立三维注册技术。在这里,我们使用基于自然特征的三维注册技术的愿景。

自然特征表示图像的信息,如颜色、轮廓、边缘梯度和纹理。一个好的自然特性应该有以下特点:区别:此功能点区别于其他特征点,从而不容易被错误;可靠性:当图像缩放、旋转等,功能点仍然可以识别;和无关紧要:图像信息包含在这个功能应该是独立于其他的特征点,以避免数据冗余,增加计算复杂度。

根据不同的特征提取方法,自然特征分为点、线、面,质地,颜色,和统计功能。最常用的功能点特性point-line-surface特性。它是图像的基本特征,属于地方特色,如角落和边缘点。角点是其中一个最典型的特征点。常用的提取方法包括curvature-based角落,gray-based, edge-based提取。这是基于灰度变化的特征提取方法,Harris角点检测方法。

(Harris角点检测方法35)是一个一阶导数矩阵基于灰度级变化检测方法,具有旋转不变性的特点。它检测到图像的局部自相似性。也就是说,如果其灰度变化极大地当移动特性窗口在图像的局部区域,这是一个转折点。哈里斯将RGB格式的图像转换为灰度图像。使用公式(5)来计算图像的灰度变化 后点 感动( , )。

图像窗口集中在哪里 。 代表一个点在图像窗口。 代表图像点的权重函数 。 是改变图像灰度值, 是原始图像灰度值。根据泰勒展开式法和偏导数的知识功能,上述公式简化 在哪里

根据上面的公式,图像中的点进行分类,计算角响应值 。计算的公式是

在这里 ,和 ,在哪里和矩阵的特征值吗 。 是一个经验常数。当的值范围是[0.04,0.06],响应值计算出的角落是最好的,是最适合角检测。响应值阈值执行计算的角落 。时的值大于阈值,是当地最大价值领域的重点,重点是视为一个转折点。后角点是Harris角点检测方法,检测到的特征点描述符是为每个拐角点创建使用狂算法。

狂(快速视网膜关键点)算法(36)是一种检测算法基于对象的原则识别的关键特征点的人类的视网膜。结合该地区的人类视网膜处理图像信息的精度不同,反常的算法使用最中心点采样结构特征点和其他圆中心的采样点。自狂算法使用二进制串来描述特征点,它是表达方程(9), 在哪里表示采样点对表示二进制字符串的长度用来描述特征点,和的值是由公式(10),如下所示。

在这里,和表示以前的高斯模糊后的像素值和下一个采样点采样点对 。

为了创造更好的特征描述符,狂算法过滤 - - - - - -位二进制串删除一视同仁的描述符和构建矩阵用来表示二进制文件描述符。这个矩阵的每一行表示一个二进制特征点描述符,根据怪物的采样模式,有43个采样点,所以有一个 采样点对;即。,this matrix has 903 columns. Since the matrix is in binary, it is best to solve for the mean of the columns of the matrix with the mean at around 0.5. After that, all columns of the matrix are sorted according to their mean values, and the column closest to 0.5 is ranked first, and so on. The final number of columns of the most suitable binary descriptor is selected, i.e., the number of bits of the binary descriptor.

这个公式 用于计算采样点的梯度信息,用于提供对特征点的方向。它保证旋转不变性,表示局部梯度信息,表示采样点对的数量,表示一组采样点对,和表示位置的前一个和后一个采样点的采样点对 。自狂描述符具有尺度不变性和高斯模糊使特征点有噪音免疫力和光照不变性,得到的二进制文件描述符狂算法来描述特征点可用于特征匹配。

最后,特征点匹配是由迭代最近点(ICP)算法。从那里,模型视图矩阵,即。,the rotation translation matrix, is calculated and combined with the camera projection matrix to estimate where the reconstructed model will appear in the real scene and complete the 3D registration.

3.3。多视图的三维重建

三维重建是一个过程,通过使用单一视图重建3 d信息或计算机视觉领域的多个视图。目前,3 d重建主要基地在单眼,双目视觉,RGBD。单眼视觉,两个主要类别存在重建:离线和在线。最经典的SFM离线重建算法。

SFM从运动(结构)算法离线算法基于无序图像的三维重建与多个视图。因为所需的大量的图像重建和图像数据之间的障碍,各种SFM策略,如增量、分级,和全球的出现有效地处理这些图像数据的快速和准确的重建。增量SFM算法(37)具有较强的鲁棒性是最常用的。它首先将两个图像数据最初然后继续添加一个图像对齐和满足与以前的结果。整个重建过程的增量SFM算法如图6。

在SFM算法进行三维重建,执行一些图像处理工作。首先,特征提取等算法筛选用于从输入图像中提取特征。特征匹配是由计算图像特征点之间的对应关系和选择的特征点对集满足要求。基于匹配的特征点对,相机的几何位置和特征矩阵估计和优化和匹配的特征点对过滤和改进的RANSAC算法:八对匹配点是随机选择的配对特征点,和基础矩阵解决。然后,纵向分和纵向线之间的距离映射矩阵计算的基础。如果距离小于指定阈值,它被认为是一个内部点。内点的数量统计和迭代,和基础矩阵的最大数量的内部点选择结果过滤,和匹配点对不满足这个基本矩阵消除。

开展重建过程,SFM首先选择两个初始化模型的图像重建。基本矩阵估计从一个图像的位置信息和匹配点对的关系与另一个图像。然后,矩阵分解得到位置信息的其他图像。之后,执行对齐图像,特征点集的2 d图像转化为一组点云在3 d空间利用三角测量来生成三维空间点。在此基础上,摄像机构成和特征点是最佳调整通过使用束调整滤波器的点在3 d空间不满足要求。之后,新的图像数据不断增加,与以前的结果执行上述过程,直到没有合适的图像数据。最后,获得的纹理信息添加到模型网格更现实的三维模型。效果如图7。

重建后,模型可能太大,有一些可怜的重建结果。为了促进增强现实融合方法实现更好的结果,我们可以选择使用MeshLab工具或其他Autodesk Maya和3 d建模软件对建模结果进行相应的调整。模型将调整到合适的大小和出现意外或不良影响的重建进程。这个操作使得最终的模型效果接近于景观呈现效果在现实场景,实现增强现实自然风光景观的融合方法。

3.4。融合的虚拟模型和真实世界

技术结合了虚拟模型和现实世界中通过将虚拟物体在真实的自然场景的环境。虚拟物体在这种情况下通常是指虚拟3 d模型。因此,重建模型很大程度上影响了集成的虚拟模型的影响和现实世界决定了AR系统的现实主义。在这种集成方法中,我们使用三维模型文件从多视图重建完成了在前一节中与自然融合的场景。

在渲染之前重建模型通过使用OpenGL,现场图像被相机被称为通过缓存和显示为背景。透视投影矩阵来源于内部相机参数的模型视图矩阵计算,结合三维注册部分,即。,旋转平移矩阵(r t矩阵),估计重建模型的位置在背景中呈现的场景。然后,我们开始模型的渲染。因为我们使用的模型文件包含信息,比如顶点法线,纹理,和材料,OpenGL需要第一次读到这个信息并提供相应的网格模型。然后,渲染设置纹理和照明等一起把这些执行到形式的模型,我们需要在显示设备上。最终,背景场景结合呈现模型实现集成的虚拟模型与实际场景。融合效果如图8。

4所示。结果

我们使用ARToolKit框架下window10系统和视觉Studio2013开发工具实现增强现实的融合方法。这里使用的设备由一台计算机配置英特尔i7 - 8700 (R)(电子邮件保护)GHz CPU, 32 GB RAM, NVIDIA GeForce GTX 1080 ti图形卡,windows 11 OS,高清专业摄像头C920 USB相机。自然风光景观的特征提取是进行培训。多视图模型重建是由使用SFM增量算法。自然风光景观的增强现实融合方法相结合,实现注册和虚拟现实三维合成技术,如图9。

我们旋转识别图像与不同角度呈现效果的图像,如图10。顶点的定量信息,边缘,面临相应的重建模型中包含(调整模型)如表所示2。同时,我们可以考虑改变大小的融合模型,以便更好地观察了自然风光景观,如图11。

在数据的影响9和10与顶点的定量信息,边缘,面临包含在表中2,我们可以看到重建的模型越复杂,越顶点,边缘,面临它包含相对模型重建效果会更好,和更现实的融合提出了结合后的效果自然场景。

根据上述影响视频,我们可以从中获得相应的帧率如表所示3。计算他们的平均帧速率,我们可以获得平均帧速率为每秒29.95帧场景1,29.975帧每秒对于场景2,场景3和30.1帧每秒。结合帧速率变化的趋势(如图12),我们可以发现帧速率值总是变化大约每秒30帧,最大变化的差异为0.6帧每秒,这往往是稳定的。得出自然风光景观的增强现实融合方法仍具有良好的稳定性和明显的效果在大型多视图的情况下重建模型。

5。结论

本文提出了一种增强现实基于自然风光景观的融合方法。AR技术的发展提供了新的方式呈现自然风景景观,近年来流行的出现使得技术,如基于“增大化现实”技术的发展更加迅速。自然和风景摄影的数字化通常以图片或视频的形式呈现,这是二维和缺乏现实主义。多年来,人们一直失去了新鲜感。一些应用程序出现在AR技术和自然风光景观的结合。然而,自然风光景观模型,尤其是大型景观,通常需要与专业背景建模模型重建,这是难以实现的,该模型显著不同于真正的景观。为了解决这些问题,我们结合AR技术与多视图重建自然风光景观实现增强现实融合方法。通过这种综合方法,人们可以享受户外景观在室内的一个现实的表示。研究结果证明,该方法允许用户从不同角度观看风景的不同视图,这可以弥补这一事实的一部分,景观不能从四面八方。更重要的是,数字技术的引入进一步结合现实的经验在保护自然风景景观中发挥作用。

然而,这种融合方法仍然面临一些问题,如重建模型太大了,方便的实现增强现实融合自然和风景摄影的多目标的方法,以及单一的交互方式,等。因此,在未来的研究活动中,我们将进一步提高重建模型的大小而设计许多不同的交互方法,逐步实现以用户为中心的增强现实融合方法和多目标的自然风景。

数据可用性

使用的数据来支持本研究的发现已经存入DOI库。

的利益冲突

作者宣称没有利益冲突。

作者的贡献

Genlong李歌,易造成同样这项工作。

确认

这项工作得到了软科学浙江省重点科研项目(2022号c25033) WenzhouA基础科技项目(没有。R2020025),温州的科技服务计划项目科学技术协会(没有。RKX07)。