文摘
在当今社会,信息技术的广泛应用,虚拟现实技术,作为一种新兴的前沿技术,已经进入了一个快速发展阶段。虚拟现实技术是利用计算机技术来模拟现实生活中的环境在一个虚拟的仿真环境,借助专用设备之间实现自然交互用户和技术环境,旅游业是使用最广泛的。为了实现三维虚拟现实的旅游景点,提高用户的身临其境的体验互动的过程中,介绍了深层信念神经网络实现目标识别和重建在虚拟现实。结果表明,该算法具有良好的性能在目标识别和目标重建、和深度信念网络精度提高0.57%和0.81%,准确性为0.21%和2.06%,分别与当前最优的目标识别算法相比12至20视图正则投影图像。与当前最优算法相比,深度信念网络降低了0.2%,3.7%,和0.6%,分别。精度指数增长了2%,0.1%,和0.1%,分别。上述结果表明,该算法基于深层信念神经网络可以实现3 d虚拟现实复杂的场景,如旅游景点根据其优秀的性能。
1。介绍
如今,信息技术的不断突破已对人们的生产和生活带来了巨大的影响。虚拟现实技术的快速发展提供了一个新想法的转换和发展传统的旅游形式。使用这种技术能给游客一个身临其境的虚拟现实和独特的经验。这是一个新兴技术集成智能模式识别、计算机图形学中,机器视觉,和其他学科1]。游客们可以得到一个身临其境的体验与模拟环境交互没有离开家。然而,在实际应用中,特别是在3 d虚拟现实的实现的旅游景点,有三个技术难题在复杂的场景,包括目标识别、目标重建、图像显示和人机交互2]。其中,目标识别和目标重建是实现虚拟现实的关键。在旅游景点进行目标识别时,将会有各种各样的目标,容易阻塞,复杂的纹理背景,大体积的差距,和形状。传统的识别方法是容易失去关键信息,减少目标检测的准确性。当重构目标,传统的结构与运动(SFM) [3)可怜的鲁棒性和适应性,这将减少目标的重建精度和质量直接影响到用户体验。这些也成为亟待解决的问题,提高虚拟现实的实现技术和用户体验。为了进一步了解上述问题,我们把研究LSTM基于粒子群优化的神经网络算法的异常检测和传感器数据和递归网络技术在三维虚拟现实。结论是,当前深信心神经网络算法可以有效地解决这类问题。
神经网络快速发展的深层信念,SFM等传统算法的缺点越来越突出,比如大量的计算,与传统算法只能选择人工特征时,提取图像特征,导致一些重要信息丢失和影响图像重建的影响。因此,许多学者开始关注深层神经网络。马等人首次提出使用编码和解码的想法来构造二维图像和三维图像之间的映射关系,通过深层神经网络和二维模型中提取特征向量通过反褶积网络从传统的卷积神经网络解码重建的三维模型4]。陆等人提出了一个三维递归神经网络框架3 d-r2n2复发(3 d重建神经网络)基于神经网络和重建的三维模型估算像素概率密度(5]。彭等人提出了一个基于神经网络深度信念之下(图神经网络),它可以重建一个RGB图像的3 d模型(6]。胡等人提出的第一个深层神经网络框架PointNet直接处理点云,意识到任务的分类和识别和语义分割的点云数据对象(7]。之后,林等人提出PointNet +神经网络架构(8]PointNet处理地方特色的问题。基于卷积操作直接用于点云,胡锦涛等人构建的三维点云网络的语义分割和目标识别的任务9]。王等人使用一个三维卷积深度信念网(DBN)识别目标和预测视角与三维体素作为输入(10]。设计的网络LightNet侯等人是轻量级和具有较高的识别性能和效率11]。王等人使用八叉树存储3 d立体像素数据的优点,提出了一个卷积神经网络O-CNN (octree-based卷积神经网络)高的训练速度(12]。王等人提出了MVCNN(多视图卷积神经网络)来获得一系列的多视图三维物体的二维渲染图像的投影方法,然后获得三维物体形状特征描述通过特征提取图像的识别和分类13]。MVCNN框架的基础上,邓小平等人提出了循环集群池操作。通过添加特性信息,MVCNN角度来看池是扩展到多层池,和最初的框架是改善,取得了良好的结果在实际应用14]。陈等人提出了FusionNet网络框架有三个神经网络和获得更完整表示的三维目标特性(15]。
总之,许多学者进行了很多研究神经网络,虚拟现实,目标识别,目标重建等等16- - - - - -22]。SFM等传统算法,用于实现旅游景点的3 d虚拟现实,容易丢失信息,功能遗漏,在目标识别和重建和低精度;由于大量的计算和适应性差,这直接影响着游客的旅游景点3 d虚拟现实经验。针对这一点,深层信念引入神经网络,可以获得一个完整的二维投影图像的三维场景,实现目标识别和重建,以更好地实现3 d虚拟现实的旅游景点。
2。虚拟现实的实现基于深层信念神经网络旅游景点
2.1。风景区基于深度信念神经网络目标识别
针对多视图的三维目标识别任务的旅游景点,一个多视图特征融合策略提出了基于神经网络的深度信念。图所示图1。该方法由三个模块组成:二维卷积神经网络(CNN),多层残余LSTM子网(23),和多视图特征加权融合。卷积神经网络(CNN)模块负责图像特征提取。与传统的人工特征提取相比,这个模块可以增强图像特征和降低噪声的影响;多层残留LSTM子网可以获得多个图像之间的关联信息的不同视图的3 d模型,以分析每个模型的图像特征序列的相关性。最后,多视图特征加权融合加权融合为每个模块可以执行特性相关的视图来进一步提高算法的识别能力。
第一步是CNN卷积特征提取。ResNet18被选中作为低层次特征提取二维神经网络。卷积特征提取是在原始输入多视图上执行正则投影图像获得一系列的低级特征描述向量(24]。ResNet18意味着卷积神经网络主要由17层和1个完整的连接层,和网络深度是18岁。其网络结构如图2。图中,实线代表了新的特征向量生成的两个特性图,和虚线跳代表卷积操作需要之前的高低卷积特性一致的特性。通过这种方法的特征提取,我们可以优化网络结构,深化网络深度,提高识别精度。卷积功能通过网络被用作提取网络的输入。CNN,不是所有的上部和下部的神经单位可以直接连接,而是通过“卷积核”为中介,相同的卷积内核可以直接连接和使用在大多数图像。最后,提取的特征点仍然保持原来的位置和连接到LSTM层。LSTM网络层阻止梯度消失通过自己的时间记忆功能和获得特征点通过CNN层培训操作。
网络层在图2只代表卷积架构层和完整的连接层深度。
第二步是提取序列特性的多层RES-LSTM子网。多视图功能映射获得的第一步是采取递归神经网络的特征映射LSTM获得视图之间的相关特性。LSTM神经网络是一种特殊的变体,有重复的网络模块。LSTM和普通的区别在于它解决了递归神经网络长期依赖问题的长时间序列数据信息通过引入控制单元。单元结构如图3由内存单元,输入,输出,和忘记门。每一部分对应于LSTM单元的操作过程,和特定的更新公式可以表示如下:
在公式(1), , ,和代表忘记门、输入通道和输出通道,代表候选人获得的信息输入在当前时间和隐藏状态在以前的时间,代表内存单元的内部状态。
LSTM单元实现序列信息的融合通过自己的特殊机制,获得序列图像之间的关联信息获取完整的三维数据信息的目标。为了进一步提高三维目标的准确识别性能,一个五RES-LSTM网络构造基于残余思想,及其结构如图3。
从图可以看出3,LSTM网络实现序列等信息融合CNN网络层通过其自己的内存机制。特性相关序列图像之间的点形成特定的数据获得的三维目标。第三步是加权融合的多视图的功能,也就是加权融合之间的关联特性的观点在第二步中获得一个更高级的特性向量组合来提高模型的识别性能。根据LSTM单元的机制,隐藏状态在每次输出的一部分,有效的信息之前的时间,也就是说,隐藏的状态在最后时间最有效的信息。因此,subcontributions隐藏的状态物体形状描述在每个时间是不同的,和输入序列的时间的增加,它保留了更多的信息。目标形状的描述的重量贡献较高。其结构如图4。的变量X被定义为代表每个场景的目标形态特征点。与时间序列的增加,最终确定目标后获得LSTM网络隐藏状态分析。
为了准确识别目标的形状,一个多视图特征融合策略提出了:
在方程(2),的描述符是最后的3 d目标特征向量,在每一次,是隐藏的状态隐状态相对应的权重系数不同,权重系数的定义是
通过优化实验,当K方程(3)是0.4,模型的识别精度是最高的。
2.2。风景区目标重建基于神经网络的深度信念
重建3 d对象的旅游景点,传统的SFM算法容易失去目标信息的一部分,导致目标的重建表面的孔,大的位置偏差,和其他问题。因此,一个多尺度特征融合策略提出了基于深层信念神经网络。对应的图像的深度信息预测的深度估计二维RGB图像,以便减少SFM深度预测误差的算法,提高景区的目标重建的准确性。该战略包括三个步骤:特征提取、多尺度融合,upsampling优化。实际的目的是显示在图5。首先,基本特征提取网络提取底层特征向量足以支持后续建模从输入二维图像卷积神经网络。然后,多尺度特性融合神经网络融合低层特征向量获得的空间结构信息增强的功能。最后,得到每个像素的深度估计价值upsampling优化网络获取深度估计的目标图像地图。完成目标的重建。
第一步是提取图像特征。由于堆积结构和卷积卷积神经网络的特点,特征向量的不同尺度卷积操作之后将获得。多个卷积操作不仅会获得不同层次的特点但也中包含丰富的语义信息特征(25]。因此,DenseNet121被选中为基本特征提取多尺度特性的网络融合网络,及其特征提取图如图6。DenseNet121密度卷积神经网络由120卷积层和一个完全连接层。网络的深度是121。它包括四个密集网络连接块,每个块包含两个卷积网络层。网络中传输的信息,得到不同尺度的特征图。
第二步是多尺度特征的融合获得增强功能的空间结构信息。多尺度特征提取的常用方法是提取不同尺度特征图像DenseNet121网络特征提取、规模特征,不同分辨率的图像构建图像金字塔,然后提取特征的分辨率的图像卷积神经网络,但在计算过程中占用大量的内存低运行速度大大限制了方法。特征金字塔网络(红外系统)可以获得功能不同大小的图像在原始图像上的多个卷积和池操作根据卷积网络自身的特点,这是一个自上而下的路径来完成不同功能的融合(26]。针对这一点,一个多尺度特征融合深度信息的网络提出了估计。网络结构如图7。
从图可以看出7,整个操作过程的多尺度特性融合网络结构可分为三个步骤。首先,向前传播的基本网络模块“从下到上”,然后“自上而下”和水平连接,最后反褶积和特征融合。通过两步的融合,网络不仅保留了图像的细节特征,还具有良好的功能解析,更适合深度估计的二维图像。
第三步是优化后的特性融合的多尺度特性。的大小特征图像获得的多尺度特征融合模块不同,它需要恢复原始图像大小相同。图像upsampling的常见的方法是插入新元素的线性插值。传统的线性插值算法包括双线性插值方法,最近邻插值法,双立方插值方法,等等27- - - - - -29日]。抽样过程中,传统的方法是容易导致图像马赛克和锯齿现象,所以改进的反褶积方法是用来避免上述问题30.]。具体操作是先池uppooling层,填写的地方缺乏与零特征值,并与0旋卷的所有地方,得到一个新的规模特征映射。同时,在相同规模的情况下,残余思想和小卷积内核用于减少网络参数,提高运行效率。其结构如图8。
在风景区的深度图像估计目标、深度估计通常被看作一个回归的问题,因为景点之间的距离目标和抽样相机是连续的。损失函数通常用于解决回归问题包括平方损失,损失,绝对值Huber损失,和BerHu损失;其中,BerHu损失函数在处理具有良好的鲁棒性单眼深度地图估计任务,所以我们选择BerHu损失函数作为网络的训练损失函数,及其公式如下。
在方程(4), ,在哪里深度值和预测吗深度图的真正价值。C阈值,具体值是 ,0.2倍的最大残余的整体形象。因为初始深度图的损失和精制深度地图需要考虑同时,BerHu失去真正的深度地图和估计深度地图选择的监测损失培训:
在方程(5),BerHu初始深度图的损失,的BerHu损失优化深度地图,然后呢被认为是1。最后,它总结了深层神经网络接收信息并将其传输到每个公司通过多路径层单元神经网络和反应活化或抑制。细胞神经计算值的输入数据,和反应的内容是网络节点。根据实际内容的深度数据地图,计算损失程度的培训来解决回归问题。
3所示。旅游景点的虚拟现实效果的分析基于深层神经网络的信心
3.1。性能比较和分析虚拟现实目标识别的风景点
为了验证虚拟现实目标识别性能的旅游景点、多视图特征融合策略基于深层信念神经网络评估和测试。模型网络基准数据集选择常用的三维目标识别作为测试数据集,它包含两个不同的子集ModelNet10 ModelNet40。前者包含10类目标和4899的CAD模型,而后者包含40类目标和12311的CAD模型,人工的态度和他们所有的人都受角对齐(31日]。一般来说,准确性越高,更好的整体分类识别模型的影响。精度越高,识别模型的错误检测率越低。
模型识别精度正确分类的总数乘以除以所有分类样本的数量:
在方程(6)、TP的数量是正确的识别、TN的数量nonclass的正确识别,nonclass FP的数量是错误的识别,鉴定和FN的数量是错误的。
准确率是比例的正样本的识别算法。计算公式如下:
在方程(7),n类别的总数,我每个类别的标签。
然后,多视图特征融合算法DBN基于神经网络与信仰的主流目标识别的网络算法MVCNN, MVCNN-New [32],MVCNN-MultiRes [33在12和20查看正则投影图像。测试结果如图9和图10。
图9显示了每个算法的识别性能的测试结果在12个正则投影图像。测试结果表明,DBN优于其他算法识别精度。与第二MVCNN-New相比,MVCNN-New的准确度和精密度分别为95%和92.4%,分别。DBN的准确性和精度分别提高了0.57%和0.21%。
图10显示了每个算法的识别性能的测试结果在20个正则投影图像。试验结果表明,DBN的识别精度明显优于其它算法。与第二MVCNN-New相比,准确度和精密度率是96.03%和93.4%,准确度和精密度DBN的速度提高了0.81%和2.06%,分别。它可以看到从数据的比较结果9和10各分支之间的多视图特征融合算法神经网络的信心,该模型明显优于其他算法识别精度。它提高了投影图像的识别精度,更适合参与研究景区的3 d虚拟现实技术。
3.2。性能比较和分析虚拟现实目标重建景区
为了验证虚拟现实目标的重建表现在旅游景点,多尺度特征融合策略基于深层信念神经网络评估和测试。纽约大学深度室内深度选择纽约大学出版的地图数据集作为测试数据集,其中包括纽约大学深度V1和V2纽约大学深度。前者包含7个不同的场景类型和64种不同的室内场景,而后者包含400000个场景RGB图像和相应的深度地图(34]。为了便于研究和培训,1449块大小为640×480,与相应的注释完成深度地图和脆鸡一个标签的准确的注释图像,如图11。795图像被随机分为训练数据和654年图像作为测试数据。
在评估的神经网络算法风景区目标重建,评价指标(35]Laina et al。一般选用模型,其中包括以下六个方面。
根均方误差(RMSE)表示为
平均相对误差(REL)表示为
log10平均误差(log10)公式表示为
三个阈值下的准确率 : 在哪里是真正的深度值,d我估计深度值,t是像素的总数。的RMSE值越低,REL和log10,重建算法模型的精度越高,而三个精度指标是相反的。
消融实验的多尺度特征融合模块在网络条件下的单眼深度估计是使用V2的纽约大学深度数据集。从图可以看出12、多尺度特性的性能融合模块进一步加强与直接使用卷积特性图深度地图预测。
图13显示了烧蚀实验upsampling优化模块的功能融合模块在网络条件下的单眼深度估计使用V2的纽约大学深度数据集。从图可以看出13upsampling优化模块优化原始RGB图像和初始深度图通过反褶积。与初始深度图直接通过反褶积,进一步提高其性能评价指标,结构深度地图更清晰的细节。
图14显示了主流的深度估计算法的性能测试,如特征(36],Laina [35],DBN,重建景区使用V2的纽约大学深度数据集。结果表明,DBN优于其他算法在目标重建精度。与当前最优Laina算法模型相比,DBN算法减少REL 0.2%, RMSE 3.7%,和log10 0.6%,提高了准确性2%,0.1%,和0.1%,分别。使用该算法处理复杂的旅游景点的环境和丰富的场景信息,我们可以获得更精确的深度信息,提供更准确的目标重建图像实现三维虚拟现实的旅游景点。
4所示。结论
虚拟现实技术的应用和发展旅游产业是一个典型的代表信息技术的普及。在这项研究中,一个功能融合方案基于深层信念神经网络解决信息丢失的问题,提出了功能遗漏,和低精度的过程中三维虚拟现实的旅游景点。的无监督学习特征深度信念神经网络用于尽可能多的保留原始的特性。它可以提高识别的准确性和重建在虚拟现实的实现。该方案可以保留更多的细节的3 d虚拟现实实现旅游景点,让游客更好的沉浸式体验。结果表明,该算法具有良好的性能在目标识别和目标重建、和深度信念网提高了准确性0.57%,0.81%,0.21%和2.06%的准确性,分别与当前最优的目标识别算法相比12至20视图正则投影图像。与当前最优算法相比,深度信念网络降低了0.2%,3.7%,和0.6%,分别。精度指标 增加了2%、0.1%和0.1%,分别。上述结果表明,新算法具有更好的适应性和更高精度的实现3 d虚拟现实在旅游景点等复杂的环境,可以大大减少信息缺失的问题,丢失的特性,在目标识别和重建和低精度。本研究结合了深层信念网络和虚拟技术,它提供了一种新的探索方向实现3 d虚拟现实的旅游景点。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突。
确认
支持的研究是“Xijing大学研究项目:研究陕西工业Heritage-Type文化的发展和创新的想法和创意产品的角度来看“互联网+”(XJ180205)。”