文摘
三维建模是最基本的技术实现VR(虚拟现实)。VOS(视频对象分割)是一个进行像素级的任务,旨在段视频的每一帧的移动对象。结合理论与实践,本文研究了3 d虚拟场景构建的过程,并在此基础上,研究三维建模的优化方法。在这篇文章中,一个无监督VOS算法,初始化目标相结合的运动目标图像的边缘和边缘出现目标和协助虚拟现实三维模型的建模,未来建设具有参考意义的大规模虚拟现实场景。结果表明,该算法的分割精度可以达到94%以上,这是大约9%高于FASTSEG方法。三维建模技术是三维虚拟场景的基础;所以,现实意义研究3 d建模技术的应用。同时,它积极的意义使用无监督算法VOS协助虚拟现实三维模型建模。
1。介绍
虚拟现实是指人工媒体空间建立的计算机(1]。与虚拟现实技术,形成复杂的或抽象的概念系统可以通过表达系统的子组件与精确的符号意义以某种方式(2,3]。其中,三维建模是最基本的技术实现虚拟现实技术。虚拟现实模拟在现实世界中的虚拟数字空间,和3 d建模是解决问题在现实世界中事物的表现在数字空间4:如何使用计算机自动分析3 d建模数据有效地搜索3 d建模内容有效,所有的虚拟现实三维建模[带来巨大挑战5]。这是一个新的尝试无监督VOS算法应用于虚拟现实三维模型的建模过程。
在虚拟环境建模是整个虚拟现实系统的基础,和VR创建一个虚拟的数字环境,非常类似于真实的环境,在视觉,听觉,和触觉通过使用交互式计算机技术为核心的科学和技术。用户与虚拟环境中的对象进行交互,使用相关专业设备。它还可以创建一个经验在数字环境,类似于真实的环境,可以跨越时间和空间。在虚拟现实中,交互式媒介,用户可以在虚拟环境中感知他们的位置和手势。也会使强烈的真实的感官反应,这样你就可以让自己沉浸在虚拟世界当中。用户依赖于图形和其他技术感觉模拟对象和角色,以让他们的意识在数字环境中(6]。为了创建一个身临其境和现实环境为用户的一个必要条件是创建一个逼真的虚拟场景。当这样一个复杂的模型,通常很难达到实时效果由于机器性能的限制,人们也难以接受(7]。一般来说,人们之间需要一个妥协的细度模型和渲染的速度,不仅可保证一定的渲染质量,也不会引起用户的运动不适(8]。因为大量的3 d建模数据和冗余信息,和普通现有目标分割算法的效率很低,有必要研究和实现一个快速的目标分割算法。本文提出了一种无监督VOS算法,初始化目标结合移动目标图像的边缘和边缘出现的目标,协助虚拟现实三维模型的建模,研究了集成和虚拟现实场景的调度管理。
开发一个虚拟现实应用系统,我们必须首先分析必要的任务,明确任务的目的和性能指标,然后安排适当的系统的硬件和软件资源(9]。下一步是建立一个虚拟环境数据库和应用各种物理特征,运动约束,音频,和互动特性虚拟物品和虚拟场景,包括几何建模、运动建模、物理建模、音频建模和模型分割。
本文的创新贡献在于结合运动目标图像的边缘和边缘出现目标初始化的目标,协助虚拟现实的三维建模。无监督VOS算法的应用虚拟现实技术的三维建模进行了分析。该算法结合了运动目标图像的边缘和边缘出现的目标初始化目标,协助虚拟现实三维模型建模。介绍了3 d信息,也就是说,前景物体和背景之间的深度差异的区域,可以有效改善对象分割的准确性,使分割对象更详细和完整。讨论了虚拟现实建模技术的发展,特点,主要技术指标和虚拟现实建模技术的基本内容是系统研究。它可以清楚地看到,大多数视频帧分割结果摘要比其他方法更好。在一般情况下,该算法具有一定的实用价值,因为精度校对。
本文将分为五个部分,具体内容如下:
第一部分介绍了研究背景和意义,并解释了本文的组织结构。第二部分是相关的工作。第三部分分析了虚拟现实技术。无监督的应用VOS算法在三维模型建模进行了探讨。在第四部分中,大量的实验分析。第五部分是总结与展望。
2。相关工作
苏亚雷斯初级等人指出,3 d建模是虚拟现实的核心技术(10]。写在3距离和VRML语言,包括模式识别技术和通信技术。Ko和Sim引入3 d建模技术的应用和实现联合站系统从系统的分析和设计,系统3 d虚拟场景建设、数据库技术、场景表现艺术,和3 d物体运动模拟(11]。张等人,玉等人指出,检测两个多面体是否相交可以在线性时间内完成(12,13]。如果两个点集不相交的凸壳,那么必须有一个平面分离的两个点集。卓等人介绍了3 d技术的基本内容和分析并研究其实现方法(14]。曹等人使用多创创造者和织女星软件平台开发一个桌面虚拟发射场仿真系统(15]。史密斯和汉密尔顿和洪等人提出了一个对象使用层特性的谱聚类的图像分割方法(16,17]。oversegmenting图像的基础上利用算法,该方法提取每个superpixel的中层特征,边缘特征和颜色特征,分别使用superpixel为基本节点,融合这两种不同的特性来构造一个相似度矩阵,最后利用谱聚类得到最终的目标分割结果。刘等人提出了一个基于手指触摸的分割算法。通过融合边缘、纹理区域和本地收集的接触点到一个外观模型的几何信息,只有一个手指触摸可以识别图像中感兴趣的对象(18]。赵和装备设计了一个时空双边定期采样网格以减少长期时空像素之间的联系(19]。段视频移动对象的一些方法构建稠密或稀疏轨迹使用概率模型。梁等人产生了一个固定大小的窗口与当前像素为中心和实验室中提取颜色特征在这个窗口(20.]。然后,这个特性是比较本地和其他附近的窗户获得卓越的特性计算结果,和卓越的价值在多尺度相结合获得的初始化结果显著目标。Yilmaz等人实现了一个时空的视频分割算法结合长期运动线索从过去和未来帧21]。
本文研究的无监督VOS算法的应用虚拟现实技术的三维模型建模。在这篇文章中,一个无监督VOS算法,初始化目标相结合的运动目标图像的边缘和边缘出现目标,协助虚拟现实三维模型的建模,未来建设具有参考意义的大规模虚拟现实场景。
3所示。方法
3.1。三维模型建模
虚拟现实系统的一个重要因素是虚拟世界的建模22,23]。虚拟现实的建模过程一般分为以下步骤:(1)描述虚拟物体的形状和外观通过几何建模。(2)确定3 d对象的位置在世界坐标系统及其运动在虚拟世界中通过运动建模。(3)物理模型,它综合反映了物体的物理特性,包括重量,惯性和表面硬度。(4)大规模的模拟环境,有必要模型对象,用户不能控制的行为。三维建模的具体过程操作包括数据采集、数据预处理、结构优化、模型建立、模型优化、现场优化,现场集成,和调度管理,及其应用范围宽(24]。数据预处理的3 d建模是基于信息收集。在数据收集的过程中,应严格遵循数据采集规范根据操作过程。数据采集过程包括点控制测量、扫描站布局、球形目标布局、扫描和点云数据采集、现场数据检验和分析,数据导出和备份。一些过滤算法需要被用来过滤掉遮挡物体的点云数据和离散点背景在现场操作和保留等主要的点云数据的对象。虚拟环境架构如图1。
虚拟环境的功能框架如下:首先,它支持对象属性和交互的订阅和发布;同时,它提供的回调函数和事件通知机制,支持各种HLA时间管理策略。其次,它提供了有关定位服务,创建和删除各种对象,组织和管理仿真实体与不同的功能和属性分类和统一的方式。基于图像的建模技术是指直接使用摄像头设备采集的离散图像对象和其他基本研究资料数据处理;然后,生成的全景图像图像处理软件的组合和演化。然后,全景图像进一步处理的自适应空间模型,和虚拟现实的空间。因为它是必要的运行实时3 d模型,其建模方法非常不同于modeling-based建模、和他们中的大多数使用其他技术而不是增加几何建模的复杂性提高保真度(25]。有三种建模方法的虚拟现实系统,它主要是根据虚拟场景的施工方法:杰出的基于模型的渲染方法,基于图像的渲染方法,和基于图形和图像的混合建模方法。3 d图形建模技术主要研究3 d对象信息的生成和表示的计算机。模型描述3 d对象信息包括几何模型、光照模型,模型和颜色。在虚拟现实的混合建模,用户可以进入虚拟场景虚拟实体对象的形式。虽然用户头像不能与它交互,人们仍然可以获得深度信息用户的《阿凡达》相对于纯虚拟对象在图像利用双目立体视觉技术和头盔显示器。因为用户期望,现场与之交互的对象必须是实体几何模型,混合模型是必需的。此外,为了满足视觉现实,几何模型实体必须分配与表面纹理和材料属性。然而,在混合建模,用户很难与虚拟环境图像对象建立的基础代谢率的方法。仿真需要几何实体对象的集成和虚拟环境图像对象,至少在视觉。 Although the distance or gap between virtual environment image objects can be perceived through the depth information of virtual environment image objects, however, how to smooth geometric entity objects into such space gaps remains to be solved. The mixed modeling technology based on graphics and images can integrate the advantages of both and make the best use of their strengths and avoid their weaknesses in application [26]。这不仅增加了现场的现实主义,也保证了实时性和交互性,提高用户的沉浸。在3 d建模技术,经常有很多问题影响建模的真实性。因此,在建模技术中,为了提高显示的保真度,通常使用以下方法:消隐,阴影模型和纹理映射。
3.2。无监督VOS算法应用于三维模型建模
优化技术是一个关键环节3 d建模的过程。通常,基本的计划是由CAD使用在图中的位置,然后计划是完全导入到3距离建筑模型。在制作模型的过程中,必须首先吸引的基本框架结构,然后完整的结构模型可以使用之前的外部轮廓。然后,每个相关的模型是有效的拼接,将更好地优化模型的总体结构。有效地映射后的结构建模。映射的过程中,完整的映射必须根据具体模型的结构尺寸。同时,不同尺度需要不同的精度模型的映射。我们应该处理它有效地根据实际效果,以反映真实性。这个场景仿真系统是一个改进传统的优化技术,以及使用的优化技术贯穿整个建模过程。的现实对象的外观主要取决于其表面反射和纹理。 Today’s graphics hardware platform has the ability of real-time texture processing, which can enhance the sense of reality with a small amount of polygons and textures while maintaining the graphics speed. Texture can be generated by two methods, one is to interactively create, edit, and store texture bitmaps by image rendering software; the other is to take a picture of the required texture, then scan it, or take a picture directly with a digital camera. First of all, it is necessary to determine which space plane the surface patch projects on, which depends on the overall direction of the surface patch, and the plane with the smallest angle will be projected to which plane. Considering the convenience, when deciding the position of the target point, this paper calculates the error costs of two endpoints, respectively, takes out the one with smaller error, compresses it to the position of the other endpoint, and deletes the degraded triangle at the same time.
分割的目标是检测运动对象。面具融合的最简单的方法是计算凸的交集区域运动面具,面具和通用目标以满足运动的特点和一般的目标同时,但其精度较低。为了充分利用面具的运动检测和目标抽样的结果,本文采用深度学习的方法,构造一个小融合网络融合的面具。在无监督VOS,有效和充分利用运动信号分割性能是至关重要的。作为一个主流的计时信息建模方法,光学流可以模拟目标的移动趋势根据相邻帧的像素的位移变化。出现分割网络的网络结构组成和光学流预测网络如图2。
在目标图像边缘提取方面,本文获得运动目标的边缘通过不同大小的运动和运动的方向。具体描述如下:首先,计算两个相邻帧之间的光流矢量值,并通过公式(1),计算运动的大小每个像素点 :
的公式, 是像素点的运动大小 , 是光流矢量值的像素点 , 梯度值,是重量参数。然而,由于相机的震动或目标后,背景将暴力。因此,本文认为使用运动向量的夹角来区分目标和背景,如公式(2),获得运动边缘的大小 :
的公式, 像素点之间的最大角距离吗和周围的像素角运动矢量的大小吗和dd的像素点和 。同时,运动边缘特征的目标是通过结合运动像素的大小和方向,并可以获得运动目标的边缘。公式如下:
的公式,阈值的大小,和代表获得的边缘值的大小运动振幅和运动方向的角度,分别。
本文将每一个顶点与一组飞机附近,和顶点表示的误差的平方和的距离这一点的飞机。当两个顶点被压缩成一个点,有关飞机集团目标点的总和两组原始点的飞机。每架飞机可以写成以下方程: 在哪里 平面的法向量,是一个常数。然后,从点距离的平方 这架飞机是
这是一个二次,让
因为
所以,
因此,计算距离的平方的和从一个顶点到一组飞机,这篇文章只需要添加所有的二次公式,最后得到二次公式。两个顶点被压缩成一个顶点后,相应的二次公式也是二次公式的原始的和两个点。因此,一个edge-compression操作的错误 可以定义由以下公式:
让 两帧之间是落后的光流场和 。其中每个元素 是光流矢量的像素在水平和垂直方向;在帧的像素总数。让突出的运动映射在光学流场 ,和全球运动的对比可以表示为下面的公式:
其中, 和是距离的措施。让的二元分割函数自适应阈值方法,然后突出运动面具下列公式所示: 其中每个元素 代表二进制foreground-background标签的像素 。
本文跳过连接用于连接的原始功能,可保护光学流特性在其他方向的预测部分而不影响共同突出的地区。同样,本文也对反向光流执行类似的操作特性和显著图生成的光流。整个结构的操作是对称的。整个过程描述如下:
连接两个加工特性,并最终优化运动显著地图获得通过 卷积和乙状结肠功能。乙状结肠的功能函数是压缩之间的元素值 并生成一个概率显著地图。值越大,凸起的位置的概率就越大。
因为误差估计,每个顶点的顶点表需要一个单元来存储压缩误差这一点除了三个坐标值。此外,一边表中的每条记录不仅记录的序列号边的两个顶点,但也记录的压缩误差的一面。本文结合实际的硬件和软件条件,运用现代先进技术,收集到的数据应该初步加工,和一些不正确的或冗余数据应该被删除。同时,收集到的数据可以保持一个相对较高的精度,可以满足系统最大程度的要求。结合收集到的数据,对数据进行预处理。考虑到颜色、材料等应处理系统的开发,和3 ds是一种很常见的数据格式,和3 d图形文件保存在这种格式也很丰富,所以这个系统使用3 ds的数据结构来转换数据。至于数据格式的转换,转换的主要核心是数据模型建设和形成3 ds模型建设的列表,可以使用显示列表的OpenGL重建模型。不幸的是,并不是所有情况下适用于参数表面。有一些情况需要相邻表面组合在一起(没有裂缝或丁字接头)当物体呈现成一个多边形。也有很多起伏的对象不能使用参数表面实现好的结果,因为所需的表面数量不能少于多边形的数量。 The polygon-based face reduction method is generally more useful and can work on the current type of model.
4所示。结果分析和讨论
在这一节中,本文提出的算法是由实验验证。首先,使用的数据集介绍了评价方法和相应的评价指标,和相应的模块提出了测试在指定的数据集。同时,介绍了实验结果与其他算法相比,然后具体讨论和分析根据实验结果进行。为了进一步验证该算法的有效性和实用性,几个数据集实验YOUTUBE-OBJECTS公共数据集,戴维斯的数据集和镇定的视频设置。其中,一枪从飞机的视频,马,摩托车在戴维斯YOUTUBE-OBJECTS公共数据集的数据集和行人和两个行人监控场景的视频由自己选择。戴维斯的数据集是一个大规模的视频打细分的数据集,其中包含50个视频序列,包括30个视频序列在训练集和3450测试集视频帧,每个都有进行像素级标签信息。数据集包含目标分割的各种挑战,诸如规模变化、快速运动,物体遮挡,动态背景,和运动模糊。评估实验结果,本节将使用三个评价指标定义在戴维斯:地区相似,轮廓精度和时间序列的稳定性。
以来显著目标检测引入VOS领域,许多算法直接应用显著目标检测所使用的光学流场和突出的运动检测的结果来执行VOS任务。针对运动特点细分网络,本文主要讨论了双向光流的合理性以及运动提示优化模块的有效性。表1比较实验结果显示了运动的特点细分网络戴维斯。
可以看出的分割结果动态提示优化模块对每个视频序列应该完全分割结果优于只使用单向光学流。这充分证明了引入双向光流的合理性和有效性。算法的训练图所示3。
本文使用基于PyTorch无监督VOS算法实现目标检测和分割。为了验证无监督的有效性VOS算法本文的分割准确性比较和分析实验,和成分分析。YOUTUBE-OBJECTS实验数据在这个实验中,一组公共数据,收集的视频数据。比较方法包括当前的主流目标分割算法。图4显示了算法的误差。图5显示了算法的分割精度。
可以看出,该方法的分割精度高于对比算法。这是因为通常会有大量的背景信息的低级特征,进一步放大,背景信息融合低层特征的两个分支。然而,对于VOS,太多的背景信息不利于目标区域的分割网络的学习,它会导致误解了背景区域分割网络和识别前景目标区域,从而大大减少了分割的准确性。摘要深层语义信息融合的有效性可以有效地提高目标的分割精度。
在评价指标、区域相似性是面具之间的交叉率和真正的价值。轮廓精度划分的空间范围的面具把面具作为一组封闭的轮廓。稳定时间是用来惩罚边界不稳定等不利影响。为了比较该算法的效果与当前先进的算法,本文使用的代码和数据集官方网站提供的参数设置。区域相似性实验结果如图所示6。轮廓实验结果如图所示7。时间稳定的实验结果如图所示8。
目前,大多数的目标分割算法使用目标初始化目标的一些基本特征,然后准确地细分目标在此基础上。因此,通过一些基本特性,比如边界特征融合的目标,我们可以共同目标进一步提高分割精度和模型提出相应的快速解决方案算法来减少处理的复杂性。本文进行了20个实验的每个索引和选择4他们画一个表。具体实验结果如表所示2。
随着双向光流的引入本文运动分割的结果是类似于真理的面具,可有效抑制preestimation无意义的地区和产生更多的准确。本文的性能改善是由于这一事实提出运动提示优化模块可以充分利用更多的运动信息。
本文收集了五个视频进行实验。它包括五个视频:一个行人,两个行人,两人说话,跑步,和多人足球,目标是手动标记。表3显示了不同的分割方法的精度比较结果的数据集。
可以看出,本文的分割结果明显优于其他细分的结果。
算法,显著的运动分割可以段运动区域,而目标抽样可以细分目标区域。显著的运动分割和目标抽样不能单独移动目标在视频帧;所以,融合模块的目的是去除潜在的噪音,例如移动背景和静态目标的视频。只有二维运动信息不能有效解决运动模糊的问题,但是本文介绍了3 d信息,也就是说,深度区别前景对象和背景区域,可以有效改善对象分割的准确性,使分割对象更详细和完整。图9显示了一个比较的数量在每一帧错误的像素。
它可以清楚地看到从本文的图的分割结果优于其他方法在大多数视频帧。这个算法的分割精度可以达到94%以上,这是大约9%高于FASTSEG方法。总的来说,这个算法的准确性超过其他目标分割算法。
5。结论
虚拟现实建模技术发展迅速,受到很多用户的欢迎,因为它易于使用,稳定性和速度。目前,它有一个广泛的商业应用前景,医学,工程设计、艺术、娱乐、军事、等等。在此基础上,本文研究了三维虚拟场景建设过程通过结合理论与实践,并在此基础上,研究三维建模的优化方法。在本文中,一个无监督VOS算法,结合运动目标图像的边缘和边缘出现目标初始化目标并协助虚拟现实三维模型建模。研究表明,该算法的分割精度可以达到94%以上,这是大约9%高于FASTSEG方法。本文的分割结果优于其他方法在大多数视频帧。同时,该算法的准确性超过其他目标分割算法。本文是具有积极意义的使用无监督VOS算法帮助虚拟现实三维模型建模。下一步将进一步提高基于Web数据库管理。系统数据库的合理计划和集成不同的数据类型和属性到系统数据库在最大程度上。 In addition, in order to make full use of the value of VR modeling, in the current social life, people from all walks of life should strengthen their own study and inquiry and strive to maximize the value of VR modeling in a reasonable system.
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称他们没有竞争的经济利益或个人关系可能出现影响工作报告。
确认
这项工作得到了江西省自然科学基金:Content-Centered无线网络缓存和传输策略研究(排名20202 bab212003)与非均匀特性。