文摘
智能文化旅游是未来旅游业的发展趋势。虚拟现实是一个重要的工具来实现智能旅游。虚拟现实的现实主要来自人机交互,这是人类行为识别技术密切相关。因此,研究以人类行为识别为研究方向,利用自组织映射网络(SOM)神经网络提取关键帧的动作视频,结合特征向量法来识别人类行为,并比较不同识别方法的识别率和用户满意度。投票结果表明,特征的识别率人类行为识别算法基于SOM神经网络UT-Kinect行动是93.68%,59.06%在MSRDailyActivity3D,整个动作识别时间只有3.59秒。在六个月内,人机交互式虚拟现实旅游项目的总利润和SOM神经网络multi-eigenvector为核心算法达到422000元,和88%的用户在使用后表示满意。结果表明,该方法有很好的识别率,能给用户及时有效的反馈。希望这个研究有一定的参考价值在促进人体运动识别技术的发展。
1。介绍
虚拟现实技术为智能文化旅游的发展奠定了基础,为游客提供了一个新视角,给旅游用户的现实,与此同时,大大降低了资源消耗在建立各种各样的场景在现实1]。智能文化旅游结合虚拟现实技术拓宽游客的固有思维,打破了传统文化旅游的限制,突破时间和空间限制的旅游在现实生活中,并使游客获得更多的自由交互通过三维信息空间2]。智能文化旅游与虚拟现实技术的引入,也称为虚拟旅游,允许用户与虚拟系统在三维场景交互以获得真实的现实旅游(3]。人机交互性能水平越高,越高的用户的现实。人类行为的行为识别是关键技术,直接决定了人机交互的效果。因此,本文对人类行为的行为识别技术,旨在为智能文化旅游的发展提供一些帮助。自组织映射网络(SOM)是一种低维离散映射生成的学习输入空间中的数据,逐步优化网络与竞争学习策略。人脑的自组织特征,可以识别相关的内在特性在一个问题4]。针对这一点,本文研究如何提取人类行为的关键帧视频通过竞争学习SOM网络的特点,然后使用的投票策略特征分类结果进行最后的人类行为的识别。
文物景点,地标,构成旅游的主要环节。近年来,景点,地标的恶化已成为影响旅游业发展的主要问题。因此,刘提出开展虚拟二级旅游创新方式的虚拟现实和复杂的现实5]。虚拟现实旅游给消费者提供机会体验虚拟现实旅游目的地。金姆和大厅已经建立了一个享乐动机与消费享乐主义行为模型为核心,发现消费者感知快乐的程度直接影响着虚拟现实旅游的流动状态(6]。斯等人分析了三种虚拟表现媒体,包括照片、360°视频和虚拟现实,发现虚拟现实的得分是最高的,和人机交互技术对消费者影响最大的远程监控(7]。Bogicevic等人讨论如何使用虚拟现实来提供全面的旅游体验酒店住宿。研究结果表明,虚拟现实可以更好地表达心理形象的经验和更强的存在感8]。魏等人收集的经验数据虚拟现实过山车的感觉,发现虚拟现实具有积极的影响对整个主题公园体验的游客通过回归分析(9]。基于外在动机和内在动机理论,彭等人区分消费者的感知的虚拟现实设备和虚拟现实内容和发现,虚拟现实的体验效果直接影响游客的旅游目的(10]。
人类生存的世界属于一个多感官的世界。数字交互主要是基于视听元素,沈等人认为,作为一个感官的支持技术,虚拟现实促进一体化的感官输入,增强多感官数字体验(11]。Buhalis等人提出,未来服务的经验,我们应该注意超爽体验,superpersonalized经验,超越自动化经验(12]。普拉丹等人做了一个全面调查和分析虚拟现实人机交互技术的发展历史,总结了区域仍要讨论(13]。施等人提出了一个基于深度学习计算机全息模型,不仅可保证连续的能力在3 d场景深度意义的进一步发展也促进了虚拟现实和人机交互14]。Amabilino等人提出了一种新的范例推导高维分子系统的能量函数,生成数据的低维系统在虚拟现实15]。Jasrotia和Gangotia提出用广义回归神经网络产生整体人类的运动,以提高人体运动识别的准确性(16]。高等人提出了一种基于图像域pretraining人体运动识别模型模型,实现区别的小运动帧顺序(17]。Gurbuz和阿明认为深度学习中很有应用价值的目标分类,所以人类行为识别模型提出了基于深度学习观察人类活动,瀑布,和步态异常监测18]。
总之,近年来,有很多研究人工神经网络、虚拟现实、人机交互、智能旅游,等等,但研究虚拟现实旅游结合SOM神经网络融合是不够的(19]。因此,实验关注的相关分析SOM神经网络,这是智能文化旅游和虚拟现实的关键。
关键SOM神经网络智能文化旅游和虚拟现实的研究强调的组合与智能旅游、虚拟现实和关键帧提取技术关键的SOM神经网络可以实现景观地区的行动目标识别。不可否认,SOM网络可以减少噪音和冗余数据在关键帧提取和大大提高识别精度的团体活动旅游景观。
本研究以人体运动识别为研究方向,创新使用自组织映射网络(SOM)神经网络提取视频关键帧的运动,并结合特征向量法来识别人类的运动。不同识别方法的识别率和用户满意度进行了比较。实验结果表明,该方法有很好的识别率,能够及时为用户提供有效的反馈。特征向量识别方法基于SOM神经网络提出了可以在动作识别和达到更好的识别效果为用户带来更多的实际经验。
2。研究人类行为运动特征提取和识别技术
2.1。人类的运动特征提取
实现虚拟现实旅游的关键在于人类行为识别技术。人类行为识别是计算机提取动作特征向量的过程根据人体的实际操作数据和理解动作20.]。人类行为识别主要由图像帧中的运动对象检测的步骤,从图像帧中提取动作特性,和理解动作特性。
如图1,Kinect属于深度传感器设备,用于提取人体骨架模型的研究。首先,接合点的运动轨迹计算;然后邻关节角,中央关节角和角速度的中央联合依次计算;最后,人类的运动特征提取。
在图2,人类共同的人类骨骼已经屈指可数了J我(我= 1,2,…,20);联合的屈指可数J1;和相应的坐标是(x1,y1,和z1)。在人类骨骼模型中,有20个接合点。后删除J3,J4,另两个接合点构成中央向量,其余18联合点可以构造18结构向量。
方程(1)的表达式是中央连接点的关节角运动,和 是两个向量的夹角构成 。
方程(2)是中央关节角速度的表达式,在那里一个1的关节角吗t1框架,一个2的关节角吗t2框架,△一个从框架的角度改变吗帧 。当视频帧率 ,的时间间隔关节角变化的表达式可以得到每帧取样一次,见以下方程:
结合(2)和(3),角速度 可以获得。通过结合的角速度j架,角速度特征向量Dj(j= 1,2,…F)的框架可以获得。是指帧的总数,然后中央角速度特征向量D (D1,D2、…DF)可以获得。
在(4)、坐标(xt,yt,zt)对应相关节点j在框架t是由Pj, t,t∈(1、2、…F],t∈(1、2、…,20]。
方程(5)是一个动作的运动轨迹表达式(20分)联合。运动轨迹矩阵为代表P;接合点的运动轨迹是由pj;和p1t是第一个关节的三维坐标点在坐标系t。
方程(6)是相邻关节角的变化矩阵对应的交接点j;所代表的变化过程Gj;和相邻关节角的大小对应节点在框架是由,帧的总数。从图可以看出2那J1,J5,J9,J13,J17和其他联合点没有相应的邻关节角, 对应于多个邻关节角。
方程(7)是人类行为的一个矩阵表达式。在某一帧,相对应的坐标点J1是(x1,y1,z1),联合点J2是(x2,y2,z2)和连接点J3是(x3,y3,z3)。
方程(8)和(9)减去后的向量坐标。在这种情况下,相邻的两个向量组成的关节角的表达。
关节角的值 在(10)= 0°-180°。有18个结构向量对应于18中央关节角。
方程(11)的表达变化过程中心的角;它是表示为Cj;和中央关节角的大小对应于结构相关的节点组成的向量j在t框架是由t Cj, t,在那里F帧的总数。
方程(12的示意图矩阵)是中央角随时间的变化过程,以及中央关节的关节的角速度,改变了以往的帧数Dj。
在(13),中央关节的角速度对应j在坐标系t表达的是dj, t,在那里帧的总数。
方程(14)是角速度的变化矩阵对应的圆心角。根据不同的运动状态,相应的人类骨骼关节角的角速度,相邻角的大小,和中央关节角的变化来提取运动特征在不同的视频帧。
3所示。人类行为识别基于投票策略结合SOM特征的分类结果
人类行为在不同的时间不一致,所以运动特性数据从不同的帧中提取冗余。与此同时,在运动的过程中产生的噪声也会导致人类行为识别的准确性的下降(21]。因此,提出了SOM神经网络提取关键帧的视频。
如图3,SOM神经网络由输入层和竞争。两层相互连接(22]。每个输入层的神经元是竞争性反应在竞争层神经元,其中只有一个成功。在连续的过程中竞争,在网络竞争层神经元的权值不断调整,和预期的结果最终输出。输入矩阵所有的特征向量组成的行动;初始化成功领域 ,学习速率 ,和学习速率阈值 ;设置迭代的总数 ;随机分配重量 竞争层中的每个神经元;并获得权重向量通过结合权重。
存在于不同元素的规范化 。正常的输入特征向量 , ,和 得到 和计算的点积和 。当点积最大,相应的神经元获胜神经元。
方程(15)是更新后的重量的神经元 ;获胜神经元的指数 ;和神经元之间的距离获胜神经元是 。
方程(16)是神经元的权重的更新公式。神经元的权重在竞争层对应数据在输入层表达 。学习速率是根据更新 和邻居 。
如图4输入动作特征向量后,从行动获得视频帧序列的自组织映射网络(SOM),通过竞争学习,训练可以获得在竞争层神经元的权重(23]。之间的欧几里得距离权重的不同在竞争层神经元获得特征向量和SOM神经网络(24- - - - - -31日]。根据欧氏距离,特征向量分为不同的神经元;最后一个神经元是遍历找到最近的每个非控制性神经元作为关键帧特征向量(32- - - - - -39]。
单一特征动作识别技术较低的可重用性和较低的可伸缩性。因此,基于SOM的视频关键帧提取的行动,通过投票策略,结合不同特征的互补性,本文改进人类行为识别的准确性,增加了真正意义上的虚拟现实,并且提高了虚拟旅游的享受程度的游客(40]。
如图5,首先,特征向量对应类别的特点我读取构造核函数。支持向量机(SVM)是用于分类,和信用程度的特性分类后我计算不同类型的行动。当所有的类特性是阅读,表决的信用程度不同的动作根据分类结果对应于不同的特性,找出行动得票最多的还是行动最信用程度。
如果识别动作类型 ,该功能用于动作识别在过去,和行动的类别实验是制成一个序列 ;识别的结果序列 ;有 , ,和行动 ;正确识别时间的数量 ;和行为识别的总数乘以在实验是 。
(17)显示实验中,当行动是被这个特性,识别的准确性 ,还有 。
方程(18)表明,行动的识别率是在所有的实验。
4所示。应用效果基于SOM神经网络智能文化旅游
4.1。人类行为识别的效果分析
自组织映射(SOM)是一种无监督学习神经网络用于解决旅行商问题(TSP)。二维位置坐标的输入神经网络和空间位置关系是需要学习的神经网络模型。输出层神经元通常是一个二维网格(本文是一维环结构)。数据输入从输入层代表了现实世界的模式。耶鲁大学管理学院的培养目标是输入数据的模式映射到输出层。在培训、输出层神经元的权向量将被更新,和输出层神经元逐步学习模式输入数据背后的培训。
系统开发环境是英特尔酷睿i5 - 6500;内存大小是8 g DDR4;和操作系统Windows 7, 64位系统。MATLAB R2016a进行实验模拟。UT-Kinect运动数据集,本文使用半导体传感器验证识别的准确性提出了多功能投票人体运动识别算法基于SOM神经网络。首先,模型训练,如图6。
从图可以看出6SOM网络的系统损失值随迭代次数的增加,表明模型的错误率随迭代次数的增加而减小。不难看到,迭代次数的增加导致了持续改进的网络模型的准确性。其次,识别的行动是一个特性,然后动作识别的算法。最后,这两种方法的识别率比较。
如图7拟议的特征,通过研究人类行为投票基于SOM神经网络的识别算法,动作识别的平均准确率UT-Kinect行动数据集是93.68%,高于1.04%的基于联合点坐标。人类行为识别的准确率82.64%。基于中心的角度人类行为识别的准确率的基础上,中心角速度是67.39%。人类行为识别的准确性基于单一特征的邻接角是83.82%;结果表明,该方法的识别精度高于其他单一特征识别方法在走路,坐下来,站起来,推,拉,错,和其他操作;在这个行动,人类行为特征的识别精度投票识别算法基于SOM神经网络较低。总的来说,该方法的性能是最好的。
在图8,3 d关节的直方图方法的识别率,骨骼关节功能方法,随机森林融合地带特征法,提出了多功能投票人类行为识别算法基于SOM神经网络在数据集比较UT-Kinect行动。可以看出骨骼关节功能方法的识别率是最低(87.90%)数据集UT-Kinect行动和人类行为特征的识别率基于SOM神经网络投票最高(93.68%)。上述结果表明,智能的建设文化旅游和虚拟现实基于SOM神经网络特征投票人类行为识别算法可以识别更多的行动和为用户带来更真实的旅游体验。数据集不同UT-Kinect行动,行动MSRDailyActivity3D数据集的相似度的增加,和相同的操作将会收集一次当站,一次坐时,这就增加了难度动作识别的数据集在某种程度上。为了验证提取的关键帧的动作识别方案的有效性通过SOM在这项研究中,MSRDailyActivity3D数据集选择比较的识别率和时间消耗非键帧动作识别和关键帧动作识别。
从图可以看出9识别的关键帧率(56.00%、97.00%和93.00%)高于非键帧(54.00%、93.00%和92.00%)。SOM的提取关键帧,和随后的关键帧识别略低于非键帧识别。这是因为数据丢失时无法避免的关键帧提取。然而,几乎没有区别两者之间的平均识别精度,并通过关键帧动作识别的整个过程只需要3.59秒,而动作识别没有关键帧需要34.92秒。总的来说,关键帧的动作识别具有更多的优势。数据集MSRDailyActivity3D,关键帧的k - means方法,融合深度信息的方法联合点位置,关节角的融合深度信息,提出了多功能投票人类行为识别算法的SOM神经网络用于识别每个操作。
如图10,运动识别的准确性基于k - means关键帧的方法是54.00%,这是高于运动识别的准确性基于关节位置融合深度信息(50.00%)。运动识别的准确性基于关节角融合深度信息是57.00%,这比k - means关键帧的方法。人类行为特征的准确性投票基于SOM神经网络的识别算法是59.06%,这是最高识别率在四个动作识别算法。
4.2。实际应用效果的分析基于SOM神经网络智能文化旅游
选择一个小的旅游组织引入人机交互虚拟现实旅游项目(由项目)与卷积神经网络融合,人机交互式虚拟现实旅游项目(由项目B)融合联合矢量朴素贝叶斯动作识别算法,人机交互式虚拟现实旅游项目(由项目C)与机器学习融合,和人机交互式虚拟现实旅游项目(表示为项目d)与SOM神经网络和其他特征向量为核心算法。这四个项目收取相同的费用。旅游组织在四个项目的盈利能力和用户的评价分数进行比较。
如图11,介绍了四种虚拟现实旅游项目(3月),收入没有显著差异的每个项目。交互式虚拟现实旅游项目的利润将机器学习61000元,略高于其他三个项目。今年4月,人机交互式虚拟现实旅游项目的利润与卷积神经网络4000元不到,今年3月,和人机交互式虚拟现实旅游项目的利润与SOM神经网络和其他特征向量为核心算法增加到6、1000元。后6个月内项目的引入,人机交互式虚拟现实旅游项目与卷积神经网络集成的利润总额371000元;人机交互式虚拟现实旅游项目与联合矢量朴素贝叶斯行动识别算法集成了总利润407000元;和人机交互虚拟现实旅游项目结合机器学习总利润为356000元,人机交互式虚拟现实旅游项目与SOM神经网络和其他特征向量为核心算法做了一个利润总额422000元。总之,人机交互式虚拟现实旅游项目的利润与SOM神经网络为核心算法是高于其他三个项目。
根据评估分数和内容,用户评价分为四个水平。水平我指的是用户的不满,可怜的经验,薄弱的现实,无法提供有效的反馈用户的行为的过程中使用。II级指的是用户比较满意,可以给用户的反馈行为的过程中使用,但反馈不及时或者反馈结果不符合实际操作,有一定的经验。第三层次是指用户的满意度;可以给用户的反馈行为的过程中使用;及时反馈;有一些错误在反馈过程;和的感觉经验是好的。四指的是用户的满意程度;的经验,有强烈的现实感,及时、有效的反馈对用户的行为的过程中使用; and there is basically no error in the feedback.
如图12,用户评级的人机交互式虚拟现实旅游项目基于卷积神经网络总数的26%,占总数的39%,占总数的23%,占总数的12%。人机交互虚拟现实旅游项目的用户评级基于联合向量朴素贝叶斯动作识别算法是年级的我,二级,三级,第四级,占17%,42%,30%,和11%,分别。用户的比例评级基于机器学习的人机交互是35%,46%,15%,和4%,分别。用户评级的人机交互式虚拟现实旅游项目与SOM神经网络和其他特征向量为核心算法是12%,34%,40%,和14%,分别。可以看出,人机交互式虚拟现实旅游项目和SOM神经网络为核心的算法更受用户欢迎,和满足用户和用户非常满意的比例高于其他三个项目。上述结果表明,特征提取的算法基于SOM神经网络可以实现快速行动识别识别精度高,用户可以高度准确、及时、有效的反馈过程中使用。
5。结论
虚拟现实技术为游客提供了一个真实而生动的介绍的景观,游客可以形成一个总体的理解不熟悉的景点通过虚拟现实技术。尽管有许多有效的算法,如皇帝蝴蝶优化(MBO),蚯蚓优化(EWA),大象放牧优化(EHO),蛾搜索(MS)算法,黏菌算法(SMA),和哈里斯鹰优化(HHO),不可否认的是,仍然有一些研究将这些算法与虚拟现实相结合。虚拟现实旅游的关键技术是人类行为识别,所以本文提出了一个动作识别算法基于SOM神经网络特征向量,利用SOM神经网络得到关键帧的游客的行动,减少了识别时间,并结合特征识别方法提高动作识别的准确性。UT-Kinect行动上的结果表明,数据集,人类行为识别算法的平均精度基于SOM神经网络特征投票是93.68%,这是高于随机森林方法融合功能。的时间消耗在数据集MSRDailyActivity3D动作识别的关键帧识别只有3.59秒,由非键帧识别显著低于(34.92秒)。行为识别的准确性特征投票算法基于SOM神经网络是59.06%。利润总额(422000元)和用户评价(2 + 3 + 4)人机交互式虚拟现实旅游项目和SOM神经网络multi-eigenvector为核心算法更高的人机交互式虚拟现实旅游项目与卷积神经网络(371000元),人机交互式虚拟现实旅游项目(407000元),和人机交互式虚拟现实旅游项目(356000元)基于联合向量朴素贝叶斯动作识别算法和机器学习。与传统的通用算法相比,基于SOM神经网络的特征向量识别方法提出了可以在动作识别和达到更好的识别效果为用户带来更多的实际经验。研究缺乏行动的内容描述多个特性的结合,和后续的实验应该进行更深入的挖掘特征特性,进一步总结目标特性之间的关系,以达到更准确的景观介绍。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称他们没有竞争的经济利益或个人关系可能出现影响工作报告。
确认
研究得到了“Xijing大学:基础研究虚拟现实技术在旅游业中的应用开发的案例研究Dangjia村,汉城(批准号XJ180206)。”