文摘
由于不同民族的不同的发展历史,传统文化之间有很大的差距。特别是,作为传统文化的一个重要体现和组件,少数民族舞蹈有独特的特点。随着机器视觉技术的发展,人类的运动识别逐渐成为一个热门的研究方向,但其应用研究领域的舞蹈动作识别仍处于起步阶段。舞台表演的特点,少数民族舞蹈领域的智能辅助训练基于人类运动识别技术介绍。获得的人体区域框架中使用人类的姿势,和3 d_sift和光学流从每个区域特征提取。然后,我们使用提取的关键帧和DTW(动态时间扭曲)算法实现运动识别的运动捕获数据并进行仿真实验。测试结果表明,该算法可以识别出少数民族舞蹈视频数据库,有效地识别舞蹈动作,实现运动校正的舞者。
1。介绍
少数民族文化是中国传统文化的重要组成部分,它增加了文化的活力。少数民族舞蹈文化,特别是,是一个重要的手段表达少数民族的社会形式、思想和感情。少数民族舞蹈的独特民族风格也证明它具有强烈的民族特色。民族风格的特色民族舞蹈。因为每个国家的舞蹈是不同的,不管发生什么,身体的基本形状保持不变。本文运用计算机动作捕捉技术进行全面的三维数字保护朝鲜民族舞蹈姿势基于舞蹈特征,开放一个新的世界非物质文化遗产的保护。保护和振兴民族文化的重要性不能被夸大。
人体运动识别技术广泛应用于各种领域,但舞蹈动作识别的研究仍然处于早期阶段(1]。这是一个全新的舞蹈教育增刊。舞蹈动作可以准确地识别和不规则运动的舞者可以区分和纠正使用人体运动识别技术应用于舞蹈形象运动识别(2]。提取关键帧,王等人使用 - - - - - -意味着集群,然后插值。候选帧被定义为帧大于这个值,和关键帧序列聚类得到的候选人没有代表帧(3]。缺点是有大量的计算。刘等人创建了一个高维空间,处理每一帧的运动数据作为一个点,将整个运动序列变成一个高维空间运动轨迹,并使用曲线来筛选出重要的点(4]。缺点是它不能准确地反映现实世界的差异。Gurbuz等人提出了一个新方法具有良好的泛化能力,也就是说,一个新的计算方法提取关键帧的帧之间的中心距(5),但该算法的准确性将伤害阈值算法的收敛,因为很难选择。太阳等人使用球形线性插值计算重建帧而不是线性插值,计算错误,比计算并减去帧重建误差,并使用帧相减获得重建误差曲线。这个方法不能保证获得的关键帧的重建误差是最小的最优压缩速度如果关键帧的运动表达能力并不考虑。
运动识别是使用最广泛的研究方向之一,在计算机视觉6- - - - - -8),但几乎没有研究运动识别结合视频运动与舞蹈视频识别技术,并根据舞蹈视频更多的发展是必要的。本文总结了各种图像的特征行为基于以前的研究行为识别的数据集。少数民族舞蹈任务可以提取、表示、分类和识别使用这种方法。
本文的主要创新包括以下方面:(1)为少数民族舞蹈视频数据集,研究提出了一种有效的特征提取方法,提取的特征方向直方图图像划分成相等的部分,最后创建方向直方图(2)选择舞蹈动作捕捉数据作为运动测试样本,提取关键帧的动作序列的方法,并确定测试样本的运动DTW(动态时间扭曲)。
本文的核心内容如下:
第一部分介绍了研究背景和意义之前,论文的主要工作。第二部分着重于参与人体运动识别的技术。提出了研究的具体方法和实现在第三部分。第四部分验证研究模型的优越性和可行性。第五部分是整个的简介和预览文本。
2。相关工作
2.1。人类运动识别的研究现状
一般来说,有两种类型的输入数据对人体运动识别和行为评估:视频数据和三维骨骼数据。由于获取图像数据的便利,首要任务是研究和应用,以及相关的工作一个接一个地出现。然而,移动图像数据是容易阻塞,抖动,角度变化,在射击和其他问题,难以识别。和光学惯性动作捕捉设备的进步让人类运动的三维骨骼数据直接被捕获。具体地说,3 d骨骼数据以图形方式描述了人体骨骼动画数据。
凌等人使用一个固定的滑动窗口的概念,介绍了一个固定的时间运动行动点(9]。实现空间运动对齐,Seulki等人用身体之间的旋转抵消(提取的3 d位置的肩膀和躯干)(10]。Moravec角操作符,可以同时探测移动物体的点变化极大地在当地的时空维度(11),已经被用于模型和改进3 dharris运营商Zhang et al。燕等人提出的人体背面分为五个身体部位,用对比挖掘算法来检测各种姿势的身体部位在空间域,然后创建一个收集数据字典(12]。Al-Qaness等人描述运动作为一个连续可微函数改变身体的关节位置随着时间的推移和定义一个窗口当前时间步的二次泰勒变换可以用来变换在本地(13]。刘等人提出了一个自动动态加权法,分配不同的重要性不同的骨骼关节基于体育参与的程度,以及一个基于动能的描述符,提供了一个示例的自动分割和识别并确定相似的运动指适当标准的引用(14]。殷等人用精明的边缘检测提取人体运动的形状信息,然后使用边缘匹配实现人体运动识别(15]。Millera等人提出使用密集的光流函数来描述视频内容和运动边界密度直方图来描述光流特征,灵感来自于密集采样方法的图像分类(16]。你等人使用原子运动、对象和姿势解释函数(17]。他们称之为“工作标准”,因为它的同现关系模型之间的同现统计这些描述性特性。这些“任务型”的加权组合子集可以表示为任务。然而,这种方法仅仅是用于识别行动在几个场景。因为不准确或不完整的定义属性空间的自然场景,识别精度较低(18]。
2.2。发展状况的辅助舞蹈训练
运动训练过程中是一个重要的链接舞蹈教育和培训。初学者必须经过长期的训练和反复实践才能理解舞蹈动作的本质。传统的辅导训练方法严重限制运动鞋在某种程度上的有效性。因此,使用浸入式虚拟现实技术开发虚拟系统的戏曲舞蹈教育已成为一个研究课题领域的歌剧艺术教育。
Jha等人创造了太极拳大师川实践虚拟现实交互系统,使用动作捕捉技术捕获、跟踪、监督学员的动态轨迹,以及评估、跟踪和实时模仿教练的行为(19]。当时,李等人创建了一个舞蹈教育和培训系统使用先进的混合现实(MR)和动作捕捉技术。实现(20.),系统的功能分为教学、实践、评价等模块。彭等人利用虚拟现实(VR)技术提取和当地传统舞蹈内容的设计元素,创造了VR舞蹈内容为目标用户,并提出使用它在舞台表演,以及研究交互式叙事形式的舞台表演(21]。霁等人创造了一个虚拟系统编排铃铛和舞蹈,用音乐和舞蹈元素作为基本设计单元(22]。系统创建了一个特定的动作语气,连接每个特征操作单元通过协会的数据,并生成整个舞蹈数字。这个系统有能力创新活动安排以及舞蹈节奏创新。Chaudhary等人机密少数民族舞蹈,使用动作捕捉设备收集的舞蹈动作,用数字3 d软件创建民族舞蹈的榜样和服饰,最后使用虚拟交互引擎软件实现舞蹈交互功能(23]。利用虚拟现实技术,Chenarlog和其他人建立了一个虚拟的舞蹈训练系统。人类肢体感觉采集器、纠错单元,图像处理单元,处理人类之舞的图像显示装置系统的主要功能模块(24]。
3所示。方法
3.1。人体运动识别方法的概述
目前,运动识别的方法主要分为单层法和分层法。Single-layer-based方法通常作为运动视频的功能类别和使用分类器来识别运动视频。分层方法识别高层业务,主要通过识别简单的或低级的原子操作视频。高级复杂的任务可以分解成一系列子任务和子任务可以分解成更高级的任务。
基于单层的运动识别方法大致可以分为两类:时空的方法和顺序模型方法。时空模型和时序模型方法之间的主要区别在于处理时间维度。基于时空的方法构造视频帧到时间轴上的三维时空卷和提取特征,而基于序列模型方法作为人类行为有序观察序列在时间维度。序列的方法通常是在行为识别结果优于时空的方法,因为他们认为的序列关系的行为。
不能方法通常使用一个层次或低级子任务确定高级复杂的任务。一个高级复杂的任务可以分解成一系列子任务,可以分解为更高级的任务,直到他们被分解成原子任务。层次行为识别方法的优点是,它可以模拟人类行为的复杂结构。层次方法非常灵活简单行为和人与人之间的相互作用。层次模型提供了一个直观和简单的界面,将先验知识和理解的工作结构。
主要有两种方法来获得人体姿态信息,一个是准确的获取信息,如关节坐标,将人的骨头,运动轨迹,通过运动捕捉设备等等,另一种是获得各种关节位置和骨头。这种方法从本地图像识别中提取特定的功能主要用于视频人体运动识别,识别效率是提高了突出特定关节的运动状态或特定部分关节显示特定类型的运动。
后估计人类的姿势视频的每一帧,人类骨骼信息被获取,序列 用于表示一个动作,每一个姿势吗是一组高维向量形成身体的关节位置。姿势在每个序列表示为概率向量
动作序列是由矩阵表示 。在识别的过程中,为了减少计算,重复的信息过滤和关键动作手势序列都已被敌军布上了地雷。
为了使代表行动更加健壮的不准确的手势,柔软的量子化是用来分配每个操作的象征。更准确地说,符号在字典里是用来代表一个手势,和每个符号与概率有关测量手势之间的距离。
代表测点之间的距离和活动形成的凸包样品。更直观地说,一个小的距离产生一个大的概率,而一个大的距离会产生小的概率。
运动识别算法的应用范围也不同,由于使用不同的算法结构和功能描述,并没有完美的通用算法,可以应用于所有分类问题;所以,应该相对人体运动识别的有效性。是非常重要的,选择合适的算法根据应用范围。
3.2。舞蹈特征提取
特征提取是指从运动中提取特征信息数据集来描述图像中的目标行为,这是一个动态的本质特征识别研究。提取的特征似乎扮演了一个重要的角色在行为识别的准确性和鲁棒性的方法。光的方向直方图函数是用来描述舞蹈运动运动信息。此外,舞蹈动作识别的研究应该考虑到音乐在舞蹈的影响,为舞者随着音乐跳舞,音乐的风格与类型的舞蹈。
nonuniversal很多帧的数据和不确定当使用动作捕捉设备运动捕获数据信息,和一些帧的数据可能不完整或冗余时出现在运动。这些框架是非常有用的和有益的运动检测。它还增加了所需的计算量。因此,动作捕捉数据优化和降维是有益的运动识别打下更好的基础,虽然动作捕捉数据的关键帧提取可以实现更好的数据降维、特征提取。本文调整每个特性的开采顺序,改善之间的互补特性,获得更准确的信息基于特征描述符的使用多个特性形成特征向量。每个区域的光流特征提取,然后3 d筛选特征提取,使用光流的约束参数添加到兴趣点选择过程中筛选功能。
在舞蹈动作中,大多数运动需要两个手臂和两条腿,共同确定一个舞蹈动作,但没有固定的胳膊和腿之间的对应关系。过程中提取光流特征,图像的背景信息,一点一点改变或改变根据光流值可以过滤掉;提取信息的地方是最后是上半身,下半身,整个身体。和人体关节坐标得到人体运动捕捉设备划分区域,如图1。
摘要位移场的叠加形成的连续帧之间的光流对作为初始特征光流。光流使用变换方法计算位移向量场的像素 两个连续帧之间的时间和 和发现功能 最小化能量函数。光流计算的数据项和平滑项优化全局能量函数。在数学上,它是表示为
是一个数据项,衡量光学流和输入图像之间的一致性,是一个光滑的术语,代表倾向于变化的流场顺利,和意味着优化全球能源。
让像素点 有灰色的吗 在时间 。又一次 ,点移动到 ,和灰色的价值就越大 。因为这两个点是相同的像素点,灰色的价值保持不变,可以表示如下:
光流对噪声敏感,规模变化和运动方向。光流方向的直方图可以不仅代表运动信息,也是对规模变化和运动方向;所以,它是用在许多研究运动识别的方法。这样,所有细胞形成的光流柱状图块连接串联形成光学流块的直方图特征向量。
我们使用正常形式规范化直方图。的具体形式见公式(5):
最后,光流的特性向量直方图的块连接形成的霍夫特征图像。您可以使用以下公式计算具体的尺寸:
在哪里代表定向列的数量,代表了每个块的单元网格数量,和代表图像块的数量。
3 d_sift是筛选功能的三维信息,增加了时间信息,补充人体的动态信息,同时保持静态信息。本地信息的编码时间和空间的动态图像,方向和噪声的鲁棒性得到改善。因此,3 d_sift函数主要用于从图像选择一个感兴趣的点,然后计算梯度方向和大小的整个社区的利益,并最终建立一个3 d_sift sub-histogram编码描述符。
尺度空间尺度原始图像按照一定的规则,最后形成一个金字塔序列多尺度空间表示。空间尺度图如图2。
构建尺度空间之后,当地的极值点是选为关键点。要点通常位于图像中物体的边缘和角落,即快速变化的点。方向决定了每个关键点的方向和梯度。每个像素的二维梯度幅值和方向是明确地定义为
在哪里 是图像中像素的坐标,然后呢 通过有限差分近似计算。
然后,用 和计算3 d的梯度大小和方向:
因为是正的,总有吗 ,代表了一个独特的和每个角落 一对;所以,每个像素的梯度方向3 d由两个值来表示。
3.3。运动运动捕获数据的识别
不管运动捕捉方法,大部分的运动数据存储的形式逐帧运动序列的过程中人体运动识别。这个运动可以被认为是一个时间序列,序列和识别运动序列的问题可以被认为是一个时间序列识别的问题。也就是说,两个动作序列与类似的行动逻辑可能会或可能不会有类似的捕获的价值观,很难比较和匹配人类行为序列。为了避免错误引起的不同的数值和逻辑行为序列的相似性,DTW算法(动态时间扭曲)选为人类行为的逻辑相似度测量方法序列匹配算法。
动态时间扭曲可以归类为一个优化问题。两个序列之间的一对一映射关系是描述根据时间扭曲函数满足要求,然后时间对应于最小累积两个序列之间的距离。普通函数的一个很大的优势是,它可以解决不同的操作序列的时间一致性问题。人类骨骼通过Kinect的坐标信息,如图3。
每个操作由一定数量的骨架序列。当建立一个行动模板,20每帧骨架点的坐标必须存储在模板文件中。模板包含相同的行动由不同的人来完成相同的任务。
设置模板的过程中,由于每个人的身高和体型的差异,有必要规范模板,使标准比较,见公式(9)。
在哪里 是标准的获得骨点的中心点, 是协调的左肩与右肩骨点,分别 是坐标。
然后,通过20骨点之间的差异和重心,重心正常化后的人类骨骼坐标点。因为每个人的路肩宽度是不同的,和肩宽可以形成一个相对标准的比例与高度的关系,脂肪,和人体的瘦,它可以计算出两个肩膀骨骼坐标之间的距离可以标准化。在这里,两肩之间的距离是通过公式(10)。
在哪里是欧洲两肩之间的距离。的 的骨与标准化中心除以20分 ,那骨头的坐标与标准化的规模。
选择一个时间序列作为参考,为时间序列中的每个元素,找到另一个时间序列及其元素,然后计算平均值,最后得到平均值系列。通过使用获得的平均序列长度平均值与参考序列长度匹配的引用。
平均时间序列的最直接的想法是找到对应的每个元素之间的关系由DTW算法和平均每个元素的平均序列。
的平均序列被定义为多个时间序列,然后呢
在哪里任意时间序列的长度吗 。和平均距离 DTW相似的序列之间的距离的平均值吗和每个时间序列 。
根据上述定义,一个最佳的时间序列,可以获得距离相似度之和最小。然而,您不能主观限制平均时间序列的长度。传统的方法是定义每个系列之间的平均订单提前,然后使用迭代算法平均两个时间序列。
4所示。实验和结果
本文中使用的数据库包括少数民族舞蹈视频(MDV_data)收集到的动作捕捉设备,和流行的JHMDB MPII烹饪数据库。摘要图像舞蹈运动识别过程是首先确定上半身,下半身,全身图像区域和主要运动序列根据人类的姿势然后提取3 d_sift特性和光学流。最后,函数描述符用作DTW意识到舞蹈动作识别的输入。描述特征的识别效果如表所示1。
在这项实验中,所表达的颜色特征JHMDB MPII数据集有明显的识别效果,但在跳舞的过程中运动识别,复杂背景像素的影响特性采集效果,从而减少识别效率3 d_sift时使用。这意味着静态信息提高了性能和运动识别的效果在上面的数据库。同时,人体的识别区域隔开人体姿势也会导致不同的认可率,当使用全身地区,它高于其他地区,整幅图像的比例最高。
不同特征识别影响提取不同的人体区域,如图4。
运动特征提取后使用的识别率上或下身体相对较近,但识别率较低的身体稍高,可以看到从识别利率获得的各种方法。的人体器官是公认的组合。原因是舞蹈的时候上下肢体动作在选择运动相似类别,和下肢的主要动作。此外,舞蹈动作分开经常叫上、下肢运动,和单独的训练可以提高识别的准确性。计算分解的关节运动形成的角度使用从舞蹈老师运动信息的三个手的动作,如图5。教练之间有一些差异运动和标准动作,可以看到,和各种水平的教练可以根据自己的水平进行有针对性的培训。
在图5,可以看出wrist-right胳膊肘肩角太大,这个waist-right引出膝盖脚踝角太大,背部微微向前倾身,右腿弯曲。同时,之间的角度neck-right肩膀乖乖肘部太大,和左边的夹角wrist-left elbow-left肩膀太小;所以,左肘弯曲,左腕应该减少在未来的训练。
摘要猪特征的识别结果累积产生的从图像中提取边缘特征算法与从原始舞蹈动作中提取图像在两个数据集。表2猪的识别结果比较特征提取用于本文与现有MDV_data数据集。
在MDV_data数据集,移动物体的颜色是类似于背景,本文的结果比现有的高32.3% 22.5%猪识别结果。通过积累边缘特性从生成的图像和提取猪的特性,可以看出,上述情况的影响不如直接从舞蹈的图像中提取猪的特性。
图6显示了三个函数的实验结果和算法本文在JHMDB舞蹈组合的四组数据集。
可以看出,舞蹈动作的个人特征的识别率在每组仍相对较低。猪函数是用来表达当地的外观和形式的运动。如果在舞蹈组合动作的相似度太高,识别难度会增加,识别精度将受到影响。
在四个舞蹈组合JHMDB数据集,舞蹈行动的行动和行动的相似性比这小得多的行动D . C和行动行动C和行动D有类似的舞步,特别是行动D .许多类似的运动和运动分为不同的方向,这也增加了识别的难度的舞蹈动作。
在人类日常生活中,步态规律和周期性运动,达到正常的运动神经系统的合作,骨骼和肌肉。一般来说,正常的步态是指健康的成年人的步态走在最自然舒适的姿势,它的特点是稳定身体,足够的步伐,和最小的能源消耗。相关指标和识别结果如图7。
通过模板的相似度匹配,计算各种步态运动之间的相似性,和树干的姿态行走是为了帮助医生观察和诊断分类。
本文提出的方法用于提取关键帧的运动序列,和DTW算法用于识别的运动测试样品。动作识别的准确性作为行动的评价标准识别,介绍了四种基本动作如走路、跑步、跳跃、和车轮是公认的,分别和两种方法的引用(14,15)选择比较。本文识别的准确性作为标准来衡量算法的性能。图8显示了三种算法的识别精度的四个基本认识。
如图8,该方法可以有效地识别四个基本动作,和识别精度高于其他两种方法。
5。结论
总之,作为中国传统文化的重要组成部分,少数民族舞蹈的发展往往受到社会文化的影响,环境,习俗和宗教信仰等。舞蹈也可以充分反映一个国家的文化背景。一种性能特征的分析方法提出了基于人体运动识别的少数民族舞蹈表演。3 d_sift,添加时间在三维空间中通过融合动态特性基于姿势,使用光流特征来表达时间和空间的变化根据演员的动作。主要关节的变化趋势在连续帧的姿势可以帮助识别相同的运动在不同方向和身体姿势,从而确定的上半部分和下半部分地区的人体形象。DTW算法实现运动识别,仿真实验验证了该算法。同时,本文只使用基本的少数民族舞蹈培训运动实验运动,分析了现代舞的舞台表演特点,古典舞蹈和其他舞蹈风格,讲述了未来的研究重点。
数据可用性
使用的数据来支持本研究的结果包括在本文中。
的利益冲突
作者没有任何可能的利益冲突。