文摘

计算运动学和动力学的方法研究了大量的人体运动在许多生物医学论文。本文提出一个全面的调查3 d人体运动编辑和合成技术。首先,四种类型的三维人体运动合成方法进行了介绍和比较。其次,动作捕捉数据表示,运动运动编辑和合成进行了综述。最后,提出了未来的研究方向。

1。介绍

获得实际的三维人体运动数据,艺术家,设计师,和电脑专家已经提出了很多方法。尽管这些方法取得了很大的进步在三维人体运动捕捉技术,人体运动数据有很高的自由度(自由度)。此外,人类的眼睛是人类运动失真敏感。因此,许多困难和挑战在3 d人体运动合成仍然存在。这些提议的方法大致可以分为以下四类:(1)手动方法,(2)基于物理方法,(3)基于视频的方法,和(4)动作捕捉数据驱动的方法。在这四种类型中,动作捕捉数据驱动的方法被广泛应用,因为他们的现实的结果和实时数据处理算法。本文综述和分析了四种类型的方法和关注的典型技术动作捕捉数据驱动的方法。

2。分类的三维人体运动合成

手动方法不仅指步骤手动设置人类关节的自由度在所有关键帧生成连续的人类运动通过插值还专门算法用于合成特定的运动(1,2]。这些算法是相对简单和高效。然而,产生一个新的运动每次都需要一个新的专门的算法。合成运动不如数据从精致的和现实的动作捕捉设备。

基于物理的方法(3- - - - - -5)是基于真实的人体动作按照物理定律。因此,人体的各部分的质量分布可以得到下面的生物力学的研究方法。然后,建立了常微分方程(ode)基于转矩和各关节的轨迹遵循牛顿定律。最后,每个关节的轨迹是通过解决ODE,和整个人类的活动范围。基于物理方法的最大的困难是设计一个特定的运动方程。甚至方程生成一个特定的运动,这对应于物理定律,缺乏细节,没有个性。

视频的方法(6)使用计算机视觉技术轮廓跟踪、特征提取等从视频中提取人体运动特征从不同的角度拍摄。一方面,我们可以得到各关节的三维运动信息从这些特性和合成整个人体的3 d运动(7]。另一方面,我们可以使用这些功能来获得整个身体在每一帧3 d空间姿态。在后一种情况下,我们一般不考虑各关节的运动信息。获得的三维人体运动数据可分为小的部分,然后重组合成新的运动8]。视频的方法分为两类,即自顶向下的类别和自底向上的类别。

动作捕捉数据驱动方法主要指的是重用现有的三维运动数据来生成新的运动。人体运动捕捉数据主要来自原始数据的动作捕捉设备以及手工的方法和基于物理方法;即使数据驱动方法的输出可以作为人体运动数据的来源。运动数据重用方法如下:(1)使用信号处理方法来编辑单个关节的运动数据和个人自由在较低的水平,(2)调整情绪的一个特定的运动在更高的层次上,(3)连接短段来生成一个长段,(4)从多个运动节段中提取一些常见的运动,(5)恢复各关节的运动信息来自几个关节,和(6)修改运动数据基于物理定律。

表1显示的比较四种方法的优缺点。根本差异中可以观察到这些方法的方法来解决问题。然而,每种方法都有自己的优点和缺点。因此,这些方法的混合使用,如动作捕捉数据驱动的混合方法和基于视频的方法(9)和动作捕捉数据驱动的方法和基于物理方法的组合(10,11),应用于实际情况。

表1
运动合成方法的比较。

3所示。动作捕捉数据表示

动作捕捉数据的存储格式是不同的根据不同的制造商。在一般情况下,骨架结构如图1(一)是用来表示人的关节链,每个关节连接基于层次结构如图1 (b)。

(一)
(一)
(b)
(b)
图1
人类的骨骼结构。

根骨架结构记录人体在世界坐标的偏移,而其它关节记录他们的平移和旋转信息对他们的父母。一般来说,孩子的翻译联合对母公司是一个固定值,因为它代表了两个关节之间的骨长度。所有关节的空间信息会影响关节的空间位置在子层。根翻译代表整个骨架的运动。相比之下,其他关节旋转。翻译向量是一个3 d空间向量,和它的旋转可以表示为一个旋转矩阵,欧拉角、四元数。人类运动由一个离散时间向量函数可以表示 ,在那里 是根和翻译信息 是 联合旋转信息。

虽然动作捕捉数据的一般概念结构化信息的平移和旋转,原始数据被动作捕捉设备应该事实上经历几个阶段的处理获得结构化信息(12- - - - - -14]。

此外,一些动作捕捉数据不仅包括运动数据,还有些约束表达某些属性,如物理约束(脚必须离地面飞机)和功能的运动类型(的次数你拍拍手当你感到兴奋)。这些约束可以被认为是元数据,可以分配给一个框架,一个序列,或整个运动片段。

4所示。动作捕捉数据驱动的方法

动作捕捉设备可以产生现实的和光滑的运动。然而,设备昂贵,费力费时,动作捕捉过程和结果不符合prerequirements。这些缺陷需要进一步处理原始数据。为了解决这些问题,一些研究人员已经提出了很多运动编辑的方法,可以应用于运动数据和其它运动捕获数据使用其他方法获得的。这些运动编辑方法通常在动画修改一些属性来满足特定要求(满足用户的规范)。但是,生成的运动是一个短段类似于原始的段。

近年来,研究人员还提出运动合成合成连续的概念,长期以来,constraint-conformed人类运动数据。首先,这个运动合成技术用于提取元素从一个动作剪辑。然后,这些元素是通过特定的数据结构(如运动组织图(15和马尔可夫链16])。最后,根据用户的需求,搜索合适的元素,和一个新的运动合成。运动编辑合成比运动更灵活,因为它可以生成各种各样的运动,从而大大促进了利用原始的运动。

4.1。运动编辑方法

动作捕捉设备可以记录表演者的现实运动。然而,编辑这些数据是很困难的,因为以下因素。(1)大量的数据;不断记录表演者的动作,动作捕捉设备的采样率要高。一些光学设备可以达到大于1000 fps,导致大量数据,编辑是困难的。(2)缺乏结构化信息;传统电脑动画控制最终生成动画关键帧或输入参数。然而,我们只有通过运动获得少量的原始数据采集、不能提供运动特性。此外,如何修改这些数据有效地影响运动模糊。(3)修改一些属性可能会改变其他属性不能修改。

运动编辑方法从而关注如何有效地修改一个属性的运动数据按照需求,同时保持其他属性不变。现有运动编辑方法可分为基于修改的属性(如表所示2)。

表2
类别的运动编辑的方法。

4.2。运动合成方法

在1996年早期,研究人员提出了运动合成的例子(17),但只有5自由度。近年来,运动合成方法进展合成多个自由度(如在图1超过70)和精细运动。一般来说,合成方法包括轮廓加工,如图2。首先,最初的运动节段的特点进行了分析。然后,段或单一段之间的功能是用来构建动态数据库设计良好,可以提供用户界面来表达需求。运动数据库也能够连接,平和,询问,并执行其他运动编辑操作来获得满意的运动数据。


图2
一般过程中使用的运动合成方法。

目前典型的运动合成方法可以分为两类,即基于运动类别和统计模型的类别。之间不存在绝对的边界两种方法,基于运动图的方法可能在一步中使用统计的概念;同样的统计模型。

4.2.1。准备基于运动图的运动合成方法

基于运动合成方法已经应用在游戏行业(18]。图施工过程如下:首先,设计师设计的基本运动片段。然后,互动软件是用于连接这些片段。最后,原始的片段和片段连接通过手动连接图结构设计(19]。通过这种方式,运动图结构是令人满意的,因为它可以通过搜索获得所需的实时运动。此外,这些顶点之间的连接很简单,能够满足对游戏角色的运动控制的需求。近年来,一些研究人员提出几种方法来自动构造运动图。其中有些方法已经提出的柯伐et al .,李et al ., Arikan和福赛斯在2002年(15,16,20.]。

这三个研究的总体想法是相同的,也就是说,找到一组相似的一组运动的数据片段,然后构造一个运动图通过构造一个过渡剪辑之间的相似之处,最后搜索图获得满意的运动。这三个研究不同从以下四个方面:(1)检测相似,(2)代转换,(3)图施工方法,(4)搜索目标,实现图。

(1)相似的检测。在这一步中,要解决的问题是如何评估任何两帧之间的相似性来确定是否添加一个它们之间的过渡段。

所有这三个研究设计相似的评价公式考虑关节的位置,速度,加速度,和其他因素。在这些评价公式,研究人员经验设置不同的权重对应不同的关节基于人类运动敏感区域的分布,如在李的研究(16的重量),肩、肘、髋部、膝盖,和胸部设置为1时,脖子上的重量,而脚踝,脚趾,手腕被设置为0。

(2)生成的转换。在这一步中,要解决的问题是如何生成一个剪辑过渡到顺利加入前的运动 框架和之后的运动 th框架如果两帧之间的优势已经确定。

Arikan和福赛斯没有生成原始运动之间的过渡剪辑片段但处理不连续使用一种局部平滑[20.)在每个节点连接(通常有一阶不连续)获得平滑的运动信号。

柯伐等人使用线性插值。他们创造了一个过渡的 帧的运动 th框架的第二运动通过线性插值的根位置,对关节旋转进行球形线性插值,将额外的约束所需的运动(15]。

Jehee和勇使用分层运动匹配算法(21),建立了基于约束之间的差异四个病例区间相对于过渡段间隔,然后考虑不同约束维护策略来生成基于不同情况下的过渡。

(3)图施工方法。Arikan和福赛斯代表了原始剪辑作为一个节点,然后用一条边连接两个帧,如果相似度函数值超过一个阈值。给定两个连续帧的原始数据具有高相似,相似的结果分布在图所示3(一个)(20.]。即边缘在一个集群中可以集群优势,和一棵二叉树也可以用来连接两个片段的边缘标签,因此构建一个分层运动图。这张图有相同的节点在每个级别,在低水平与两条边连接到一个边缘在更高的水平。

(一)集群运动图[20]
(一)集群运动图[20]
(b)运动图[16]
(b)运动图[16]
(c)运动图[15]
(c)运动图[15]
图3
三种不同的运动graph-constructing方法。

建议在柯伐等的工作。15),使用边缘的运动片段,和节点作为选择点这些运动是无缝地连接起来。然后,插入一个节点初始片段划分为两个小片段。我们也可以插入一个过渡连接两个节点使用运动混合构造一个运动图(如图3 (b))。

李等人。16]提供了一个两层的结构来表示人体运动数据。较低的层保留原始运动数据的细节,而更高的层是一个泛化的运动数据。较低的层是一个有向图节点和边组成。每个特定运动的原始帧运动是一个节点,和一条边必须放置在连续帧之间,以及相似之处。更高的层是一个统计模型构造一个数据结构称为集群树在每个运动坐标系给出一组类似的人类活动。更高的层中的每个节点对应的聚类树的根(如图3 (c))。

(4)图搜索满足目标。Arikan和福赛斯合成受限运动序列通过搜索适当的路径在本图使用一个随机搜索方法(20.],从一组随机路径图中,每个路径和所有可能的突变,是每一个可能的突变,比较满意的原始路径约束,接受突变比原来的路径,重复,直到没有更好的路径可以通过突变产生,并获得最终的路径。

柯伐等人定义了一个目标函数,然后使用分支界限法寻找最优路径作为最终运动路径在图搜索15]。

李等人确定集群的道路 在构造的集群上树,评估了联合概率 (这些路径 是运动的序列帧),最后选择最可能的路径作为最终路径(16]。

基于这三个研究,许多其他研究人员进一步探讨人类运动合成基于运动图。Gleicher等人构建一个简单的图表来促进有效的字符的运动规划。user-guided过程手动选择字符构成,系统自动综合转换连接这些姿势(22]。提出了一种新颖的连续动作唱人群仿真的图形。这个运动图可以创建与任意轨迹运动,加快运动合成时间完全满足约束(23]。Reitsma和波拉德用任务型指标评估运动图的能力来创建动画。他们检查能力的典型运动图跨任务和环境和评价运动图将满足需求的程度(24]。赵和Safonova表示提出构建人脉广泛的运动图的新方法具有良好的连接,只有平滑过渡。首先,该方法构建类似的插值运动片段,然后构造运动图和减少它的大小25]。Zhaoy等人还提出了一个自动的方法称为迭代子图算法选择一套好的运动(26]。任等人研究了运动图的优化,包括提高连接,简化大小和改善自然转换(27]。宗庆后等人创建了一个自动运动图的高度聚合节点采用降维提取关键姿势和非参数密度估计分析(28]。刘等人关注的语义控制运动基于运动合成。关系特性、自学习过程和语义控制实现,从而为用户提供一个高水平的直观的语义控制(29日]。玉等人提出了一种基于运动图的路径编辑方法。他们发现最小化平均帧的运动片段之间的距离混合框架,并提出了增强动态时间包装解决优化问题(30.]。

4.2.2。统计运动合成模型

典型的基于统计模型的运动合成方法在下面讨论。

Mattew等人认为风格是变化从定性状态映射到定量观察,然后构造一个通用的人类状态机结合交叉熵优化,自动退火和其他学习方法,还可以使用各种设置和控制状态机可以生成运动在不同的风格。

Tanco等人提出了一个系统,可以生成两个任意关键帧之间的过渡。马尔可夫链的状态是由聚类,和原来的动作捕捉数据作为隐式状态。模型由两个层次组成。第一层可以通过遍历生成粗运动状态的马尔可夫链。第二个层次涉及美国的马尔可夫链段的原始数据库中的运动并生成一个现实的基于这些片段的合成运动。马修和亚伦和Tanco和希尔顿31日,32)两级使用隐马尔科夫模型(HMM)显示运动数据。

李等人模仿当地的动力学(一段帧)通过使用一个线性动态系统(像)和全球动力学(整个序列)之间切换线性系统(33]。燕李提出一个概念叫做texton运动由一个摩门教的捕获动力学的所有实例共享这texton运动序列。燕李肇星还设计了一个最大似然算法学习textons运动和他们的关系从捕获的舞蹈动作。学运动纹理可以用于自动生成新的动画和/或编辑交互式动画序列。

许等人学会了通过分析翻译之间的差异表现相同的内容的输入和输出方式。这种方法依赖于一个线性定常(LTI)模型来代表文体差异(34]。一旦模型估计与系统识别,我们的系统能够翻译流在每一帧输入与简单线性操作。

普伦等人提出的合成关节角和翻译数据基于运动捕获数据的信息和训练数据分为使用小波分解频带。

相关性与基于表示模型联合概率分布的特性。最后,从这些密度数据是由采样合成和改善结果使用一种新的迭代最大化技术[35]。这种技术已经被应用于合成关节角和翻译数据的小袋鼠跳跃在跑步机上,动画是有用的重复性的动作,比如走路或跑步景深较低。生成运动的质量还需要进一步验证当扩展到人类运动自由度高。

鲍登扩展点分布模型(PDMs)的表示和识别人类运动和关节变形状态数据变化基于时间(36]。人体运动合成,从学会了PDMs进行检测和识别。

摘要不容易编码高阶时间依赖性。当地最适条件时经常遇到的迭代优化技术学习摘要。因此,模型拓扑和尺寸通常是高度限制前培训。Galata等人提出了变长马尔可夫模型的使用作为一个简单的(37]但功能强大和有效的机制来确定行为的依赖关系和长期和短期约束。虽然学习行为模型可以用来激活人类活动,控制未来的行为失去了指定一旦开始运动。

Jenkins和Matarić扩展Isomap算法将时空结构(38),然后使用降维手动段运动数据和提取原始运动模块(如动词(19])。然后,时空的另一个迭代执行Isomap提取元级行为模块(副词(19])。人类运动的系统可以合成一个流从一个用户选择的元级的行为。运动合成提出了基于行为(1]。Jenkins和Matarić自动派生词汇表的运动模块从人体运动数据(38]。这项研究的局限性是,用户只能合成元级运动。

魏等人显示如何无缝地结合先验统计运动对人类运动建模和物理约束的一代。是学习的关键理念非线性概率力场函数并结合物理约束的概率框架(39]。

除了线性系统,例如摩门教和LTI,已经被用于非线性系统模型运动数据。王等人用高斯过程的动力学模型(GPDM)对人类运动建模和合成新的连续运动。GPDM是一种非线性的隐变量模型适合时态数据。GPDM考虑的时间结构输入数据(40]。

总的来说,运动合成方法提出了(35- - - - - -37)是专注于中间体跟踪和手势识别,而不是现实的人类运动。因此,合成运动往往是困难的。

4.2.3。其他的运动合成方法基于运动捕捉数据

一些其他的运动合成方法基于运动数据,除了运动图和统计模型,将在这一节中讨论。普伦和Bregler41]允许动画素描动画通过设置少量的关键帧,这些关键帧分割成许多单调曲线段,每个曲线段与presegmented运动数据库匹配,最后加入最优匹配在图书馆产生constraint-satisfied和丰富多彩的运动。

刘等人使用一个优化算法来提取关键帧从人体运动捕捉数据通过结合遗传算法和单纯形法概率。这种方法提供了最优的关键帧,使用遗传算法,同时通过单纯形加速搜索速度局部搜索技术(42]。

金等人提出了一种新的方法自动提取关键帧动画序列。该方法使用动画特点计算原始数据和建构输入动画。该方法同样可以应用在骨骼和网格动画(43]。

洁具等人提出了一个框架和算法3 d人体运动合成基于非线性流形学习。在框架中,高维样本映射到低维流形使用运动的非线性降维方法44]。

5。讨论

三维人体运动合成技术在过去的十年中已经取得了重大的突破。虽然动作捕捉设备和数据处理算法有所提高,许多问题仍然需要解决,必须探索新的研究方向。

(1)运动组织数据库。虽然前面描述的运动合成技术设计了人体运动数据如何存储结构,数据库结构运动由这些方法并不总是足够,需要繁琐的手动调整由数据库设计实现一个好的结构。然而,手动调整运动数据库只能保证本地运动数据的质量。整个运动的类型的运动数据是否数据库是充分的和合成的活动范围是否足够大,应该评估。这些运动数据库的整体性能的评估方法仍需要进一步探索。

数据库(45)由一个二叉树图和节点过渡。人类的运动数据库(46]构成几个组件,即交叉验证数据集,概括数据集,数据集组合性原则,交互数据集。

(2)运动数据库压缩。运动数据压缩的主要问题是如何减少运动数据的存储容量没有减少运动数据的质量。一个直观的想法是提取关键帧的动作捕捉数据,然后从这些关键帧恢复原始运动数据。许多研究人员也提出了许多方法(47- - - - - -50),但这些方法的性能应该进一步加强。

(3)运动数据库检索。搜索方法的运动数据通常可以分为以下两类。(1)基于元数据的搜索:搜索方法相对比较简单,运行速度快。然而,结果的质量取决于最初的元数据。耗时的和主观的元数据注释过程限制了应用程序的搜索方法。(2)相似性自动数据搜索:这种方法的基础是现有的函数可以定义媒体数据之间的相似性。考虑到运动的关系数据之间的相似性可以建立基于相似性函数,可以实现运动数据的检索。目前,最常用的方法51- - - - - -54自动化数据相似性搜索。

Numaguchi等人开发了一个木偶动作捕捉数据的检索界面系统。他们引入了一个新颖的运动检索算法称为双重子空间投影方法优于常规pose-based检索方法(55]。曹国伟等人运动通过运动检索中风;这种技术比打开一个文件作为运动更方便查询的例子(56]。

(4)运动数据质量评估。是否运动数据通过各种各样的运动合成技术自然集成或简洁(没有冗余和噪声)通常被认为是由肉眼的观察。然而,当运动数据库非常大或者运动数据需要使用在实时虚拟环境中,手动确定运动数据的质量变得非常困难,甚至是不可能的。一些研究人员提出自动运动数据评价方法(57- - - - - -60]。然而,这些方法大多只适用于一种特定类型的运动和有限的性能。

(5)组织运动的合成。一般的运动合成技术主要用于合成的一个人。关于多个角色的合成,合成运动的任务经历了一个从量变质变。对照组运动,组织行为,路径规划,碰撞检测,必须考虑其他问题。近年来,集团运动合成已成为一个热门研究课题,并取得一定的结果(61年- - - - - -63年]。

van人数等人使用人群密度信息引导大量的人物通过构建一个导航网格和称重的路线基于人群密度沿路径(64年]。

(6)人类运动合成的新思路。最近,许多新想法不同于之前的四种方法。公园和霍金斯提出的方法直接捕获皮肤变形重构人类运动(65年]。合成运动,茶和霍金斯用低维控制信号从用户的性能加上数据库预先录制的人类运动(66年]。

(7)人类运动合成活性。反应人类运动合成的主要问题是如何实际控制虚拟人应对意想不到的扰动。提出了很多方法来解决这些问题67年- - - - - -69年]。Silei综合物理模拟和运动数据,设计了一个反应人类运动合成系统,准确地反应,同时外部力量的前提下保护运动数据的真实性70年]。

许多中国研究人员在三维人体运动编辑和合成工作区域;例子包括罗等人在视频运动合成7),运动检索(52,71年),从动作捕捉数据的关键帧提取48)、组动画合成(72年],和运动风格合成[73年];刘等人在运动编辑(74年),运动重新定位目标(75年运动),评估数据76年),和人群疏散77年];锅等人在被动运动合成(78年];Wei-Dong等人在武术运动合成(79年)和卡通动画(80年];陈等人在人类运动路径编辑(81年和关键帧插值82年];沈等人在运动压缩47)和图形处理单位的人群仿真(83年];张等人在特征检测84年)和视频背景减法(85年]。

利益冲突

作者宣称,这项工作他们没有利益冲突。

确认

这项工作是由美国国家科学基金会支持的中国(号。61303142,60970021,61173096),浙江省自然科学基金(Y1110688 Y1110882号,和R1110679),和高等学校博士学科点专业研究基金项目(没有。20113317110001)。