文摘

动作捕捉技术扮演着重要的角色在生产领域的影视,动画,等等。为了降低数据采集的成本和提高动作捕捉数据的重用率和迁移运动风格的影响,在人体运动动作捕捉数据的合成技术已经成为这个领域的一个研究热点。摘要运动学约束(KC)和循环的一致性(CC)网络是用来研究运动风格迁移的方法。首先,cycle-consistent对抗网络(CCycleGAN)构造,和运动风格基于卷积self-encoder迁移网络用作发电机建立循环之间的一致性约束生成的运动和运动的内容,以提高操作生成的运动和内容运动之间的一致性,消除滞后现象生成的运动。然后,介绍了运动学约束规范化运动的一代,以解决问题,如抖动和滑步运动风格迁移的结果。循环的实验结果表明,生成的运动风格一致的传输方法和运动学约束更类似风格的风格运动,使运动风格转移的影响。

1。介绍

动作捕捉技术是基于计算机图形学的原理,记录人体运动过程通过运动捕捉设备(1]。当执行动作捕捉动作捕捉系统,它可以跟踪移动物体在三维空间的运动轨迹,得到运动目标的运动信息在三维空间中通过计算处理。高精度,高质量,代表人类的动作和完整的运动信息。动作捕捉数据和计算机动画技术的结合可以现实地恢复行动。近年来,它已被广泛应用于电影,游戏,医疗、体育、和其他领域2,3]。在电影制作领域,使用动作捕捉技术尤为成功。使用动作捕捉技术的许多动画电影票房取得了良好的结果。在“Alita:战斗天使,“动作捕捉技术的使用捕捉演员的动作和表情是由电脑动画处理技术,使观众难以区分现实和动画之间的边界。在游戏领域的生产,动作捕捉技术的应用使得游戏中的人物更加真实。高精度运动捕捉数据确保流畅的战斗行动,给玩家带来更好的游戏体验4]。在医学领域,Noitom博士”。联合”5)使用动作捕捉技术来解决患者术后康复的膝盖问题,帮助康复训练通过记录病人的活动和步态数据。此外,在运动训练、动作捕捉系统可以捕捉运动员的详细的运动情况,以便更好的分析运动员的问题,并做出相应的调整,达到更好的培训目标。

动作捕捉技术的广泛应用在电影,动画,和其他生产领域(3),卡内基梅隆大学等研究机构,爱丁堡大学、波恩大学建立了巨大的人体运动捕捉数据库。由于集合对象和集合地点的差异,有必要回忆动作捕捉数据的相同类型的行动,导致低运动捕捉数据的可重用性和增加实际应用的成本。数据驱动的运动合成是一个关键技术实现人体运动数据的重用。通过研究人类运动合成方法,如运动风格转让、运动重新定位目标,和运动融合,基于现有的动作捕捉数据,运动数据,满足用户的需求是合成6]。收集工作,最初需要重复收集行动,甚至更换集合对象现在可以减少人体运动合成技术,节约了大量的人力和物力,和提高生产效率的电影、动画等。动作捕捉数据的编辑和合成方法有很高的研究和实际应用价值。

目前,运动风格传输深度学习提供了很大的便利,不需要复杂的数据预处理。然而,仍然有两个问题与运动风格传输方法基于深度学习:首先,由于运动捕获数据是时间序列数据,池的过程神经网络时减少了运动的时间相关数据提取运动特征,导致运动生成的运动和内容的差异运动同时,和生成的运动滞后的现象相对于内容运动;第二,运动特征的重建结果在一些运动数据帧的丢失,导致一些问题如抖动和滑步运动后生成的运动风格的迁移。本文通过确定培训目标的运动学约束损失函数,结合运动学约束循环一致对抗一代网络动画抖动和滑步的问题风格传递的过程中得到解决,使生成的运动和运动风格的风格接近。

本文贡献:通过循环的一贯作风传输方法结合运动学约束(KC),运动风格传输网络基于卷积autoencoder作为发电机,和循环一致的一代对抗网络构造(CCycleGAN)建立周期性生成运动和内容运动之间的一致性约束,进一步提高运动产生运动的一致性和内容;引入运动学约束,规范生成的运动,抖动和滑动等解决问题的风格传递的结果,和改善运动风格转移效果。

2。相关研究

动作捕捉技术的发展和应用,人类运动合成技术基于运动捕获数据已经吸引了越来越多的国内外研究者的关注,并取得了相当大的进展。

2.1。运动混合

早期的运动数据主要由高级运动关节角和关节坐标等参数。因此,技术领域的图像和信号处理中使用的设计、修改和适应的运动数据。人体运动数据视为一个时间序列信号进行编辑或融合。Troje [7)提出了一个运动合成框架编码运动模式,并使用线性运动分析和运动合成方法。夏皮罗et al。8)提出了交互式运动数据编辑方法,使用独立的组件来分析运动风格的运动数据,修订运动数据改变动作的风格。王,这样9)使用线性混合方法确定运动序列的变换点通过计算最优的重量基本成本指标。

因为它很难直接合成更复杂的或明显不同运动风格与信号处理的方法在运动数据,为了解决复杂运动的合成不足的问题,一些学者建立运动学约束在运动生成实现平滑处理生成的运动(10]。动画效果的改进需求,为了处理更复杂的运动数据,非线性处理方法(11)应用于运动捕捉数据和复杂的结构。

2.2。基于统计的方法和学习

一些学者使用统计和学习方法来分析运动数据,提取具有代表性的运动特性和运动模式的运动数据,通过添加约束和改变运动方式产生新动作,同时保留现有的运动特征。

马修和Hertzmann [12)学习的运动模式每个运动风格的运动数据序列包含多个运动风格。每个运动序列可以有不同的编排,每个编排元素有不同的风格。通过学习它可以识别序列中元素总布置和使用插值合成新的运动数据根据动作编排元素。Grochow et al。13)提出了一个基于人类造成的逆运动学系统学习模型。给定一组的运动学约束,最有可能的姿势可以生成满足这些约束。学习系统使用不同的运动数据,生成运动序列构成的概率分布,确定运动造成的运动姿势的概率空间通过目标函数,对生成一个新的运动和比赛。

2.3。运动图

2002年,柯伐et al。14)首次提出的概念“运动图,通过构造不同的运动数据之间的关系,寻找最优路径的构造运动图,并合成一个新的运动序列。Arikan和福赛斯15)提出了一个框架,用于合成运动通过编辑动作捕捉数据。他们认为运动合成组合问题,并把它们通过随机搜索运动图的层次结构。因为运动图只能结合和编辑动作捕捉数据以满足用户需求,Min和柴16]丰富动作捕捉数据集通过混合相同类型的运动数据或结合草图。运动图的建设需要更多的数量和类型的动作捕捉数据才能表达整个运动的变化,最后生成的新运动过多依赖现有的运动数据集。参数添加人体运动合成的基础上,速度,加速度,和其他参数合成模型,控制合成工艺,提高动画抖动的问题,脚滑17]。

2.4。深度学习的方法

目前,应用深度学习人体运动捕捉数据已成为运动风格转移的主要方法。深度学习用于合成新的数据和基于深度学习的框架自动学习功能的数据集。泰勒et al。18)应用限制玻耳兹曼机合成动画。在此基础上,Mittelman et al。19)提出了一个结构化的约束玻耳兹曼机提高动画重建。随后,Fragkiadaki et al。20.]使用autoencoder (AE)递归网络译码器,这是一个递归神经网络相结合的深度学习与时间动态和产生平滑插值运动同时减少下滑。为了进一步提高动画效果,Du et al。21)使用源的大规模运动数据集构建一个层次递归神经网络和合成运动动画流畅自然。运动编辑方法提出了霍尔顿et al。22),一个单层卷积autoencoder用于特征提取,也显示了更好的能力来表达运动数据,这促进了autoencoder (AE)使用运动的合成。运动风格的转让、Zan [23)建立self-encoding与卷积三层网络结构,并建立了风格约束在特征空间实现运动风格转移。一种新颖的数据驱动框架存在运动风格传输(24),支持从视频中提取的风格和学习从一个未配对的运动风格标签。摘要玉等人提出,风格的翻译是一个有效的方法(25)转变成人动作捕捉数据的孩子运动风格。我们的方法是基于CycleGAN。

基于autoencoder深度学习方法(AE)提高运动数据合成或运动风格的影响传输。然而,编码的运动数据将导致一定程度的数据丢失,导致抖动和滑动运动风格转移的结果。本文研究了运动风格的方法转移结合运动学约束改善动作捕捉数据的重用率。

3所示。Cycle-Consistent运动风格传递的整个过程结合运动学约束

运动风格和内容运动有更多类似的运动特性,所以生成的运动可以保持一个高水平的一致性与运动的内容。然而,运动风格的集合是困难和行为的类型相对较少。有相对较少的内容相似的运动和时尚运动运动。当执行运动风格转移,使用内容运动与类似的行动运动风格转移可以提高转移效果;当内容运动和运动风格的内容相当不同,生成的运动可以保持相似内容运动在同一时间。然而,生成的运动有明显的滞后,导致运动方向偏离。因此,有必要改进生成的运动之间的相似性和内容运动,同时保持高风格相似性产生的运动和运动风格。运动风格的转移主要涉及等问题难以提取运动特征,可怜的重建运动的影响,建立运动风格的约束。整个过程的运动风格的转移运动特征提取和运动重建网络如图1。

从图可以看出1为了转移特定风格运动内容运动,首先需要从输入运动数据中提取运动特征,然后重建运动的运动功能重建的运动数据与输入运动数据一致。为了实现转移的运动风格,重建运动的风格建立合理的约束,保证重建运动运动在保留内容,内容运动风格的运动风格和输出生成的运动的运动风格转移。因此,运动风格传输网络具有相同结构的运动特征提取和运动重建网络,共享参数。运动风格约束建立的隐层网络的特征空间,调整运动特征和运动风格转移是通过运动重建。

针对的使用所造成的数据丢失autoencoder编码运动风格的运动过程中的数据传输,循环一致(CC)风格传输方法结合运动学约束(KC)提出了主要包括两个步骤:(1)循环生成一致的对抗性的网络建设;(2)结合运动学约束建立循环一致的风格传递模型。

4所示。建设一个循环生成一致的敌对的网络

4.1。理论基础

领域的图像处理,可以使用生成的循环一致对抗网络将两个图像样本域(nonpaired图像域)在风格上的巨大差异和提高nonpaired形象风格效果转移(26]。图2显示了生成的cycle-consistent对抗的网络模型。生成的循环一致对抗网络用于image-to-image映射学习,和学习方法使用未配对图像传输方式。

首先,有两个未配对样本空间形象和有不同的内容。生成一个敌对的网络的目标是学习的映射来 。此映射是 ,相对应的发电机代对抗的网络。

其中,发电机可以把样本空间的照片吗到一个假的照片类似于图像样本空间 ,的风格,希望生成的图像和是尽可能相似。

生成的图片 ,鉴频器的用于确定是否它是一个真实的吗生成图像,从而形成一个敌对的网络。

只使用这一损失将导致映射在样本空间映射所有图像同样的形象空间,无效损失。因此,通过引入映射 , 可以转换成一个照片吗类似的样本空间 。

然后之间建立连接和 ,形成一个圆形的一致性约束。

循环一致性约束应用于图像风格转移,和信息内容的图像在传输可以尽可能地保留,这样生成的图像在传输之后更完整的和自然。将它应用于运动风格转移可以重构生成的运动,建立运动生成和内容之间的联系通过循环运动一致性约束,这样生成的运动保留更多的运动内容和提高生成的运动的一致性和内容的运动条件,有效地改善了运动风格转移的影响。

4.2。建立循环一致性约束

运动风格的转移,定义了两个样本空间:内容运动和风格的运动 。循环一致性约束(CC)是应用于运动风格转移建立循环一致性风格转移模型,如图3。

运动风格转移模型、发电机和都是运动风格转移模型基于运动捕捉数据。运动的内容和运动风格作为发电机的输入执行运动风格转移获取生成的运动 。

鉴频器的法官的风格区别生成的运动真正的运动风格通过方程(6),这样生成的运动的运动风格接近输入的运动风格 。

运动特性输入的运动风格和运动功能生成的运动通过鉴别器吗获得对抗损失:

生成对抗网络通常衡量一代效应通过日志损失函数(27]。

鉴频器的使用培训将强调运动风格的特点,这使得它很容易生成器保留运动内容和结构内容的运动,和有必要添加循环一致性约束,鼓励运动的内容被保留在校准过程。生成的运动转移到代网络 ,的运动风格运动的内容转移到生成的运动吗 ,运动风格的风格运动在生成的运动删除和重建的运动生成的运动是获得。

的范例用于建立一致的重建运动的损失运动和内容 ,从而有效地实现循环的一致性,这样生成的运动有更多的运动特性的内容在重建运动:

循环一致性约束使生成的运动风格转移重建原始输入内容后运动。通过建立循环一致性约束、运动风格在生成的运动被转移到形成一个循环。通过这种方式,让运动风格的网络学习过程转移,然后删除,这样生成的运动有更多内容运动特性。

5。循环一致风格传输方法结合运动学约束

循环一致性约束可以建立内容运动和生成的运动之间的联系,提高一致性生成的运动和运动的内容。然而,由于运动捕获数据的复杂结构,骨接合点之间的继承关系使得运动数据高度相关,和数据的autoencoder损耗,导致差距编码和解码操作后生成的运动,运动的内容。得到的运动数据帧不合理,操作内容是不完整的和抖动和滑动的脚步发生等问题。

目前的方法解决运动抖动和脚滑移运动的合成运动是添加约束合成结果和规范的运动数据。通过建立运动学约束(KC),动态约束和时空的限制,和其他方法28)、约束添加到生成的运动获得完整、流畅自然运动数据。李和胫骨(29日)第一次使用逆运动学,建立运动学约束每一帧的运动数据,使用多级样条曲线插值实现顺利完成运动。德和Ko (30.)添加动态约束的基础上,以前的运动学约束和改变了时空优化问题转化为一个约束状态估计问题。崔和Ko (31日]基于逆运动学计算关节角变化的位置肢体运动实现编辑数据。Gleicher [32)意识到运动合成基于时空约束,但没有考虑到运动学和动力学约束生成的运动和缺乏运动的现实。Zhang et al。33]提出一种基于时空运动重新定位目标方法的限制,这对联合时空约束位置,避免不合理的运动。建立的运动学约束Grochow et al。13)使用末端效应器来阐明肢体需要达到的位置。周et al。34)构建各种运动学约束编辑运动数据,实现运动重新定位目标。

在运动学约束(KC)、动态约束和时空的限制,基于时空约束的运动合成方法计算昂贵和耗时。运动的动态约束需要细粒度参数控制框架。通常情况下,速度和加速度等动态参数用于直接修改运动特性。需要依靠经验来实现参数控制,和生成的结果是不确定的。运动学约束进一步约束生成的运动之间的一致性和内容运动和目标约束。通过确定运动学约束生成运动,它提供了一个更为合理的生成运动的周期一致的约束和改善代运动和内容运动的一致性。运动学约束有一个大范围的可选的约束和很强的适用性。在这篇文章中,三种常见的约束,如平滑约束,骨长度约束,和轨迹约束,选择角色动画的平滑处理。运动学约束损失函数确定培养目标结合运动学约束与循环一致抵抗一代网络解决抖动问题和滑动。风格转移模型如图4。

风格的运动学约束转移模型如图4主要包括三个方面:(1)运动平滑约束

Villegas et al。35]发现连续动作的数据帧是高度依赖于前面,随后的数据帧进行运动重新定位目标,也就是说,每一帧的运动在运动数据略有变化与前一帧的运动相比,这可以通过生成运动和内容运动生成。的速度变化前后数据帧用于运动顺利约束和解决产生滑动运动的问题。平滑约束定义如下:

其中,关节的运动速度点三维空间坐标系的运动内容,和关节的运动速度点在三维空间中坐标系统产生的运动。(2)骨的长度约束

动作捕捉数据收集的相同的动作捕捉设备相同的骨骼结构,但骨骼的长度是不一样的。生成的运动数据需要符合运动的骨骼数据内容。当Villegas et al。35使用运动功能重建运动数据,它使用骨长度约束,确保骨骼生成运动不会变形,避免产生运动的抖动。本文使用关节的三维空间坐标点作为输入数据,并对相邻关节骨长度约束点保持身体的僵硬,这样运动的身体产生的运动不会引起位错运动由于变形。骨长度约束的损失函数定义如下:

其中,代表运动帧的数量,代表人类骨骼的数量,和是两个端拼点生成一段骨头。骨的长度是 。(3)运动轨迹约束

运动风格传递希望生成的运动遵循内容的运动轨迹运动,所以运动姿势生成的运动和运动的内容是同步的。因此,需要精确地限制在一定的轨迹运动。霍尔顿et al。22)编辑和生成给定轨迹的运动数据通过高层给定轨迹的运动参数并生成运动的轨迹路线通过轨迹约束。运动轨迹约束损失函数定义如下:

其中,是生成的运动的轴角速度在吗轴,是内容的轴角速度运动,是生成的运动根关节的运动速度点,然后呢内容的运动速度运动根连接点。

因此,损失的三个运动学约束结合平滑约束,骨长度约束,和轨迹约束定义如下:

通过培训、运动学约束损失最小化获得运动学约束的运动特征隐藏层,可以约束联合到所需的位置,同时保持每个骨头的刚度。运动学约束调整生成运动反向传播的特性隐藏层,直到隐层功能,可以最小化运动学约束值获得实现运动学约束。因此,圆形一致风格的整体转移损失转移模型结合运动学约束如下:

其中,是运动学约束损失,是敌对的损失,是循环一致性的损失。

循环的具体网络结构一致的风格传递模型结合运动学约束表所示1。生成的网络需要运动的内容和风格的运动作为输入生成器生成的运动,和判别网络生成的运动和法官的风格区别真正的运动风格,这样生成的运动风格接近的输入运动风格。大多数网络具有相同的网络结构的运动风格基于卷积autoencoding传输网络,共享和网络参数。判别网络结构和运动特征提取是一样的编码运动重建模型的网络结构,共享网络参数。

6。实验和分析

6.1。数据处理和模型训练

在这篇文章中,卡耐基-梅隆的动作捕捉数据集(36),2600套的BVH运动数据约300万帧作为训练数据。输入动作捕捉数据维度是73,包括21骨骼关节,加上初骨根关节的协调价值形成的数据维度。为了处理输入数据与大维度,隐藏单位的数量在神经网络通常是两倍以上数据的维度,也就是说,隐藏单位的数量应该大于146,所以隐藏单位的数量设置为256。动作捕捉数据的采集频率摘要120帧每秒。人体运动将持续大约1秒到2秒。为了保持一定程度的运动数据的完整性和连续性的每一批,所有运动数据分割每两秒一次,保持动作后的第二个内容之前的动作,也就是说,数据分割重叠窗口240帧,50%和小于240帧的运动数据段是满最后一帧的当前数据段。因此,在网络过滤器的大小 ,对应大约半秒的运动数据,这是一个合理的序列长度对于大多数运动(11]。由于大量的训练数据集,为了提高训练速度,梯度下降法使用亚当更新参数和并设置学习速率 (37]。使用所有数据集100年完成培训,也就是说, ,和使用的所有数据来更新每个反向传播网络参数,也就是 。的初始化 选择一个小的随机值,初始化的 是0。

尽管BVH运动捕获文件的欧拉角表示方法是直观和方便在动画播放,欧拉角旋转组件在描述运动的时空特征表现很差。因此,本文首先将BVH欧拉角数据转换为三维空间坐标的点。

同时,为了使训练网络有更好的稳定性,动作捕捉数据规范化当构建数据集用于autoencoder训练(22]。BVH数据集的所有空间坐标归一化如下:

在哪里是输入动作捕捉数据集,输入运动数据的平均值,输入运动数据的标准差,然后呢是标准的运动数据处理后。

本文选择三种风格的老人,僵尸,和猩猩和转移他们的普通人们的行走和奔跑,分别分析了循环的影响一致的风格传输方法结合运动学约束。即三种运动的老人,僵尸,和猩猩是运动风格,和普通人民步行运动的内容。运动风格和内容运动作为网络的输入数据传输运动风格获得生成的运动。

6.2。实验分析过程

本文主要从以下六个方面的实验。(1)分析运动风格转移的结果

普通人的迁移结果的行走和运动的三种风格如表所示2。运动的三种风格是通过循环转移到普通人的步行运动一致的风格传递模型结合运动学约束。与风格相比结果传递没有约束,这三个风格的运动姿势运动结果传递更接近这些内容的运动,和样式转移效果好。

可以看出老人的表演风格转移有或没有限制的姿势不同约束的影响风格天马行空转移而转移主要反映在处理复杂的动作,尤其是把行动的最后一列;限制风格生成运动之间转移可以维持高一致性和内容。相比之下,天马行空转移,尽管运动姿势接近运动的内容,影响运动的风格,还有改进的余地在人体关节的相对位置和方向;僵尸风格运动的结果的明显差异和没有约束的风格传递的方向产生的运动和运动姿态的内容。在这群向前运动,天马行空的生成运动转移相对滞后。当内容运动,运动仍然是直接生成。显然,运动学约束的风格传递效应是更好的姿态约束的同时;猩猩的风格的风格传递结果运动是有或没有约束,虽然天马行空的生成运动转移。内容运动姿态和方向接近,但脚的相对位置不同而运动的内容。限制风格转移结果,脚的相对位置生成的运动更清晰和基础点更加清晰。(2)分析循环一致的约束和运动约束的影响

为了验证周期一致的约束和运动约束的影响,运动风格转移结果(无约束传输结果)与基于卷积autoencoder循环(限制传输结果)一致的风格传递结果结合运动学约束。

运动风格的结果转移在同一水平主要是通过观察分析人体的姿态和脚步声。从无约束迁移和限制移民的迁移结果表3,可以看到生成的约束运动内容和运动风格的转移老人走路更一致的姿态;生成的脚步运动风格传递的僵尸散步。的水平是正常的接触,有效地解决了地面渗透的问题;生成的运动风格传递的猩猩走可以根据内容的位置运动。(3)运动风格的轨迹转移的结果

为了进一步说明运动风格传递的影响,运动轨迹图是可视化。图5是普通人的轨迹图行走和运动的三种风格。

以下动作普通人的步行运动老年人的三种风格,僵尸,猩猩。迁移轨迹的结果如表所示4。

与天马行空的移民相比,约束的轨迹图风格迁移更接近运动轨迹是更完整的内容。内容运动相比,生成与约束风格迁移运动轨迹距离较短,生成的轨迹图很小;这主要是由于旧的风格,僵尸风格速度缓慢,导致生成的运动的运动距离短,但从整体来看,添加约束生成运动可以有效地促进迁移的效果。

由于猩猩风格运动的特点与大的进步速度快,生成的无约束运动的运动距离明显增大,因此,运动范围超过轨迹收集范围。然而,由于移动速度更快的老人与僵尸风格,约束生成运动轨迹接近内容运动轨迹,和迁移效果好。此外,生成的约束运动是在双脚之间的距离明显增大和步幅与内容运动相比,这也是符合的特点大猩猩风格的步幅,表明风格特性保留效果好。

根据上述分析,天马行空传输容易造成的抖动和滑移等问题不清楚位置,立足脚渗透,和运动滞后。限制风格转移可以有效地解决限制关节位置和运动轨迹,从而进一步改善风格转移的影响。(4)未配对运动风格的分析结果传递数据

为了验证未配对的输入运动的风格传递效果数据,本文以跑步运动不同于内容运动三种风格的运动的内容。由于循环一致性约束,训练是通过减少生成的区别进行运动和运动的内容。因此,生成的约束运动应该是接近的姿态运动比生成的无约束运动的内容。下面是判断的一致性运动姿势生成的运动和内容根据脚步运动轨迹图和传递运动的三种风格运行。运动轨迹图的输入数据如图6。它显示了普通人的跑步运动。老年人的步行运动,僵尸的行走运动,猩猩的步行运动是一样的图5。

以下三种类型的运动是转移到普通人的竞选运动通过一个圆形的一致的风格传递模型结合运动学约束。迁移结果如表所示5。

老人的天马行空结果传递的风格运动是可怜的。与运动轨迹图的内容相比,密集的脚步声和地面接触,表明运动内容生成的运动和运动是截然不同的内容。生成运动轨迹的约束方式转移更接近内容运动的轨迹图,表明循环一致性约束仍有一个更好的迁移影响的风格运动和内容运动不同的操作内容;僵尸,猩猩风格运动,跑步运动有很大的不同,这是一个很大的区别无约束生成运动轨迹图和内容运动轨迹图,它是不可能确定的起始位置运动和类似的轨迹段。约束生成运动轨迹图仍然保持良好的迁移效果,生成的运动轨迹和运动是高度相似的内容。

结果显示三种风格的迁移运动的跑步运动,与运动的内容相比,天马行空的生成运动转移的相似性较低的运动姿态和运动轨迹,轨迹段,很难判断相似。循环一致风格传输方法结合运动学约束具有良好的整体转移的效果。生成的运动保持风格特点,同时保证高度的运动姿态和运动轨迹的相似性。(5)运动风格转移培训的损失

数据7- - - - - -9显示了三种风格的损失值的变化运动转移通过迁移模型走路和跑步。实线代表的迁移损失值的变化内容运动,散步,虚线代表迁移损失值的改变正在运行的运动内容。

在数据7- - - - - -9,损失值与迭代迅速收敛的数量的增加,和前50名的迭代训练效果比较明显;由于迭代次数是100次,损失价值变化趋于稳定,和三个风格运动迁移损失价值可以从三个风格下降到一个较低的水平运动迁移损失价值变化,可以看到;随着运动风格的复杂性的增加,最初的损失价值越来越大,而在老人与僵尸迁移风格,损失值是变化的,由于内容和风格的差异运动增加,导致损失的迁移正在运行的价值略高于迁移到损失价值的步行运动。因为猩猩的行动内容风格接近,没有明显变化的损失价值移动运动这两个内容。(6)相似的运动风格的评价转移

通过方程(16)和(17),我们计算了风格生成运动的相似性从运动的三种风格运行。

在哪里是风格相似性生成的运动和运动风格,然后呢是风格相似性产生的运动和运动的内容。

从风格相似图的计算结果10,可以看出,风格相似的价值生成的运动和运动风格的圆形风格一致的传输方法结合运动学约束低于风格相似的价值生成的运动和运动的内容,显示生成的运动类似于运动风格的运动的三种风格。为了保证迁移效应,运动学约束和循环的一致性约束,这样生成的运动和内容运动更类似行动的内容。此外,运行的行动内容和运动的三种风格是完全不同的,而行动的内容行走和运动的三种风格很小,从而导致增加风格相似的价值生成的运动和运动的内容。

为了比较风格传递的影响,相比之下本文Zan [23胡),(38),郭et al。39),而霍尔顿et al。22]。郭et al。39)提出了一个风格传输方法结合逆运动学约束。首先,通过动态时间扭曲运动序列对齐,然后,通过建立逆运动学约束运动序列编辑实现运动风格转移。霍尔顿等人堆栈前馈神经网络在单层卷积autoencoder和编辑运动序列通过高层参数生成目标运动序列。通过以上五个方法,老年人风格运动转移到运行动作,然后,风格比较相似。从风格相似图的计算结果11,它可以看到生成的运动和内容运动攒的23和郭et al。39更相似,风格传递的效果并不理想。本文的方法和胡38)生成相对较小的值之间的相似运动和运动风格和风格传递的效果更好。

7所示。结论

针对的问题生成的运动姿势落后内容运动同时生成的运动抖动的滑块运动风格基于卷积autoencoder迁移方法,循环风格一致的迁移方法结合运动学约束提出了。通过构造循环一致的一代对抗网络,基于卷积autoencoder运动风格传输网络作为发电机建立一个循环之间的一致性约束生成的运动和运动的内容,使生成的运动和内容的一致性,并消除了生成的运动滞后。运动学约束引入标准化运动的产生,解决了抖动的问题和滑动运动风格的结果转移和提高运动风格转移的影响。

循环中一致的风格传递模型结合运动学约束,物理因素不考虑,物理约束生成运动缺乏。例如,当限制关节的位置点,它没有考虑基础点和运动速度之间的匹配是合理的运动风格转移后,人体肌肉的变化,重力,和其他因素。合理的物理约束也是一种提高运动产生的影响,这是后续研究的计划内容。

数据可用性

使用的数据来支持本研究的发现已经存入中央结算,卡内基-梅隆灭克磷数据库存储库(http://mocap.cs.cmu.edu/)。

的利益冲突

作者宣称没有利益冲突。

作者的贡献

H.J.W和J.H.L进行概念化和方法论;数字显示D及厕所J导致了软件和验证;后来帮助在最初的草案的准备;数字显示D和L。Y wrote, reviewed, and edited the manuscript. All authors have read and agreed to the published version of the manuscript.

确认

这项工作是由中国国家重点研发项目(2017号yfb1402103),自然科学基金(61971347),陕西省科学研究项目(2016 hjcg-05 ktzdny01-06和2018年),陕西水利技术项目(2020 slkj-17),西安科技规划和项目基金会(2020 kjrc0093)。