生成的点云测量和形状基于卷积神经网络:一个应用程序来构建三维人体模型

文摘

已经广为人知,3 d形状模型是综合使用点云网格参数化。点云特别处理与网格相比,更简单的形状信息,它也包含一个3 d模型。在这篇文章中,我们将介绍我们的新方法生成三维点云的位置重要性的关键尺寸和形状。为了找到形状和测量之间的对应关系,我们引入了一个代表3 d数据的方法称为片结构。神经网络模式的分层学习模式提出了兼容的数据表示。主片是由匹配整个点云测量之前设置调谐卷积神经网络。我们进行了三维人体数据集上的实验包含1706例。我们的研究结果证明了该框架的有效性和平均误差7.72%,良好的可视化。本研究表明,注重地方特色是值得的在处理3 d形状。

1。介绍

计算机模型的一个基本特征是详细描述能力的现实对象的拓扑和几何结构。3 d建模技术越来越成为计算机辅助设计社区的纪律。此外,许多应用程序需要3 d模型等人类的动画,服装行业,医学研究产生巨大影响人类生活的各个方面。

尽管大量的研究一直致力于实用性和可视化的三维形状,则较少受到关注的问题自动生成三维模型。在实践中,测量参数,如长度,周长,曲率被广泛用于描述现实对象的形状。然而,从这些测量重建一个计算机模型仍有很多空白的方法。的主要原因是,一组稀疏测量不能捕获所需的复杂形状变化的现实。另一方面,它是不切实际的诉诸扫描耗时和昂贵的设备。

本研究的目的是制定一个小说表示基于点云的三维模型,可以很容易地探索之间的关系测量和三维形状使用神经网络系统。总的来说,我们提出的框架创建的3 d点云在考虑一组测量数据作为输入。我们的方法的关键是把物体分成独立的组件和切片。这种分离让我们专门为每个切片定义体系结构神经网络的形状,而不是在整个三维形状。点云不仅简单和统一的纹理与网格的多样性和复杂性,但仍有意义的对象的边界和骨架的结构。以三维人体模型为应用程序,我们在这里演示一个端到端的程序合成一个新的人类模型给定的人体测量从训练数据和一组参数。

2。相关的工作

第一个试图解决3 d模型重建问题是基于模板模型。更准确地说,这种方法会产生一个新的模型的变形模板模型。艾伦el制定一个优化的问题找到一个仿射变换在设计模板的每个顶点模型拟合三维人体扫描。他们定义了三种类型的错误和联合创建目标函数。他们的方法也处理不完整的表面数据,填写失踪和占领地区的扫描仪(造成的1]。修改方法,艾伦,Hasler执行非刚性的注册,目的是合适的姿势和形状的三维扫描形成一个模板模型(2]。Seo和Magenat畸形的现有模型获取新的基于两个阶段预处理:骨架装配发现的骨架结构接近人体相应的3 d。皮肤拟合计算每个顶点的位移矢量模板模型后骨骼之间的拟合和扫描网格拟合3]。

另一种方法是2 d - base重建。这种方法降低了成本,因为它只需要一组图像。然而,图像数据往往包含噪声和背景是很难消除的。Blanz的方法人脸彩色图像作为输入,生成相应的三维模型。新面孔和表达可以被形成的线性组合原型(4]。在他们的工作,权向量是假定分发多元高斯和能找到的最大后验概率。陈试图自动重建更复杂的三维形状像人类尸体从2 d轮廓的形状之前,学会了直接从现有的3 d模型框架下基于GPLVM [5]。然而,这种方法是不现实的,因为依靠轮廓只会导致人体的深度信息的损失。

大多数的解决方案来自于统计数据的方法。类似于我们的方法,这些方法使用训练集学习输入和输出之间的关系,或构建一个示例空间外推。鼓舞人心的形式成立等的工作(6),统计数据模型已经成为一个强大的工具展示3 d模型的特征空间。在他们的研究中,人脸测量被用于生成3 d脸型变分模型,原型塑造被认为是作为一个参考。艾伦减少人类3 d网格的尺寸从180000个元素到40或更少的利用主成分分析(PCA)。然后,采用线性回归技术找到了六种不同的人体测量学和三维人体模型之间的关系(7]。Seo定义两个合成器联合合成器和位移合成器。联合合成器处理每个自由度的关节;换句话说,这个合成器的骨架结构模型,而另一个合成器用于查找相应的位移在模板的皮肤。这些合成器都从八身体测量与相应模型通过使用高斯径向基函数(8]。艾伦的相同的方法研究、楚等人附加程序可行性检查来确定语义参数值由用户输入是否合理。可行性检查是基于凸包的数学概念,如果输入参数检查失败,系统将返回最相似模型的训练数据(9]。王分析了激光扫描三维的人体组织点通过很多步骤10]。他建立了特征线框在云点找到关键点,连接所有的曲线插值。之后,功能补丁使用格雷戈里生成补丁和更新分布算法。根据特性模型,引入人体测量很容易提取,因此他利用数值优化生成一个新的3 d人体测量中提取用户输入的大小。门敏和李进行PCA的身体大小和身体形状向量;然后他们发现新模型的重量值基于约束的参数优化问题是25个用户输入测量(11]。他们也聚集分层次的形状向量空间的每个集群中凝结的集群树保持很小的变动。Wuhrer和蜀引入一种推断统计推断的形状以适应测量数据使用非线性优化[12]。首先,主成分分析应用于产生人类的形状特征空间;然后形状优化用于改进预测模型。目标函数制定基于平方误差的总和的三种类型的测量。作者宣布,该方法能产生类似人类的3 d模型和一个较小的训练数据集。上面的方法已经遭受了一个共同的缺点,即限制生成的形状由训练数据张成的空间。换句话说,找到大量的变量通过优化在小数据集将导致underfitting问题。

3所示。方法

在本节中,我们证明我们的方法包括两个主要步骤:生成主片和精炼的3 d点云。3 d对象是由一组平面垂直于轴向的对象。换句话说,建筑三维形状相当于建筑这些飞机。通常情况下,如果表面顺利划分(两个相邻面之间的距离非常小),相邻的表面将几乎相似的形状。此外,并不是所有的测量可以在实践中;因此,我们只考虑了一些可用的测量与主要的飞机。因此,选择主要飞机帮助我们减少必要的计算和测量。

让我们假设的集合的所有表面垂直于轴向高度的3 d对象 。主集的一个子集 , 这样对所有 , 和没有一个共同的形状。我们评估的程度差异基于观察的两个形状结构的3 d对象。学习测量之间的关系和各主要表面,我们构建一套从一组初始映射到一个目标: 这样的差异和是最小的。如果我们考虑空心3 d对象和表面变成下一节中定义的片,C将与半径的圆的周长计算相应的切片。

从主要的表面,我们可以插入整个3 d对象自表面之间的两个主要片的形状逐渐改变以适应这两个主片的形状。然而,插入表面不像实际的实用。我们克服了这个问题通过调整模型,将在下一节澄清。

3.1。建筑主片

我们限制我们的研究可以编写类的表面下三角公式。代表一个表面的3 d点云的点集 ,这对所有和 ,没有超过一个点 这满意 在哪里 前,在这项研究中,我们称之为“锚点”,这是一片的中心(图1)。我们叫上面定义的数据结构为“片结构。”

上面的表面描述有一个优势,第三维的冗余消除。一个点 取而代之的是一对吗 ,但是,变量实际上是共同的所有片。因此,一片被编写为一个向量的锚点和点之间的距离。此外,这种表示是不变下翻译的平静当我们翻译3 d模型。旋转也很容易处理,因为我们只是改变切向量的分量。

让 主要是指数组片,我们近似目标片吗由公式(3)。让 , 是n维向量表示片,组件的中心之间的距离,和点 。我们定义变形函数作为 在哪里 , 是一个非线性函数,是一个最初的切片,也被称为多层神经网络(MNN)模型。

算法1总结了学习过程生成主片。

第一个模型的核心思想是变形初始形状成所需的形状控制的周边和训练数据。对象时周长只有有用的对象形状显示;因此,单独使用其中详细构造一个对象是不够的。也因此,我们的方法是基于对象的形状,可以提取的神经网络模型训练集,在这个工作职位的学习模式寻求初始片需要缩小或扩张(图2)。

3.2。生成的点云

基于上述步骤的结果,我们在所有剩下的切片进行插值。详细考虑 ,我们计算基于 ,这个简单的任务是由线性插值(图3)。我们使用这些内插片作为第二个模型的输入。我们建造第二个合成器基于卷积神经网络(CNN) (13),因为它的内核有一个捕捉当地的特点和能力,尤其有用,当我们不得不考虑相邻切片的关系。这个模型修正错误的插值点利用训练集的信息通过CNN的体系结构。三维形状的局部结构是由卷积层保留在CNN,因此导致好精致。我们将我们的CNN模型定义为一个函数 : 在哪里 , 是一个非线性激活函数和是由堆积主要和内插片行。

这个问题损失函数的理性选择是均方误差(MSE)。在这项研究中,MSE计算生成之间的差异和实际的价值每片各点距离。我们使用这个指标来评估两个学习模型(算法上的错误1和2)。我们还增加了周长为第一个模型的误差项的损失函数。

4所示。一个应用程序来构建三维人体模型

4.1。数据集

这项工作中所使用的数据集被两所大学在越南独立开发的表1总结了我们的数据集(表1)。

每个样本在两个数据集生成的三维扫描设备并保存在“。obj文件格式。每个人只提供一个3 d扫描的身体;因此,参与者和样本的数量是相等的。参与者建议穿着紧身西装,符合标准的姿势当扫描他们的身体。我们将3 d《阿凡达》分为五个部分:躯干,左腿,右腿,左手臂和右手臂

在细节,这些数据集是由不同的设备;因此,他们有不同的功能(图4)。最明显的是,男性的化身的点密度不一样的女性。3 d女性头像统一结构,每个顶点被分成五个以上的一个部分。躯干片,腿上每个点片,手臂片是3,5,10度,分别分开。此外,所有切片是由相同的距离,等距的高度。与此同时,男性的数据集不符合理想的条件和它的对手。不仅没有预定义的两部分之间的界限也不跟随我们的slice-structure点云。出于这个原因,男性的创造者数据集提供了一组为每个化身地标,我们使用它们作为参考点上执行分区模型(图的人5)。此外,我们的slice-structure可以通过适当的预处理步骤。

4.2。预处理

我们整个三维人体模型分割成五个部分(图6)以以下方式,下面提到的职位的地标。(我)躯干(一)上半身:从颈部到腋窝,限于左手肘和右手肘。(b)降低躯干:从腋窝到臀部,左和右髋关节或受到限制左和右胃。

(2)臂(左/右)(一)上臂:从腋窝到肘部,有限的腋窝和肘部。(b)下臂:从肘部到手腕,手肘和手腕的限制。

(3)腿(左/右)(一)大腿:从臀部到膝盖,限于胯部和膝盖。(b)大腿:从膝盖,脚踝,膝盖和脚踝的限制。

后决定人类模型的所有部分,我们做了分度片基于飞机垂直于高轴。让我们假设所有点的集合包含在一个人类的一部分 ,我们分配

如果 在哪里 和米是片的数量在我们的实验(50), (图7(一))。

下一步是构建切向量。首先,我们计算每片一个锚点的位置。均值公式适用于找到这些点:

然而,也有一些缺点在上面讨论的方法。首先,一些片计数的点不够足够近似实际的中心点。第二件事是人类当构建一个新的模型,我们需要一个骨架。换句话说,它需要一个可用的锚点。多亏了里程碑式的设置,我们可以近似的男性角色的骨骼。躯干,例如,我们的中心构成的骨架线连接四个脖子地标和裤裆顶(图8)。一旦发现锚线,计算锚点在任何高度是一个微不足道的任务。模板骨架形成基于分析所有锚点的位置在整个训练数据集。在我们的工作中,我们简单地建立了骨架模板通过每个切片的锚点的平均值。

鉴于 ,角度建立的锚点 这一点是计算

的切向量代表的锚点和点之间的距离 ,和切向量的维数。有一点是分布式的如果满足以下条件: 在哪里 。直接的距离计算欧几里得度量:

男性和女性角色缺失数据问题。在女性的数据集,原因是在扫描过程中粗心大意和过时的设备。另一方面,在预处理男模特的缺失值问题是不可避免的,因为他们的原始点云并不理想。此外,点密度并不足够致密将男性身体成很多片。我们解决这个问题对网格数据进行线性插值的切向量(图7 (b))。

4.3。测量

美国男性数据集提供一组人体测量与178个类别包括片周边,宽度,和身体部位的高度。然而,测量不相同的单位距离计算点云。与此同时,女性数据集没有提供测量。由于这些原因,我们决定重新计算测量数据是一致的。简单的方法计算一片围求和所有距离的两个相邻点,但它似乎不现实在测量凸形状。我们提议用一片的凸包的周长测量。这些尺寸是计算主片(图9)。

总之,有28片测量,但我们可以减少措施17因为相似的左、右两侧。此外,有必要记录每个身体的高度(长度)完全建立三维人体模型。这将导致20测量。主要职位是基于统计数据和人体的标准比14]。

4.4。学习模式

构建主幻灯片,我们建立了与一个隐层神经网络(NN)模型中描述的部分3.1。这些模型变形片输入目标片(图10)。

这些模型将最初的圆作为输入和学习从输入到目标形状变形形状。最初的圆的半径 ,在哪里的周长是切片。输入和输出的大小取决于身体的部分,在我们的实验中,= 20、30和60的胳膊,腿,分别和躯干。片一片和实际之间的误差预测计算 第二个误差项从哪里来的区别的近似预测切和实际的周长。目标函数反映了错误不仅在每个组件(本地信息)破产的周长片(全球信息)。

一旦发现整个主片,线性插值是用来推断所有剩余的片。这些内插片的输入第二节中描述神经网络模型3.2(图11)。我们使用ReLU [15在体系结构)的激活函数。

卷积层帮助学习相邻切片的本地相关性模型。因此,剩下的部分将基于主片纠正。最谨慎的在构建CNN对这个问题是填充。保留数据传输通过多个层时的大小,我们在垂直反射进行填充,对称的填充水平(图12)。填充这种方式保留圆片的特点有关。

我们定义了损失函数在这第二个模型通过使用MSE: 在哪里分别是一个矩阵的实际和预测距离的锚点的身体部分。

5。实验和结果

我们训练的神经网络模型在Linux服务器上24 GB RAM, GPU 12 GB内存,并与2.2 GHz Xeon处理器。我们使用Python的使用在我们的实验中实现语言和主库pytorch numpy。我们使用亚当算法(16最小化目标函数),元参数设置根据作者的建议 。我们评估了错误的平均相对误差: 在哪里分别是一个矩阵的实际和预测距离的锚点的身体部分。上述错误公式不受非均质性影响的大小在不同的身体部位也在不同的数据集。在男性的数据集,我们使用1066个样本作为训练数据和100个样本作为测试数据,而500年和100年作为女性数据集训练和测试数据,随机选择的样本。表2显示每个主片上的平均误差训练后1000时代的男性和女性的数据集。

学习形状和相应的块大小之间的关系是一个难题,因为诅咒的维度。尽管输入是标量,我们必须预测切向量与至少20组件。为了解决这个问题,我们使用初始形状。最初的形状不仅是一个粗略的近似为目标片,而且也帮助神经网络模型参数的数量增加,避免underfitting。在我们的工作中,我们限制了类的初始形状圆的半径的计算周长。几何,第一个图变形控制的神经网络模型作为片大小。神经网络模型的非线性转换从直线到特定的“切矢量曲线”,后片形状转换成切向量表示。这些曲线有类似的形状,如果他们被放置在相同的位置(图13)。

躯干部分,脖子片最高平均误差,因为这些片不清楚地分开,和解剖标志在颈部位置放置在错误的位置像衣领或下巴。这个原因导致颈部的形状片存在着很大的差别。同样的事情也发生在自由式的片。手臂和肩膀之间的界限并不准确确定基于地标。另一个问题是缺乏大量的组件自由式的切向量,因为阻塞位置如腋窝忽略的3 d扫描仪(图14)。

表3显示了结果训练后完全CNN模型来构建一个完整的人体。进行这一节中,我们也与1000年亚当算法使用时代。我们选择50好样品和50损坏样品形成了测试集。因此,我们可以评估不良模式对整体的影响测试精度。结果表明,错误的测试集是训练误差近似。另一方面,损坏的测试集的错误不是好的一样低。根据结果,我们可以得出结论,我们的框架是少量的非敏感损坏样品。此外,在训练集样本的数量足以做推理测试样品的形状。

在分析数据库,我们意识到有很多损坏的样品在这两个数据集。女性的数据集的问题几乎来自扫描装置,而男性的数据集的问题是由于参与者(图的不合作15)。我们消除所有不合格的样本数据集。总的来说,有65个样本数据集在男性和女性63个样本数据集。删除这些模式后,我们进行了一项新的培训过程在新的训练集和测试集,结果如表所示4。在男性的数据集,有100 1001个训练样本和测试样本,虽然有437年和100年女性样本训练和测试数据集。喂插值后的平均错误主要片到CNN模型低于自己的错误相比,地面真理。

每个部位的平均培训和测试时间如表所示5。

一旦所有必要片准备建立3 d模型,我们对三角网格执行再啮合计算方法。这个简单的规则构成网格通过使用三分。点在 在两个相邻切片会形成一个网。同样,点 也会产生一个网格(图16)。

6。讨论和结论

生成3 d模型近年来已经成为一个有吸引力的领域。毫无疑问多功能性的3 d模型在计算机图形学中应用,如游戏、电影和服装等。然而,构建一个三维形状并不是一个微不足道的任务因为模型的复杂性通常要求精心设计,计算机硬件的力量,和现代扫描设备。为了解决这个问题,我们引入了一个新颖的方法来创建一个新的3 d模型简单地通过测量作为输入。我们的主要贡献包括:(1)描述一个公式来表示三维数据点云切片下,(2)引入两步框架基于神经网络生成主片和刺击整个切片,和(3)进行实验和推出一个基准IUH和HUST 3 d人体数据集。

很难比较本研究的发现与其他先前的研究,因为不同的数据集和评价指标。然而,结果证实了我们的方法的有效性,因为生成的三维点云模型很好足够的可视化与小的误差在合理的运行时间(图17)。我们建议的框架不仅探讨了相关性的形状和大小的人体,还抓住了相邻切片之间的本地信息。而不是直接推断整个3 d模型,我们目标模型划分为特定部分和定义适合每个部分的神经网络结构。详细的精神学习片形状而不是学习的总体结构,介绍了分层学习策略的形状片对应于用户定义的测量是所有其他片的形状的基础。

片结构,我们在这项研究中的应用是在静态情况下不受限制。也是有效申请通过morphable骨架三维动态模型。生成一个新的片形状的关键思想是变形初始形状根据训练数据集。因为我们每一步的方法不需要改变坐标或降低维度,我们仍然确保生成的点云看起来像在训练数据样本。我们的方法的主要缺点是数据不足。我们遭受underfitting问题;因此,神经网络系统不能实现理想的泛化。第二个弱点是我们专注于构建点云,而不是网格。因此,任何应用程序需要与全网状三维模型重建可能需要更多的处理步骤。虽然片结构非常简单,实现其状态是具有挑战性的,尤其是3 d形状和复杂的设计相互脱节。

总之,这项研究表明,三维点云构建完全当给一组基本的测量。另一方面,有必要考虑详细的形状在处理复杂3 d结构如人类的身体。我们建议的框架揭示这种担忧的,因为它有能力分析当地的形状特征。

数据可用性

使用的数据来支持本研究的发现没有可用的,因为他们是私有的。

的利益冲突

作者宣称没有利益冲突。

确认

三维人体数据集是由工业大学胡志明市(IUH)和河内科技大学(公司),越南。作者非常感谢这些代理提供我们这些数据集的信息。特别是,作者要感谢学院服装技术和时装设计,工业大学胡志明市,强大的设备帮助完成这项研究。

引用

1. 艾伦,b Curless, z . Popović“人体形状的空间,”ACM交易图片,22卷,不。3、587 - 594年,2003页。视图:出版商的网站|谷歌学术搜索
2. n Hasler) c·斯托尔m . Sunkel b . Rosenhahn, H.-P。塞德尔,”人类构成的统计模型和身体的形状,“计算机图形学论坛,28卷,不。2、337 - 346年,2009页。视图:出版商的网站|谷歌学术搜索
3. h . Seo和n . t . Magenat”自动建模的人体尺寸参数,”学报2003年研讨会上交互式3 d图形页,19-26蒙特雷、钙、美国,2003年4月。视图:谷歌学术搜索
4. 诉Blanz和t .检查者morphable模型的合成3 d的脸,”学报》第26届年会在计算机图形学和互动技术,页187 - 194,纽约,纽约,美国,1999年8月。视图:谷歌学术搜索
5. 陈和r Cipolla,“学习形状先验单一视图重建,”学报2009年IEEE国际会议12日在计算机视觉工作室ICCV工作坊,京都,日本,2009年10月。视图:谷歌学术搜索
6. d .成立、d·迈塔克瑟白兰地和m .石头,“一个人体的脸模型使用变分技术,”学报》第25届年会在计算机图形学和互动技术奥兰多,页67 - 74,美国1998年7月。视图:谷歌学术搜索
7. 艾伦,b Curless, z . Popović”探索人体形状的空间:数据驱动合成人体测量控制,”数字人体建模的程序设计和工程研讨会美国小姐,页1 - 4,罗彻斯特,2004年6月。视图:谷歌学术搜索
8. h . Seo和n . Magnenat-Thalmann”,一个基于实例的方法对人体操纵,”图形化的模型,卷66,不。1,1,2004页。视图:出版商的网站|谷歌学术搜索
9. 学术界。楚,Y.-T。蔡,c . c . l . Wang和郭宏源。郭:“Exemplar-based统计模型语义的人体参数化设计,“计算机在工业领域,卷61,不。6,541 - 549年,2010页。视图:出版商的网站|谷歌学术搜索
10. c·c·l·王,“参数化人体模型的参数化设计,“计算机辅助设计,37卷,不。1,第98 - 83页,2005。视图:出版商的网站|谷歌学术搜索
11. S.-Y。门敏和k·李,“人体形状参数建模框架,以人为中心的产品设计,“计算机辅助设计,44卷,不。1,56 - 67,2012页。视图:出版商的网站|谷歌学术搜索
12. 美国Wuhrer和c蜀”,估计3 d人体形状测量,”机器视觉和应用程序,24卷,不。6,1133 - 1147年,2013页。视图:出版商的网站|谷歌学术搜索
13. y Lecun (l . Bottou y Bengio, p . Haffner“Gradient-based学习应用于文档识别,”IEEE学报》,卷86,不。11日,第2324 - 2278页,1998年。视图:出版商的网站|谷歌学术搜索
14. t·a·戴维斯和r . Altervogt”人体的黄金的意思,“斐波那契的季度,17卷,第344 - 340页,1979年。视图:谷歌学术搜索
15. 诉Nair, g .辛顿修正线性单位提高限制玻耳兹曼机美国纽约,ACM出版社,纽约,2010年。
16. d . Kingma和b,吉米,”亚当:随机优化方法,”第三届国际会议学习表示学报》上美国圣地亚哥CA, 2015年5月。视图:谷歌学术搜索

版权

版权©2019茂东Nguyen et al。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。