文摘

在这项研究中,我们提出一个重建和优化神经网络罗恩·)(一种新的神经网络的非刚性的结构与运动,这是一个无监督卷积神经网络完成的。与传统方法相比直接解决3 d结构,我们的模型集中在深度信息失去了由于投影。这个数学模型是使用卷积神经网络开发与三个模块集成、重建和优化,以及两个prior-free损失函数。罗恩·达到竞争提出的精度在几个测试序列和高视觉质量的各种真实的视频序列。

1。介绍

非刚性的结构与运动(NRSfM)目标非刚性的结构和摄像机矩阵的复苏从2 d轨道在单眼观点。与严格的同行(1],NRSfM是一个高度不适定问题,一些固有的歧义。此外,解决这个问题需要额外的约束或先知先觉。许多方法假设摄像机的运动是缓慢的和光滑的2- - - - - -6];然而,这限制了其适用于真正的序列。另一个假设是,非刚性的实例的变形可以使用加权和的基本变形轨迹空间(4)和形状空间(7]。这些假设,NRSfM问题转化为求解的基本变形及其系数。

受这些假设,许多研究人员已经使用神经网络来解决稀疏NRSfM问题[8,9),通过无监督学习形状表征网络,同时保持良好的泛化能力,面对看不见的数据。然而,他们的模型不能处理密集的情况。

密集NRSfM过去几年取得了显著进步(2,10- - - - - -13]。2020年,Sidhu et al。13]提出第一个密集神经NRSfM (N-NRSfM)方法与平均形状和展示最先进的性能广泛使用的数据集。然而,当面对长序列或剧烈的变化,平均形状是不合理的。此外,它需要大量的时间来获得高性能的结果。

在这项研究中,我们引入一个重建和优化神经网络罗恩·)(和两个改进的密集NRSfM损失函数。RONN主要包括深度重建模块和一个相机优化模块,由于投影重建深度信息丢失和优化摄像机矩阵,分别。灵感来自最近的进步NRSfM [8],提出的改进的损失函数结合的最小奇异值比,和实验结果表明,不同程度改善原来的损失函数。

我们研究的主要贡献如下。(1)我们建议第一密集NRSfM网络重建利用深度信息,罗恩·。也就是说,它是一种卷积神经网络包括重建和优化,实现重建的三维结构和优化的摄像机矩阵,分别。其具体结构将在部分4.1。相比直接解决整体三维结构的方法(13罗恩·避免使用),平均形状和减少大量的理论计算(2)第一次,我们改变了网络的输入从每一帧到每一个点,使网络能够应付不同大小的数据集。部分5.3罗恩·采样密度和稀疏的三维结构显示,没有3 d监督实现竞争力的准确性在多个测试序列(3)与最初的损失函数相比,加权使用msr的损失函数可以处理复杂的变形和进一步提高重建精度。加权法将详细描述部分4.2。比较实验部分5.2显示了不同程度的改善

2。相关工作

2.1。NRSfM

NRSfM天生就是坏脾气的,需要额外的约束或先验保证惟一性的解决方案。我们关心的是以下额外的限制:(1)Bregler et al。14)提出了一个低等级,等级严格的3 d结构的固定是三。戴et al。7重新安排的行作为获得更强的低秩先知先觉,展示最先进的性能在稀疏数据集。安萨里et al。10)提出了可伸缩的单眼表面重建(SMSR)和一种改进的低等级。其可伸缩性的成就使竞争稀疏和密集的数据准确性(2)公园等。15)提出了普罗克汝斯忒斯之回归,这是一个基于Procrustes-aligned形状的回归问题。在[15),他们提出了一个新颖的回归NRSfM框架,包括Procrustes-aligned形状损失和低等级的损失。框架是通用的,可以重建密集数据集下的三维结构。此外,公园等。16)提出了一个新颖的框架与普罗克汝斯忒斯之回归训练神经网络。虽然网络结构简单,它显示了优越的重建性能比最先进的方法。在[16普罗克汝斯忒斯],这是证明对齐可以确定独特的运动和消除刚性运动组件重构的形状

2.2。神经NRSfM

已有研究梳理NRSfM神经网络。监督神经网络需要大量的训练数据;然而,目前只有几个数据集可供NRSfM方法的定量评价。相比之下,无人监督的网络更容易实现。C3DPO [17]和深NRSfM [9)学习基础形状从2 d观察没有3 d监督稀疏数据集。C3DPO [17),Facebook的AI实验室提出的,利用分解网络取代古典分解步骤。此外,确保分解的影响,它与另一个规范化网络实现一个健壮的三维重建效果。这个框架实现高性能重建结果刚性和非刚性的数据集。香港和使用9)提出了一种新的先验假设,利用多层稀疏编码来表示三维非刚性的形状,并设计一个创新encoder-decoder NRSfM神经网络实现监控网络。他们延长了经典的稀疏编码算法,ISTA,阻止稀疏场景和通过提出网络提供最先进的性能。然而,稀疏编码也限制了其应用密集数据集。Sidhu et al。13]介绍了第一个密集神经NRSfM方法,即N-NRSfM,取得了竞争的性能广泛应用密集数据集。他们使用的平均形状实现重建,但这成为了限制。一旦确定平均形状,重建结果。因此,当面对大规模变形,重建结果不如预期。

3所示。数学模型

考虑一个单眼相机与一组观察非刚性的对象特征点。让是3 d形状矩阵的非刚性的对象框架和是它的2 d矩阵的正射投影显示。具体地说,

和有关完整的旋转矩阵作为 在哪里已经集中;因此,摄像机矩阵简化为纯旋转(14]。根据公式(3),同时包含相机和三维结构信息。在这项研究中,一个合理的网络架构设计分离所需的信息。

公式(3)可以更改为以下形式。

根据公式(4),完整的旋转矩阵将重建结果有一定的影响;因此,完整的旋转矩阵的优化是必要的。

4所示。RONN模型

在本节中,我们介绍了罗恩·。结构和损失函数

4.1。网络结构

如图1,灵感来自于轨迹空间,罗恩·包含三个模块:我们维集成模块 ,相机优化模块 ,和深度重建模块 。维集成模块中包含的信息集成和在矩阵,代表摄像机矩阵的优化模块,代表了重建模块的深度信息 。

二维矩阵首先通过维集成模块,它包含一个卷积层与内核的大小 和一个ReLU层。接下来的两个模块 ,已(默认设置为1)剩余块和一个线性层重新排列形状后,得到 ,和 ,已 。具体来说,剩余块包含两个卷积的内核层大小1×1和一个ReLU层。

通过网络,我们可以表达为重建结果 在哪里 摄像机矩阵的奇异值分解。

在这项研究中,初始化的方法是一样的,在1在稠密数据集和7在稀疏数据集。

4.2。损失函数

解决NRSfM问题,我们建议尽量减少损失函数与初始旋转矩阵作为 在哪里 编码的附加约束。

时间平滑项用于限制相邻帧的重建结果的相似性 在哪里表示矩阵的Huber损失。重量稍后讨论。

普罗克汝斯忒斯之调整项可以确定独特的运动和消除刚性运动组件从重建的形状15];这个词可以表示如下。 在哪里 是翻译矩阵,定心的形状在原点。重量在本文稍后讨论。这个函数是针对之间的误差最小化的3 d形状每一帧和参考形状优化旋转矩阵。

重新排列形状矩阵表示为 与一个额外的约束 。在[10),他们认为,平均3 d组件中占主导地位时间维度,可以删除。通过结合这两个想法,被定义为 在哪里 正交投影,是一个向量的。

当使用优化模块 , 必须使用作为数据项和作为普罗克汝斯忒斯之回归正则化项组成。

权重和设置使用最小奇异值比[8]。给定两个二维矩阵,和 ,让 堆叠的矩阵和如下:

然后,最小奇异值的比值用于定义msr刚性措施如下: 在哪里是 - - - - - -th的奇异值在降序排列。

然后,权重和定义如下:

5。实验

在本节中,将描述实验结果几个广泛使用的基准和真实的数据集。首先,我们介绍了数据和实验设置,然后分析比较该模型和先进的密集和稀疏数据集,最后,用实际数据来进行实验。

5.1。数据和设置

5.1.1。数据集

密度三个基准数据集使用的比较方法:合成面孔(两个序列99帧和两个不同的相机用Traj轨迹。一个和Traj。每帧)[B,以28887分2以997分),表达式(384帧每帧)(18),和演员灭克磷(每帧100帧以36349分)19]。

5.1.2中。评价指标

对算法性能指标,3 d的错误定义如下。 在哪里表示和弗罗贝尼乌斯标准表示地面真理的三维结构框架。

5.1.3。培训细节

罗恩·PyTorch[实施的20.]。我们使用了亚当优化学习速率为0.0005,训练了2000时代。在实验中,重量是固定的 。

5.2。模型分析

5.2.1。RONN结构

基线是由删除罗恩·。模块的这些实验显示的优点和的必要性 ;它包含不同的损失函数的组合合成的脸序列(Traj。一个和Traj.B)。

的优点表中列出1。因为网络解决了深度信息 ,而不是整个3 d结构,这使得重建只有实现 ,尽管误差相对较大。

的必要性表所示2。当使用的组合和 , 是Traj下降了31.72%。Traj.B和16.88%。当使用的组合 , ,和 , 是Traj下降了33.83%。Traj.B和22.00%。

5.2.2。改进的损失函数的有效性

了解改进的损失函数的有效性,我们用下面的原始损失函数进行了实验。

在表3罗恩·没有的情况下 ,相比之下, , 的是Traj下降了5.4%。Traj.B和8.8%。

因为的结合和使用时必须使用网络,一个实验添加到显示不同的性能改进的功能。然而,改善并不影响错误之前和之后。然而,随着增加 ,的结合和降低了Traj误差12.11%。Traj和5.01%。B,也显示了摄像机矩阵优化的必要性。

5.3。比较的方法

5.3.1。合成的脸

合成脸表中列出4。相比之下,跳集合管(JM) [21),Grassmannian歧管(通用)11],SMSR [10),概率点轨迹方法(项目前期技术援助)22),巩固单眼动态重建(CMDR) [23,24),变分方法(VA) (2),密度时空方法(DSTA) (25),采用有限元法(EM-FEM) [26],N-NRSfM [13),罗恩·实现的接近Traj最好的方法。平均和展览Traj.B。相比之下,Traj。Traj的重建精度。B是可怜的,反映在许多方法。

5.3.2。表达式

表中给出的表达式5。与采用线性动力系统(EM-LDS) [3];列空间拟合,版本2 (CSF2) [27];内核形状轨迹方法(KSTA) (28];全局模型与当地解释(GMLI) [18];和N-NRSfM13),罗恩·实现的 与那些GMLI N-NRSfM,目前这个序列的最佳方法。然而,迭代的数量显著降低(而N-NRSfM 60000倍)。

5.3.3。演员灭克磷

表中列出的表达式6。相比之下,CMDR [23,24]和SMSR [10),罗恩·实现的 ,这比SMSR和CMDR。

5.3.4。稀疏重建

除了线性层 ,罗恩·组成的卷积网络,网络和每个特征点参数,以便能够处理与不同数量的特征点数据集。当面对经典的稀疏数据,包括六个标准序列,即喝,皮卡,瑜伽,伸展,罗恩·也可以跳舞,和鲨鱼,实现重建。帧的数量( )和数量的点( ),即。,the 集,这些数据集(1102年,41),(357,41),(307,41),(370,41)(264、75),(240,91)。如表所示7,而密集数据的三维重建,在稀疏的三维重建场景,每个点之间的相关性是相对较小的由于一些特征点。与经典的稀疏的三维重建方法相比,罗恩·是重建的结果不如预期。然而,即使罗恩·不是最好的重建误差,它也不是最糟糕的。

5.4。实验与真实数据

我们也重建几个真正的图像序列,即,心脏手术31日),(32),和真实的脸2)(见图2)。至于真正的脸,由于大量的噪声矩阵 ,最终的重建结果并不像预期的那样顺利。对于心脏手术,罗恩·取得了良好的视觉的重建结果。

6。结论

罗恩·,本研究提出了两个改进的损失函数。我们的方法可以实现从2 d到3 d重建没有监督。罗恩·法的优点之一是它的可扩展性和一致的性能与不同数量的特征点数据集。

作为第一个网络直接解决深度信息实现重建,RONN使用深度重建模块 ,可实现三维结构重建只有时间平滑的损失。普罗克汝斯忒斯之回归是用来优化摄像机矩阵,提高性能和使用msr重量上面的损失函数,进一步提高网络的能力来处理复杂的变形和实验证明改进的损失函数和罗恩·。高性能的

N-NRSfM方法相比,这是第一个密集神经NRSfM,我们不需要平均形状和使用更少的训练时期。经典的稀疏重建方法相比,罗恩·显示了更好的可伸缩性。从每一帧转换网络的输入到每一个点使网络能够更好的应付密集的条件。

因为直接使用 ,目前该方法的限制是2 d的灵敏度矩阵 。如图2 (c)的噪音直接显示在三维结构,导致结果不平滑的。从最初的旋转矩阵是必需的,重建结构精度将受到最初的旋转矩阵。此外,罗恩·不能处理的数据丢失。

密集NRSfM N-NRSfM提供了一个新的视角,我们进一步改进,实现结果。在未来的研究中,我们将考虑复杂的情况,如去噪和数据丢失。

数据可用性

Python代码数据用于支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项研究得到了浙江省自然科学基金(LZ20F020003, LY17F020034、LY17F020003 LSZ19F010001)和中国国家自然科学基金(61272311和61272311)。