稀疏近似为非刚性的结构与运动

文摘

介绍了应用新的稀疏近似方法解决非刚性的结构与运动轨迹的问题空间。而不是产生截断传统轨迹的基础上,这种方法使用一个原子字典包括一组overcomplete基地估计真正的可变形物体的形状。然而,它仍然运行可靠,可以得到最优的结果。另一方面,它不需要考虑大小的预定义轨迹基地;也就是说,不需要截断的轨迹。提到的方法很容易实现,唯一的麻烦需要解决一个正则化最小二乘问题。本文不仅提出了一种新的思想,但也给出了一个简单而有效的解决方案,从运动的非刚性的结构问题。

1。介绍

非刚性的结构与运动的过程(NRSfM)是指恢复三维坐标的非刚性的对象从它的二维投影。这种技术在计算机视觉应用中扮演着重要的角色1- - - - - -4]。一个普遍的解决方案为解决这一过程正考虑变形对象的线性组合的形状。这种方法在包含一个简单的运动动作时感觉很好。然而,很难恢复对象的结构在处理复杂的序列。出于这个原因,Akhter et al。5]介绍了一种常见的方法,重建3 d对象轨迹空间而不是形状空间。这种方法与长复杂运动序列,因为这些测量分不依赖对方。更重要的是,因为大多数3 d运动的轨迹点的在现实世界中一些自然的曲线光滑,这些轨迹建模与一些已知的线性组合曲线,称为轨迹的基础。轨迹的基础模型改进的解决方案从运动恢复非刚性的形状。

此外,实验还证明,轨道基础方法的效率依赖于两个因素:轨道基础的类型和数量的基地。选择轨迹的基础上,原来的离散余弦变换(DCT)马尔可夫更适合被定义为一个通用基础(6,7]。然而,我们应该知道,虽然DCT基础已经被证明是比其他的总的来说,前者不可能适合每一个运动序列。另一件事,所选轨迹基地的数量是发人深省的。选择一个较小的轨迹基础大小可能导致大无知的运动序列的重要信息,而更大的基础尺寸可能会导致大量的未知因素和方程组是病态。和前情况可能会得到一个坏的结果,而后者将是一个大的浪费时间,甚至不可能得到方程的解决方案(8]。

(1)贡献。一般来说,解决3 d点轨迹可以更准确地获得通过减少轨道基础的限制。介绍了应用稀疏编码算法NRSfM问题。overcomplete基地的在这个过程中,一组叫做清音的字典是预定义的代表可变形物体的稀疏系数。

稀疏编码方法的一个优势是,它并不局限于只有一个轨迹基函数,可以由两个或两个以上的不连贯的基函数生成的。它是非常有用的复苏轨迹曲线由一些不同类型的基地功能。更重要的是,由于稀疏近似的目标是代表轨迹序列稀疏的所有原子的组合,不需要预定义轨迹基地的数量。

(2)相关的工作。Bregler等人首次提出利用分解方法来恢复非刚性的可变形物体的运动(9]。Bregler等人的主要思想是获得低秩形状的基础上可以满足2 d点预测。他们认为运动对象的结构可以被看作是一个近似的线性组合基础的形状。这个形状模型广泛应用于这一领域,尽管它似乎非常困难,因为固有的模糊性基础非刚性的问题必须被克服。要解决这个模棱两可,Torresani et al。10]介绍了高斯之前通过减少系数约束的解决方案。出于同样的原因,肖et al。11]提出添加额外的“约束”除了正规化约束。后,戴et al。12)提出了一个简单的prior-free方法解决NRSfM问题首次在2010年。虽然他们不承担任何额外的先验知识,除了低秩约束,该方法可靠地恢复非刚性的形状。基于形状的模型变得更加成熟。上面提到的方法都是基于形状基础上,直到Akhter et al。6)做出了很大改进,引入了基于轨迹模型解决NRSfM问题而不是形状。这种方法,对于3 d点轨迹模型的离散余弦变换(DCT)域的基向量,在复杂形状提供了更好的结果。朱和Lucey提议使用惩罚来减少活动轨迹的大小基础(13]。

2。问题的配方

包含在一个测量投影轨迹矩阵如下:

从2 d坐标测量矩阵生成的特征点表示运动帧的数量,是可变形物体的特征点的数量(9]。然后处理,让是一个注册测量矩阵连接相机中心和图像平面上的投影,所以在轨道空间可以表示成

在这个公式,摄像机运动(投影)矩阵和表明非刚性的形状矩阵(10]。此外,物体的形状坐标可以分解为一组截断基地和相应的系数:

矩阵是预定义轨迹基地,显示相应的系数。

我们都知道,自然信号的大部分能量集中在低频区域和离散余弦变换(DCT)有一个巨大的优势在特异性的能量浓度(11]。由于上述原因,DCT NRSfM处理中使用的损失压缩数据可以进行了。更重要的是,事实证明,一般在整个DCT的基础是一个更好的基础。所以本文主要考虑DCT轨迹空间的情况。离散余弦变换通常制定如下: 在哪里

在Akhter的方法6),矩阵的秩被截断。也就是说,他们选择列一个矩阵和远远小于。但由于基地使用数量的限制,这可能是广泛复杂场景时不准确。

3所示。稀疏近似法

传统轨迹基地重建方法主要涉及某种正交基地的使用,如傅里叶基础,各种DCT基地,和其他正交小波基。在这些情况下,一个想代表所有特征点的轨迹曲线的线性组合波形。但有一个问题,如果轨道基地的数量太大,方程系统将是一个np难问题。因此本文介绍了一种新的方法,使用稀疏近似法来表示轨迹曲线方法代替传统的轨迹基地。和稀疏近似为一个类的算法学习基函数只有当他们获取更高级的功能在输入数据14]。此外,在此方法中,将使用一个overcomplete原子字典除了轨迹基地。一个overcomplete原子字典包含不同类型的基地功能将有助于获得更好的结果。

3.1。原子字典

在现实中,小波高频正弦信号和上表现糟糕,相反,正弦信号脉冲事件(表现不佳15]。所以它会不准确恢复轨迹曲线只与一个特定的基础。狄拉克函数和三角函数是两种基本的标准正交基,和最真实的轨迹曲线可以用这两个函数。如果狄拉克基础和DCT的基础上整合在一个矩阵,这将生成一个原子字典执行比任何独立的轨迹。和字典必须稀疏的系数(即。系数包括许多零项)。这本词典的每一列称为原子,和狄拉克的串联基础和DCT基础已经被证明是适合大多数情况下(16]。本文使用这本字典在实验与实验数据而不是轨道基地。

3.2。稀疏编码

一本字典是一个标准正交基的连接。所以表达不是独特的,许多组合起来的方法。但这些方法的目标都是一个高度稀疏分解含有很少的非零项。这提出了一个优化问题: 在哪里和象征表示规范约束nonsparse项目。它已经被证明是正确的,如果等距常数Δ满足以下方程:

然后一个独特K-sparse解决向量将会被发现。但缺点(4)是,它可能被赋权。幸运的是,我们可以得到一个凸松弛(4),规范如下:

的规范是一个非常常见的解决方案来解决稀疏估计问题,它已经被证明是有效的。可以找到各种不同的解决方案来解决规范的问题。本文将应用正则化最小二乘,即feature-sign搜索算法,实现稀疏表示物体的运动轨迹。该算法中提到[13,17,18]。

4所示。算法的解决方案

掌握了以上理论,应用NRSfM稀疏近似算法的问题将在下列单词。

的目标NRSfM估计摄像机运动矩阵然后恢复真正的非刚性的3 d坐标矩阵从测量矩阵。为此,本文需要估计矩阵在第一位。幸运的是,已经有一个解决方案这个目标。戴et al。12)提出prior-free形状基础模型的方法。,这种方法也可以用于轨迹空间。在解决了运动矩阵,然后一个overcomplete原子字典可以预定义轨迹。稀疏近似算法将有助于解决相应的系数。所以3 d形状矩阵将获得轨迹基础和相应的系数。

4.1。估计摄像机运动矩阵

可以计算出rank-3K测量矩阵的分解通过奇异值分解(计算)18),获得了方程。的原因,存在任何rank-3K矩阵满足的方程,所以分解不是唯一的。摘要半定规划(SDP)中提到小,固定大小的15)应用于解决上述问题。戴笠的方法也是有效的估计在轨迹跟踪最小化空间。线性方程系统可以获得如下。

,这样 在哪里表示th column-triplet的,表示th双行,表示th排,表示向量化操作符。上述线性系统通过标准SDP将得到一个独特的解决方案。然后可以通过圣言会找到。一旦,一个是允许计算摄像机运动矩阵由以下方程: 请注意,包含在。最后,运动矩阵被表示为。

4.2。估计系数矩阵一个

系数矩阵是一个稀疏矩阵;也就是说,矩阵包括许多非零的项。从之前的声明,可以解决稀疏近似法。在已知摄像机运动矩阵,可以从方程获得。那么另一种策略可以描述如下: 在哪里,。

为了简化表达式,它可以表示为如下优化问题: 在哪里惩罚系数,它必须是一个常数。

迭代feature-sign搜索算法,可以解决在傅里叶域中,可以用来解决这个客观有效。介绍了算法的细节在17]。系数矩阵可以生成的向量。最后,形状矩阵将获得通过方程吗。

5。实验

本文中使用的训练数据集来自卡耐基-梅隆的动作捕捉数据集,涵盖各种各样的人类活动。随机合成数据只用于算法验证和稀疏的条件近似方法执行明显比其他的更好。结果将没有提及,本文报告结果只在真正的序列。真正的场景测试本文主要包括一般的“瑜伽”序列(41/307),“喝”(41/1102),“皮卡”(41/357),“鲨鱼”(91/240),“拉伸”(41/740),和“行走”(55/260)表示数量的点和框架。

5.1。稀疏的系数估计

首先,本文做一个实验“瑜伽”序列。工会原子字典DCT和狄拉克函数用于实验。有恢复可变形物体的三维坐标,相应的系数得到自然的原子字典。和实验结果如图1。图1显示相应的系数范围从1到250原子。

协调“原子”是指根据轨迹基函数生成的词典。也就是说,“原子”对应于一个字典矩阵的列。协调“系数”是指每个原子的相应的系数。从上面的图表,你可以很容易地发现大多数原子系数是零。它证明了假设是合适的系数矩阵是稀疏矩阵。同时,结果也验证稀疏近似法的可行性。

5.2。实验结果在一个真正的序列

已经证明,DCT比其他轨道基础的应用模型和它是最常见的方法。本文比较了稀疏方法对轨迹的基础方法在选择DCT基地的情况有不同的大小。使用的原子字典稀疏近似方法也是由工会DCT和狄拉克基础基础。本节介绍了不同的表演的“瑜伽”运动序列重建这些方法并给出了形状误差图如图2。均3 d误差的计算公式表示如下: 在哪里显示顺序和真正的形状显示估计的一个。

显然,选择12作为DCT的大小是最好的解决方案和形状估计误差是最小的,当恢复物体的形状与DCT基础模型。与稀疏编码方法,但当考虑稀疏方法明显优于DCT的轨迹基础方法即使在任何大小的基础。很容易理解原子字典包含所有预定义轨迹基地甚至那些不习惯在传统的轨迹。这两种方法之间的区别是,稀疏方法只设置未使用的轨迹基地的系数为零,这些未使用的轨迹基地仍可能被应用于其他轨迹曲线。但在轨道基础模型,一旦轨迹基地被截断在一个固定大小的,轨迹曲线只能由这些截断基地。

5.3。估计错误

本节给出了统计比较well-size DCT轨迹基础方法(19,20.)和稀疏近似方法。的截断大小轨迹基地由以前的工作由其他研究人员学习,它已被证明是可靠的。通过使用获得的“瑜伽”的数据序列,计算每一帧的平均3 d误差这两个方法,分别。从上面的分段,最好的解决方案能找到DCT的基础模型。所以DCT轨迹的大小的基础上在这个场景是12和惩罚系数的稀疏方法是0.1。每一帧的形状估计错误如图所示3。

从图3,很清楚知道,尽管使用传统的DCT轨迹基础方法在最好的情况下,每一帧的形状估计错误通过稀疏近似方法获得的估计误差小于DCT基础模型。也就是说,稀疏近似方法执行优于DCT方法在处理NRSfM轨迹基础问题的“瑜伽”的场景。

5.4。测试在不同的场景

为了验证稀疏编码方法的有效性,本文重复实验在不同的场景。实验完成了一些真正的序列包括“瑜伽”,“走”,“皮卡”,“鲨鱼,”和“喝。“最好的DCT轨迹基地规模从先前的实验获得已被证明是有效的。这个实验DCT基础模型的最佳解决方案适用于每一个场景和比较DCT基础模型的结果与稀疏近似方法。从之前的作品,最好的DCT基础的尺寸是12“瑜伽”,“走”是8,“皮卡”是12,“鲨鱼”2,“喝”是10。稀疏近似法的惩罚系数是0.1。实验结果显示在图4。

从图4,可以发现,每个场景的形状估计错误了DCT轨迹模型基础高于稀疏近似法得到的估计错误。也就是说,稀疏近似法优于DCT轨迹基础方法在大多数场景;甚至DCT轨道基础的大小是选择在最好的情况下。在最坏的情况下,前者与后者将得到类似的结果在这种情况下,截断DCT基地可以代表主要特征点的轨迹曲线。通过大量的实验来证明稀疏近似方法是一种更好的应用在NRSfM问题。

5.5。样品形状重建结果

验证稀疏近似方法的有效性,本文提到的,很多实验已经完成。在本节纸,一些实验结果显示明显提高说服。本节给出了形状重建结果的“瑜伽”“鲨鱼,”和“拉伸”序列使用DCT方法和稀疏近似方法,分别。DCT的截断规模基础上的“瑜伽”实验是12,和惩罚系数的稀疏方法是0.1。实验结果如图5。DCT的截断大小依据“鲨鱼”实验2,和惩罚系数的稀疏方法是0.1。实验结果如图6。

验证稀疏近似法的有效性,本节给出了“拉伸”序列的实验结果;图7显示的形状重建结果“拉伸”序列有两个方法,分别。DCT的截断大小依据“拉伸”实验是12和DCT基础方法将得到最好的解决方案在DCT基础模型的情况下,和惩罚系数的稀疏方法是0.1。

从数据5,6,7,你可以很容易地发现重建点稀疏近似法更接近于原始三维特征点。实验结果表明稀疏近似方法的优势。本文提到的方法显然是更有效的比传统的DCT轨迹方法基础。

6。结论

介绍了一种新颖的稀疏近似法解决NRSfM问题。很容易理解,并保证得到一个最优解。它表明,一个不需要考虑截断DCT基地的大小通过使用稀疏近似方法。在这篇文章中,只有欧盟的DCT和狄拉克函数应用到重建3 d运动对象。预计相机旋转矩阵可以获得更准确的估计误差。

本文的实验都是在现状正字法的相机模型。在信号稀疏编码,由于最近的进展,建议的解决方案可以很容易地应用于解决NRSfM问题。本文只给出了一个想法来解决轨道基地的大小。一些其他的想法也可以用于这个问题。同时,准确获得旋转矩阵将有助于得到一个满意的结果。

利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作是由中国国家自然科学基金(61272311)和部分还支持浙江省自然科学基金(LY13F020042、LY14F010022 Z15F020017)和521年浙江科技大学的项目。

引用

1. j·k·Aggarwal问:Cai,“人体运动分析:审查”《IEEE非刚性的车间和关节运动1997年6月,页90 - 102。视图:谷歌学术搜索
2. c . Nastar和n . Ayache Frequency-based非刚性的运动分析:应用四维医学图像,”IEEE模式分析与机器智能,18卷,不。11日,第1079 - 1067页,1996年。视图:出版商的网站|谷歌学术搜索
3. c . Studholme d·l·g·希尔·d·j·霍克斯,“重叠不变的熵度量的三维医学图像对齐,“模式识别,32卷,不。1,第86 - 71页,1999。视图:出版商的网站|谷歌学术搜索
4. t . b . Moeslund和e .叶绿体基粒”,计算机应用人体运动捕捉的一项调查,“计算机视觉和图像理解,卷81,不。3、231 - 268年,2001页。视图:出版商的网站|谷歌学术搜索
5. Akhter, y酋长,汗,和t·金,“非刚性的结构与运动轨迹的空间,”《22日年会在神经信息处理系统(捏' 08)2008年12月,页42-48,。视图:谷歌学术搜索
6. Akhter, y酋长,汗,和t·金”轨迹空间:双重表示非刚性的结构与运动,”IEEE模式分析与机器智能,33卷,不。7,1442 - 1456年,2011页。视图:出版商的网站|谷歌学术搜索
7. 阿加瓦尔,j .遗嘱l .凯顿g . Lanckriet d . Kriegman和s . Belongie“广义)多维标度,”机器学习研究杂志》上,卷2,11到18门,2007页。视图:谷歌学术搜索
8. j . y . Wang, j .郑y,和h·张,“小波分析基础上选择最优轨迹空间找到3 d非刚性的结构与运动,”国际期刊的小波多分辨率和信息处理,12卷,不。第三条ID 1450023, 14页,2014。视图:出版商的网站|谷歌学术搜索|MathSciNet
9. c . Bregler a Hertzmann h·比尔曼,“从图像流,非刚性的三维形状恢复”《IEEE计算机视觉与模式识别会议(CVPR ' 00)2000年6月,页690 - 696。视图:谷歌学术搜索
10. l . Torresani a . Hertzmann和c Bregler“非刚性的structure-from-motion:估计与分层的先知先觉,形状和运动”IEEE模式分析与机器智能,30卷,不。5,878 - 892年,2008页。视图:出版商的网站|谷歌学术搜索
11. j·肖,J.-X。柴,t·金“封闭解决非刚性的形状和运动的复苏,”电脑Vision-ECCV 2004施普林格,页573 - 587年,柏林,德国,2004年。视图:谷歌学术搜索
12. 戴y、h·李和m .他“简单柔性structure-from-motion prior-free方法分解,“国际计算机视觉杂志》上,卷107,不。2、101 - 122年,2014页。视图:出版商的网站|谷歌学术搜索|MathSciNet
13. y朱镕基和s . Lucey“卷积稀疏编码轨迹重建,”IEEE模式分析与机器智能,37卷,不。3、529 - 540年,2013页。视图:谷歌学术搜索
14. 问:巴特尔米们,和j . i .火星,“分解和字典学习3 d轨迹。”信号处理卷,98年,第437 - 423页,2014年。视图:出版商的网站|谷歌学术搜索
15. d . l . Donoho x霍,“不确定性原则和理想的原子分解,”IEEE信息理论卷,47号7,2845 - 2862年,2001页。视图:出版商的网站|谷歌学术搜索|MathSciNet
16. h·李,a .战斗,r·莱和a . y . Ng,“有效的稀疏编码算法,”神经信息处理系统,第808 - 801页,2007年。视图:谷歌学术搜索
17. e . j .萤石和y计划”,概率和照射的压缩传感理论,”IEEE信息理论卷,57号11日,第7254 - 7235页,2011年。视图:出版商的网站|谷歌学术搜索|MathSciNet
18. d . l . Donoho m·兰德,v . n . Temlyakov“稳定复苏的稀疏overcomplete表示噪声的存在,”IEEE信息理论,52卷,不。1,6 - 18,2006页。视图:出版商的网站|谷歌学术搜索|MathSciNet
19. j . Valmadre和s Lucey“轨迹为非刚性的重建之前,将军”《IEEE计算机视觉与模式识别会议(CVPR 12)IEEE,页1394 - 1401年,普罗维登斯,RI,美国,2012年6月。视图:出版商的网站|谷歌学术搜索
20. g . m . Chen AlRegib, B.-H。Juang“运动轨迹三角:3 d重建ℓ1优化”《第36 IEEE国际会议音响,演讲,和信号处理(ICASSP 11),页4020 - 4023,布拉格,捷克共和国,2011年5月。视图:出版商的网站|谷歌学术搜索

版权

版权©2015亚明王等。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。