文摘
低成本、高效的三维表面重建是一个重要的技术开发虚拟交互应用程序。Kinect,典型的低成本的3 d数据收集设备,已广泛应用在许多应用程序中,在这项工作中,我们提出一个高效的真实感三维人脸点云优化方法基于Kinect面临重建。基于Kinect点云的不同特点,不同的优化策略是微妙地应用于提高重建质量。我们的广泛的实验清楚地表明,我们的方法优于传统方法的准确性。
1。介绍
人脸显示独特的人类生物学特性和表达各种情感。随着科学技术的发展,数字人脸的需求不再局限于二维图像。数字3 d面临技术得到越来越多的关注,因为他们可以传达更多的面部信息,如空间形状,面部轮廓,皱纹。许多应用程序使用3 d面临技术创建生动的视觉效果。例如,虚拟电话会议软件使用重建头压缩传输带宽(1]。安全电子支付系统利用面部深度特征来验证用户身份(2]。在医学领域,手术规划和分析,以及医生和病人之间的交流,变得更加高效的互动帮助虚拟(3,4]。3 d技术在我们的社会有不可思议的应用前景。
脸的生理结构和几何形状非常复杂,所以描述的脸是一个关键的问题。经典的基于模型的面施工方法3 d Morphable模型(3 dmm) [5),它使用一个RGB图像,重建一脸模型通过求解模型参数,建立一个三维的线性组合的面孔。它可以重建一个完整的脸以及其拓扑结构,但它缺乏变形表达式和不够灵活的代表高频变形,导致穷人区别不同的人脸。
深度信息包含更多的细节,可以增强面对的现实模型。高精度深度信息通常是通过高分辨率激光或结构光扫描设备。高精度的仪器去吧!扫描,每次扫描正面面对模型大约8500到9500点。然而,这种设备通常是繁琐和昂贵的,有严格的使用条件,并对测量对象的不友好。要解决这些问题,一些低成本RGB-D设备开发。例如,微软Kinect可以实时获取图像颜色和深度(6]。由于其便利和低成本,它已经成为最受欢迎的3 d数据收集装置。Kinect高清的脸(7)是一个标准的内置的Kinect SDK API面临重建。它可以探测和跟踪人脸每秒30帧的速度,但它只产生1347面部顶点。太少的点云点约束的能力来描述人脸的丰富信息。其面部跟踪是基于身体骨架检测。如果只有头部,但没有身体,存在,会有察觉问题或数据丢失。在[8),梁等人使用高精度数据库匹配来提高表面模型的质量。然而,由于长时间花在非刚性的校准和检索,整个算法是非常缓慢的,需要大约92.16秒每帧。此外,纹理信息无法获取。
总之,基于模型的方法,利用RGB信息往往产生结果,太光滑。深度框架是由低成本高效地捕获装置Kinect包含更多的信息。然而,Kinect的低精度和抗干扰能力弱不符合要求的详细的面部表情。本文的目的是有效地生成高质量的脸模型和以较低的成本,而恢复不同形状和人类面临的种种细节。
我们的方案是如图1。从Kinect获得数据,我们使用面部识别和具有里程碑意义的检测提取人脸区域,获得68关键面部特征的地标。然后,我们利用地标区分一些面部特征区域,然后映射到三维点云。根据地区的不同特征的点云,各种优化策略被应用。该算法允许我们提高面临重建的质量与低成本和高效的方法。
我们的方案可以概括的主要贡献如下:(我)我们提出一个面对细节优化方法所引导的关键地区从单个RGB-D图像光滑的脸,同时保留更多的脸部细节。此外,最后面对模型包括纹理信息(2)我们开发高精度面模型通过使用优化算法,克服不可避免的低质量问题造成的低成本Kinect设备。与现有的方法相比,我们的方法执行更好的七个方面的定性和定量结果表达式
本文的其余部分组织如下。首先,我们总结相关工作部分2。然后,我们提出我们的真实感三维人脸重建计划部分3。后显示部分的实验结果4,并给出了结论部分5。
2。相关的工作
在本节中,我们简要总结先进的真实感三维人脸重建(MS)技术和微软kinect的研究。
2.1。三维表面重建
目前,真实感三维人脸重建方法可分为主动或被动基于信息采集模式。主动模式,深度数据中提取通过专门的扫描仪器,而被动模式,深度学习在2 d数据信息,如视频和图片。
在活跃的方法,联系方式和无触点风格很受欢迎3 d扫描技术。联系工具通常具有精度高、没有严格的扫描条件要求,如照明和对象的颜色,但扫描速度慢和使用不便。非接触仪器可以积极地发出红外线扫描环境。非接触乐器很受欢迎由于其轻质结构和扫描速度快,但精度较低。扫描结果往往受到环境条件的影响,经常包含大量噪声。为了提高精度,埃尔南德斯等人提出了一个实时真实感三维人脸重建算法,使用第一个深度图像作为参考帧,然后使用一个基于gpu的ICP算法融合随后连续帧的参考帧(9]。算法可以恢复更多的面部细节,但纹理映射是不稳定的。迈耶,提出了一种快速分割方法分离的脸从深度图像,分割的深度图像注册到一个3 d模型10]。然而,不完整的深度数据可能导致部分3 d的脸,和纹理不能映射。扫描点云数据或计算工具经常有问题,例如噪音和孔由于缺失的数据11,12),这都是不利于处理(13,14]。因此,许多学者研究了云洞修复的问题点。Kumar等人使用孔周围的点云数据以适应非均匀b样条曲面(15]。梁等人直接连接孔的边界(16]。由于边界是随机分布的,结果并不令人满意。他等人提出一个点云洞修复方法基于一种三次b样条曲面(17]表现更好的大洞。然而,修复对当地的影响是极大地受到噪声的影响。
被动的方法,直接从2 d图像[面临重构生成18- - - - - -21)根据shape-from-shading原则,这是一个逆摄影过程,利用边界条件,反映了属性和照明和深度值来确定物体的三维形状。边界定位需要精确的二维特征点检测(22,23]。为此,江泽民等人提出了一个方法,推断从单个图像几何细节20.]。通用电气等人提出了一种生成对抗网络模型以适应特征点(24]。埃尔南德斯等人提出了一种基于运动之前限制结构(25]。罗斯等人提出了一种重建方法使用反射率信息和个性化的模板(26]。另一个真实感三维人脸重建的趋势是基于密集排列的。风扇等人提出了一个方法来恢复现实面部纹理使用面部特征点来调整整体和部分的一般框架模型(21]。在[27),刘等人利用multiangle 2 d图片与显著特征点回归的3 d模型。在[28),风等人开发了一个紫外线位置映射到记录一个完整的三维形状的脸,训练一个卷积神经网络迭代学习这紫外线地图从一个2 d图像。刘等人提出学习3 d-to-2d映射通过计算3 d之间的调整脸型和2 d地标29日,30.]。你等人提出了一个self-supervised学习方法克服噪声值,使用稀疏二维面地标作为补充信息(31日]。
一些方法结合这两种类型。例如,在[32],Zollhofer等人使用彩色图像被检测面部特征,然后使用Kinect的特性来调整深度图像的通用模型和注册它。马赛等人改进了KinectFusion算法(33]。算法使用头部姿势估计解决阻塞问题,这为ICP算法提供了一个更好的初始猜测,使其重新获得一个完整的模型。
2.2。kinect女士应用程序
微软的Kinect可以收集来自环境的深度信息和对象在一个方便的和低成本的方式6),支持扩大应用,如姿势控制评估(34,医疗援助35- - - - - -37),室内映射(38),和3 d场景重建。
纽康比等人手持使用Kinect重建房间大小的场景(39]。这是开创性的工作密度实时3 d重建使用RGB-D相机。这项工作的基础上,研制了许多优化重建算法(40- - - - - -42]。张等人提出了一个积分成像显示基于KinectFusion多帧融合深度信息来消除固有噪声的单帧(43]。恢复和降噪深度地图,Esfahani和Pourreza提出了一个基于高斯滤波的方法来修复小规模噪音和洞深度图像(44]。李等人使用异步细胞自动机和组合和颜色深度信息来提高重建精度(45]。
Kinect已广泛用于人脸识别(46- - - - - -50],情感识别[51,52),可穿戴的人脸识别(53),面部识别数据库(54),和姿势估计(55- - - - - -57]。任等人应用Kinect传感器部分原因手势识别,使用一个新的距离度量称为Finger-Earth推动者的距离来评估不同的handshapes [58]。赛义德等人提出了一个基于Kinect的头部姿态估计方法和新地特征描述符提供竞争估计精度而需要更少的计算时间(59]。在[60),索恩韦尔和方提出了一个人类对象识别方法使用Kinect和深度信息掩码匹配模型。Kinect也被用于检测人类使用3 d人类分割方案(61年,62年]。Siv等人使用Kinect创建三维面部头像(63年,鼻子和Igarashi为联系在互联网上创造了说话的化身[64年]。邦迪等人使用Kinect作为一个低分辨率的扫描仪来重建高分辨率面模型通过计算3 d脸登记在深度序列(65年]。
3所示。该方法
我们的算法由两个模块组成:粗脸点云的生成和优化。在第一个模块,我们使用Kinect捕捉人类的深度和彩色图像实时并使他们同样大小。然后,面对地区和地标从彩色图像中提取人脸检测和映射到深度图像区域。最后,我们获得一个粗真实感三维人脸模型通过将深度映射到一个点云。
在第二部分,我们执行一个关键region-guided细节优化算法。具体来说,对于不同的脸部区域,我们使用各种策略基于特征脸的次区域克服保留细节和噪声平滑的问题。
3.1。调整深度和色彩图像
我们使用Kinect为Windows V2传感器捕捉色彩和深度图像。Kinect V2是一个3 d躯体感觉相机由微软制造,其中包括一个内置的彩色摄像机,红外发射器和一个深度(红外)相机。彩色相机可以捕捉色彩分辨率的图像帧 。的红外发射机发出近红外光谱反射表面的相机。深度信息可以计算基于飞行时间,和一个深度图像的分辨率 是生成的。同时和颜色深度图像捕获。自深度和色彩信息应该对齐在重建,我们使用一个有效的内置函数Kinect SDK对齐的两种图像,获得相同的分辨率的图像 。由于视差的颜色和深度相机,一些像素被另一相机可能不存在,导致重复的像素和阴影(见图2)。
(一)
(b)
3.2。面对区域提取和具有里程碑意义的检测
计算点云面前,我们需要从图像中提取脸部区域。以前的作品后,我们使用Dlib [66年]人脸检测模块获取人脸区域和相应的(参见图68脸地标3(一个)),它作为指标的关键地区。面对区域是由一个经典的边界框。因为我们一致的深度图像和彩色图像的坐标面对地区两个图片是相同的。我们可以直接从彩色图像中提取脸部区域和深度图像。
(一)
(b)
(c)
3.3。面对点云的一代
表面点云一代的像素坐标转换的过程中面对地区深度图像成世界坐标。这个过程包括四个坐标系统之间的转换:像素,图像,相机,和世界坐标系统(34]。像素坐标轴的单位和坐标轴的图像像素和毫米(mm),分别。像素坐标系和图像坐标系是在相同的成像平面。这两个坐标系平移相关(图4(一))。这个变换可以表示如下: 在哪里和像素占用的长度吗和方向,分别 是图像的起源。
(一)
(b)
图像的转换坐标系到摄像机坐标系中涉及一个透视投影(图4 (b)),它可以表示为方程(2)。 在哪里是焦距(光学中心接收屏之间的距离),的齐次坐标点在摄像机坐标系中,然后呢是齐次坐标点的图像坐标系统。
摄像机坐标系的变换世界坐标系统可以表示如下: 在哪里和是相机外在,表示旋转矩阵和转换矩阵,分别。在实验中,摄像机坐标系与世界坐标系的原点,所以和设置为以下几点:
摄像机坐标系统有相同的深度随着世界坐标系统。总之,从像素坐标转换为世界坐标可以表示为:
然后,
我们调整后的intrinsic深度相机,包括相机的焦距 ,的相机的焦距 ,相机的主要点维 ,和相机的主要点维 ,我们可以进行坐标转换。
最后的点云是一个有组织的点云。有组织的点云是一个二维数组存储顶点基于空间关系。相邻点的二维数组也在相邻的三维空间,允许索引值快速地找到相邻的点。此外,组织点云使我们快速2 d分颜色图像映射到三维点云的点。
3.4。Landmark-Guided表面点云优化
由于环境因素的局限性和Kinect传感器精度、深度数据可能有洞形成的无效点,表示为NaN值。我们需要恢复脸部区域填补漏洞。此外,我们注意到,点云经常有粗糙的毛边。由于这两个原因,初步进行平滑。因为组织点云序列,平滑遍历方法类似于遍历一个二维数组。我们按顺序遍历点云从左上角到右下角,用均值滤波平滑每一点。意味着平滑计算的平均深度值八个邻近点在当前点(见图5),并使用平均结果的平滑值这一点。当遇到无效点时在这些8分,我们忽略它,用剩下的点来计算平均值。孔填充类似意味着平滑。我们替换无效点周围八个点的平均值。对于边界点,我们使用零填充策略来填补这个模板。这个操作产生一个点云没有漏洞,一些毛刺。
(一)
(b)
实验表明,点云仍不够光滑,即使意味着平滑。因此,我们使用双边滤波来平滑点云。双边滤波器经常用于深度图像去噪。在[67年),李等人利用双边滤波降噪深度图像,取得了良好的效果。双边滤波器是一种非线性和noniterative扩展高斯滤波器(68年,69年]。在高斯滤波器,体重与空间距离直接相关。空间距离越近,重量越大。双边滤波器使用空间域和域(灰度)信息,分有一个很大的灰度差异分配用小重量,和一个小的点被分配灰度差异大重量,允许保留边缘信息的同时平滑。为空间域范围和领域 ,双边滤波核函数如下: 在哪里 模板的中心观点,大小 和 代表其他点的模板。灰色的值是根据从RGB转换值 。 和的标准偏差是空间域和域范围,分别。双边滤波器可以表示为 : 在哪里 是模板中每个点的重量总和用于标准的规范化操作。图6表明,平滑有明显改善。双边滤波后的脸变得光滑,边缘信息是保存尽可能多的。
(一)
(b)
(c)
双边滤波平滑后的点云在一个小范围内,但它仍然是作为一个整体不均匀。最小二乘方法可以用来适应分散在更大的区域比前面的步骤。我们按顺序遍历点云。以当前点为中心,表面装有一系列的最小二乘法 。然后,我们计算的价值点的表面光滑,替换原来的值。拟合的二次曲面方程可以表示如下: 在哪里代表了表面系数拟合。表面和原始之间的总误差点可以表示如下: 在哪里的深度值吗 - - - - - -点。拟合表面最小化总误差 ,可以用一个矩阵形式如下: 在哪里 在哪里是一个 矩阵的值和深度 表示模板的点的数量。是一个 矩阵, 表示由6基地 和1。的 - - - - - -th排可以计算的和的值 - - - - - -点。
自和可以互相调换,结果都是标量,指出一个标量的转置等于本身呢
上述方程可以解决的偏导数= 0:
上述方程可以简化如下:
表面的二次表达式可以得到 。最后,可以通过结合新的深度值和点的坐标。结果如图7。
面对过于光滑,和一些重要的细节功能丢失。大部分的人类的脸光滑,除了关键的面部特征,如眼睛和鼻子。我们的目标是使用最小二乘平滑平滑只有没有面部特征的地区,同时保持面部的关键区域建立在前面的步骤。因此,我们利用68年以前取得的脸地标指导平滑过程。图8(一个)显示了68地标标有红点颜色的图像。然后,我们将面部特征的区域划分为六个主要地区基于地标。例如,嘴, - - - - - -左和右嘴角的坐标作为左和右边界的地区,虽然 - - - - - -上唇和下唇点的坐标作为上、下边界。获得的6个关键区域是由边框图表示8 (b)。因为彩色图像中的点和深度图像是一致的,我们可以用2 d具有里程碑意义的信息直接提取深度信息。
(一)
(b)
对于面部的关键区域,我们对箱外的区域进行最小二乘平滑,同时保持盒子内的值。这产生一个不钻磨面模型详细的面部特征(图9(一个))。然而,由于不同的平滑操作在一个地区的内部和外部,一个明显的突然出现在的边缘区域。因此,我们继续执行意味着平滑边缘地区。最后,我们使用两个有效的方法(德劳内70年]和Trimesh [71年])来计算三角网格和显示最终的脸模型(图9 (b))。
(一)
(b)
4所示。实验
在实验中,扫描的脸去!扫描被视为地面真理。豪斯多夫距离是用来测量两个网格之间的区别。MeshLab 3 d几何处理系统是一个集成的豪斯多夫距离函数(72年]。我们实现了在MATLAB和运行在PC 2.2 GHz Intel Core i7 - 8750 h CPU和16.0 GB RAM。节3.4,两个和被设置为1。我们重建3 d人脸模型的四人用七种不同的表达式(中性,快乐、悲伤、厌恶、惊讶、愤怒、和恐惧)。我们比较我们的方法有两个流行的方法:Kinect高清的脸和GRIDFIT。
Kinect高清的脸有两个函数7]。首先,它可以捕获人脸和在三维空间中显示它们。第二,它可以实时追踪的面孔和捕捉面部动作。在第一阶段,Kinect使用16帧完全捕捉我们的脸:四个在左边,右边的四个,四个在前方,和四个顶的脸。在第二阶段,面对模型是由变形意味着基于捕获的脸。最后,生成面网格可以用于其他动画的应用程序。此外,没有使用颜色信息在最后面对模型。我们在图显示结果10 ()。
(一)
(b)
在GRIDFIT,表面是表示为韧性的电影。这部电影只在拉伸真正的数据点和方向是固定在其他方向。插值方法相比,它没有预测的数据点,而是将获得尽可能接近表面数据点得到一个近似的解决方案(73年]。有一些晶格覆盖所有的点,形成一个矩阵单元。矩阵的所有点落入一个单位。拟合问题可以写成 。我们定义点的数量方向和点的数量方向 ,这样的长度是 。因此,有行和 列。因为这通常是一个不适定问题在实践中,我们添加了一个正则化项。然后,目标函数是最小化的目标 。GRIDFIT允许用户控制刚度(73年]。在对比实验中,选为1。我们在图显示结果10 (b)。仍有许多隆起的脸,五官都不清楚。
图11真实感三维人脸重建结果显示四人使用我们的方法:GRIDFIT方法和Kinect高清脸方法。我们也比较结果与地面真理的脸(走吧!扫描结果)。平均值和标准变化的均方根 我们的方法, GRIDFIT方法, 高清的脸方法。图显示,我们的结果总是有错误低于GRIDFIT和HD脸方法。结果表明,我们的方法可以更准确地表达人类的面孔。我们保留尽可能多的脸部细节同时确保平滑。这是验证图12。在速度方面,我们的方法需要大约1.31秒加载在第一帧面临具有里程碑意义的检测模型。第一帧后,我们的方法大约需要0.23秒每帧。GRIDFIT方法平均每帧需要0.63秒。Kinect高清脸方法分为两个阶段。第一阶段是人工检测,检测人体骨架和动态的脸。这一阶段大约需要3.67秒。第二阶段是跟踪阶段,大约需要0.23秒每帧。我们计算这三个模型的时间消耗十帧。我们的方法、GRIDFIT方法和Kinect高清脸方法花费大约3.61秒,6.30秒,分别和5.97秒十帧。 Our method not only produces higher-quality models but also takes less time.
5。结论
在本文中,我们提出一个关键region-guided细节优化方法从单一RGB-D真实感三维人脸重建图像。我们提取脸部区域从图像坐标系和使用面临地标指导优化的点云。对于不同的地区,我们设计各种策略来平滑噪声和漏洞,同时保留必要的脸部细节,导致一个更现实的模型。当比较我们的方法与现有的流行的方法真正的脸上重建数据集,我们的算法性能优于其他方法,在定量和定性方面明显的优势。Kinect高清脸方法表现不佳厌恶,惊讶,愤怒,和恐惧的表情,而我们的方法是一致的的七大表达式。特别是在眉毛和嘴巴区域,Kinect高清方法难以表达真实的情感。速度比较也表明,我们的方法是有效的高质量3 d脸一代。
我们的方法的一个局限是,Kinect的有效深度范围约为0.5 ~ 4.5 m,和测量数据超出这个范围有一个很大的错误。这导致一个高建模误差时大学科之间的距离和Kinect。此外,在本研究中,我们使用Kinect获得RGB-D图像快速、轻松地。许多移动电话,如iPhone X,现在包括RGB-D相机,这使得它可以扩展我们的移动终端的方法。在未来的工作中,我们计划去适应手机的方法把这种方法应用到更广泛的场景。
数据可用性
使用的数据来支持本研究的发现正在禁运。请求数据,本文的发表之后的12个月内,将被相应的作者。
的利益冲突
作者宣称没有利益冲突。
确认
这项工作已经在中国国家自然科学基金支持的一部分(61962021号,61602222,61972344,61732015),江西省自然科学基金,中国(20202 acbl202008),研究生课程(虚拟现实技术)江西省建设工程,中国的高等教育改革研究省级项目江西,中国(JXJG-20-5-20),江西教育部门和技术项目,中国(GJJ210623)。