文摘

面部特征点检测近年来一直接受伟大的研究进展。许多方法已被开发出来并应用于实际的分析系统。然而,它仍然是一个非常具有挑战性的任务,因为大变化的表情和手势和遮挡在实际拍摄的存在。在本文中,我们提出一个健壮的稀疏重建方法面临对齐问题。而不是直接回归特征空间和形状之间的空间,介绍了形状增量重建的概念。此外,一组耦合overcomplete字典称为增量字典和当地的外观形状词典是学习以递减的方式选择健壮的特性和形状的增量。此外,为了使学习模型更通用的,我们选择最佳匹配参数集通过广泛的验证测试。三公共数据集的实验结果表明,该方法实现了先进的方法更好的鲁棒性。

1。介绍

在大多数文献,面部特征点也称为面部地标或面部基准分。这些点主要定位在边缘或角落的面部组件(如眉毛,眼睛,嘴巴,鼻子,下巴(见图1)。现有的数据库方法比较用不同数量的特征点标记,不同的配置(最低51)最大194点配置(2]。一般面部特征点检测是一个监督或semisupervised学习过程,大量的火车模型标记的面部图像。这是从一个人脸检测过程,然后预测面部地标在检测面临边界框。本地化的面部特征点能利用各种分析任务,例如,人脸识别(3),面部表情动画(4),面部表情检测(5),和头部姿势跟踪(6]。

近年来,回归方法获得了越来越多的关注健壮的面部特征点检测。在这些方法中,一个级联框架采用递归估计脸型的输入图像,连接的面部特征点坐标。从一个初始形状,通过推断一个形状增量更新从之前的形状: 在哪里和形状增量和线性回归后的矩阵是什么分别迭代。映射函数的输入变量,表示外观和形象表示相应的脸型。添加剂的回归到下一次迭代公式:

在本文中,我们提出一个稀疏重建方法,嵌入稀疏编码形状重建的增量。作为一个非常受欢迎的信号编码算法,稀疏编码最近成功地应用于计算机视觉和机器学习领域,特征选择和聚类分析等,图像分类、人脸识别(7- - - - - -11]。在我们的方法中,稀疏overcomplete字典是学会编码各个面部姿态和局部纹理考虑成像条件的复杂性。提出的原理图如图形状增量重建方法1。在训练阶段,两种overcomplete字典需要学到的东西。第一种字典称为形状增量字典因为原子由典型的形状在每个迭代中增量。另一种字典称为本地外观字典,因为原子抽象复杂的面部特征的外观。在测试阶段,当地在形状特征提取的当前迭代点,然后编码到特性系数使用本地外观字典。因此形状的增量可以重建的形状增加词典和形状系数转换系数的特性。考虑到整体性能,我们采用一种交替验证和当地枚举得到最好的参数设置在大量的实验中。与三个评估方法在三个公开的数据集。实验结果表明,提出的稀疏重建方法达到一个优越的检测的鲁棒性与其他方法进行比较。

以下本文的内容组织如下:相关工作介绍了部分2。提出的稀疏重建方法详细描述部分3和实验结果进行比较4。最后,我们总结整篇论文部分5。

2。相关工作

在过去的二十年里,大量的方法已经被提出了面部特征点检测。在早期的方法,活动外观模型(AAM) [12)是一个具有代表性的参数模型,旨在最小化之间的区别的纹理采样测试图像和纹理合成的模型。之后提出了很多改进和扩展的麦(6,13- - - - - -20.]。提高实时系统的效率,Tzimiropoulos和Pantic16)提出了一个模型来有效地解决麦拟合问题。-特雷萨登说道et al。14]Haar-like特性用于减少计算,它可以帮助移动设备进行实时跟踪。阮et al。17- - - - - -19)认为批很容易收敛到局部最小值。要解决这个问题,他们设计了一种新的模式,学习成本函数有局部最小值只在所需的地方。提高鲁棒性、黄等。6)结合基于AAM (20.)和卡尔曼滤波器进行跟踪和使用形状参数重建视图空间。汉森et al。13引入了非线性形状模型,基于黎曼弹性模型来处理贫穷构成初始化的问题。

一般来说,限制本地模型——基于(CLM)的方法21- - - - - -25)学习一群当地专家和然后为改进前采取各种形状。Vogler et al。21)使用主动形状模型(ASM) (23)建立三维可变形模型实时跟踪。Yu et al。22)使用均值漂移方法(25)迅速接近全局最优。和梁等。24)约束的面部特征点的结构使用组件的位置。

上述方法共享相同的特征控制脸型变化通过一些特定的参数。但不同于这些方法,回归方法(26- - - - - -28直接学习的回归函数图像外观目标输出。高et al。26)采用二级级联了回归(27)结构来获得一个矢量输出点。解决大问题的形状变化和遮挡,Burgos-Artizzu et al。28)改进他们的方法在三个方面:首先,他们首先参考像素的两个里程碑之间的线性插值。第二,回归模型直接嵌入的阻塞信息的鲁棒性。第三,他们设计了一个智能初始化启动计划,以避免不合适的随机初始化。

我们的方法属于回归方法,像[28- - - - - -31日]。然而,我们的工作不同于以前的方法在几个方面。首先,现有的方法,就像[31日),监督学习的方式获得下降方向。但在我们提出的方法,下降方向的信息包含在重构的稀疏字典形状增量。然后与方法(28),我们的方法没有使用每个特征点的闭塞的信息。最后的方法(30.)设计了一个两级提高回归模型来推断整体脸型。在我们的回归模型中,我们完善的脸型逐步学会了两个耦合的字典。

3所示。回归稀疏重建方法

3.1。问题公式化

本文对齐所有方法的目标是评估通过以下公式: 在哪里和表示最后估计图像的真实形状和相应的形状,分别。迭代方程的回归方法,是制定如下: 在这里是一个变量增加后的形状迭代,其价值应该近似真实形状增量,在那里。

3.2。Multi-Initialization和多参数策略

Multi-initialization意味着多样化的初始迭代形状可以提高重建模型的鲁棒性。真实具体地说,我们随机选择多个脸型的训练集,形成一组初始形状为当前图像。显然,multi-initialization策略能够扩大训练样本大小和丰富提取特征信息,让每一个回归模型更强劲,同时,在测试阶段,multi-initialization可以创造更多的机会走出潜在的局部最小值,可能会导致不准确的特征点定位。

在我们的方法中,有四个关键参数特征词典的大小,形状大小的增量字典,及其相应的稀疏。四个参数的选择直接影响了重建模型。因此我们做大量的验证测试,找到最佳匹配参数。然后根据验证结果,我们决定采用三套参数训练模型。

3.3。稀疏编码的学习

我们使用正交匹配追踪(OMP) (32)算法和K奇异值分解K圣言会)[33)算法来找到overcomplete字典通过最小化整体重建错误: 在哪里输入数据和吗和分别表示稀疏字典和稀疏的系数。定义了在系数向量和非零值的数量称为稀疏。

3.4。学习变形增量

在监督下方法(SDM (31日]),作者采用近似形状的增量的线性回归方程: 在这里面向表示的直方图的梯度(猪)特征提取的形状之前的阶段。和从训练集得到通过最小化 不同于线性近似的概念提出了SDM,我们引入直接稀疏重建重建形状的增量的概念: 在这里和代表形状增量字典和其相应的稀疏系数分别th迭代。从另一个角度看通用下降方向是嵌入到稀疏字典可以更健壮的面对大形状的变化。

3.5。形状回归框架

更好地代表地方出现面部特征点,提取的猪的特性也编码到稀疏系数: 在哪里和本地词典外观和当地出现稀疏系数,分别。而不是直接从整个特征空间映射到形状增量空间,我们建议只在稀疏系数空间进行回归。自两个系数矩阵是充分稀疏,回归矩阵可以快速解决。方程是制定如下:

现在我们详细描述形状回归框架(见伪代码1)。在训练阶段,我们可以得到的形状预测下一阶段使用(4)。通过增量迭代学习形状,我们可以获得最后的脸型。结合(10)和(8)计算从,在那里和是变量,可以通过以下稀疏重建公式: 和代表增加稀疏和当地的外观形状稀疏,分别。鉴于和我们可以得到通过 最后,我们可以生成一个组和后迭代。在这里迭代次数和吗。

在测试阶段,我们可以得到当地外观系数使用已经学过。最后脸型估计使用(16)和(17后)迭代。

3.6。该方法的主要贡献

在本节中,我们总结以下三个方法的贡献:(1)稀疏编码是利用一组耦合的字典学习,叫增量字典和当地的外观形状字典。解决相应的稀疏系数是嵌入在一个回归逼近真实形状的增量的框架。(2)交替的方式验证和本地应用枚举在广泛的实验选择最佳的参数设置。此外,实验结果所示,该方法有很强的稳定性在不同参数设置下。(3)我们也重新测试条件前5%,10%,15%,20%,和25%的测试图像被按照降序排序的标准化的安装误差。然后该方法相比,三种经典方法在三个公开的数据集。结果支持该方法实现检测的准确性和鲁棒性优于其他三种方法。

4所示。实验

4.1。面对数据集

在本节中,三个公开面对数据集选择性能比较:标签的脸部分在野外(lfpw - 68分和LFPW-29分(16])和加州理工学院阻挡面临2013在野外(COFW) [34]。811年LFPW下载数据集,收集224年训练图像和测试图像。两个68点的配置和29分的配置标记为LFPW数据集评估。COFW数据集包括1345 507训练图像和测试图像,并且每个图像标记与29个面部特征点和相关的二进制信息闭塞。尤其是在这个数据集收集图像显示各种遮挡和大型形状变化。

4.2。实现细节

4.2.1。准备代码

长效磺胺的实现代码(31日回归(ESR)[],明确的形状30.),和健壮的级联构成回归(RCPR) [28)从互联网。除了RCPR准则和ESR至少在个人网站上发布的报告的作者之一,我们从Github得到长效磺胺的代码。

4.2.2。参数设置

一般来说,形状大小的增加本地出现字典词典和我们的方法取决于猪的维度描述符。在以下验证实验中,我们将介绍如何选择参数的最佳组合。参数设置的长效磺胺、ESR和RCPR符合原来的设置在报纸上报道。在长效磺胺,回归运行5个阶段。在ESR,特征的蕨类植物和候选人的数量是5和400像素的特性,分别。构建模型,该方法使用10和500年阶段两级培训提高了框架。重启RCPR, 15迭代,5,400的特性,和100随机蕨解释变量采用。

4.2.3。评估标准

在我们的实验中,我们使用以下公式计算和规范化对齐错误。首先,我们计算真实之间的定位错误点坐标和检测到的点坐标,也就是说,两个向量之间的欧氏距离。然后进一步规范化,两眼间的距离如下: 在(15),表示检测到面部点坐标和表示真实点坐标。和表示真实中心坐标的左眼和右眼,分别。

4.3。实验

4.3.1。参数验证

在本节中,我们将介绍如何使用替代的方法验证和当地枚举找到最终的参数值。如上所述,有六个变量,的,大小的,大小,,需要固定;在这里是初始化过程中训练和测试。根据稀疏的要求,候选人的值和选择从以下设置: 同样,候选人的大小的,大小,,形成以下设置:

首先的值和分别设置为5和1。注意的价值在测试阶段的值应该等于在训练阶段。然后我们设置的值2,4,6,8,顺序和10。的大小和选择随机组合。为不同的值我们可以得到五组的结果。和表1给出了详细的结果是固定的2。从表1我们会发现参数集达到最低的定位错误。同样我们进行其他实验,找到最佳的参数设置。相应的稀疏也是固定的,因此我们得到了三套参数,,。在表2我们测试multi-initialization和多参数的策略,而回归4迭代和10运行初始化时使用不同的参数设置。在最后,所有点本地化平均得到融合结果。

4.3.2。与以前的方法相比

由于存在少量的面部图像具有较大的形状变化和严重遮挡,它挑战了随机multi-initialization策略未能生成一个适当的形状。因此我们比较方法和三种经典方法重建数据集。这些数据集还包括大部分的图像来自LFPW(68分),LFPW(29分)和COFW(29分)。我们只删除前5%,10%,15%,20%,和25%的测试面部图像在每个数据集通过降序排序一致性错误(见图2)。

在图2,所有曲线COFW节目比其他两个更分散分布的数据集。因为这与大型数据集包含更多的面部图像形状变化和遮挡,这或多或少会影响检测精度。与此同时,面部特征点周围的不规则纹理特征具有挑战性的学习培训期间的结构模型。显然,在图2的曲线,我们的方法优于他人。此外LFPW(68分)和LFPW(29分)共享相同的面部图像但是不同的脸型,所以我们可能会发现一些有用的信息,通过这些数据集方法的性能。

一般来说,面部特征点越多,他们就越困难。中通过比较五个面部组件,鼻子和眼睛中给出的平均错误表3和4不改变显然在三个数据集,因为附近的结构信息的眼睛很容易识别和鼻子周围的结构信息不太可能被阻挡。此外,面部特征点位于鼻子和眼睛的区域密度比的轮廓,也有利于递减搜索过程。

图3显示了四种方法的校准错误测试LFPW(68分),LFPW(29分)和COFW(29分)数据集。在图3我们可能会发现,平均误差曲线显示快速下行趋势当最困难的5%的测试图像删除。这表明,统计平均图像可以被一些偏见挑战。然后随着切除比例的增加,所有的曲线变得平滑。它显示在图3,我们的方法比其他方法更稳定,这意味着我们的培训模型具有鲁棒性在处理遮挡和大型形状变化。

具体地说,我们把五个面部组件的检测曲线在图4。很明显在图4ESR和RCPR有竞争力本地化面部每个组件的性能。和我们的方法显示更好的鲁棒性在本地化属于眉毛和轮廓的特征点,因为这两个面部组件很可能会被我们的头发或对象和更分开分布模式。实验结果表明,我们的方法可以估计面部特征点精度高和能够处理面临的任务排列在复杂遮挡和大型形状变化。

5。结论

一个健壮的稀疏重建方法,面部特征点的检测提出了本文。在该方法中,我们构建回归训练模型通过学习一组耦合的形状增加本地外观词典和字典是学会编码各个面部姿态和丰富当地的纹理。然后我们应用稀疏模型推断出最后的脸型位置连续输入图像的重建变形增量。此外,为了找到最佳匹配参数,我们执行广泛的验证测试通过使用替代的方法验证和当地的枚举。我们在比较结果表明,基于稀疏编码的重建模型有很强的稳定性。在后来的实验中,我们比较该方法与三种经典方法在三个公开数据集在拆卸前0%,5%,10%,15%,20%,和25%的测试面部图像的降序排列错误。实验结果也支持我们的方法在检测精度和鲁棒性优于别人。

相互竞争的利益

作者宣称没有利益冲突。

确认

这项工作是国家重点支持的中国研发计划(没有。2016 yfb1001401)和中国国家自然科学基金(没有。61572110)。