文摘
我们探索如何利用脸部特征点的性能检测移动终端从3方面。首先,我们优化模型中使用SDM通过PCA和谱聚类算法。其次,我们提出一个使用线性区别的分析评价标准选择最好的本地功能描述在特征点检测中扮演着一个关键的角色。第三,我们利用多核架构的移动终端和并行化优化SDM算法进一步提高效率。实验观察表明,最终完成GPC-SDM(改善监督下降法利用谱聚类,PCA和GPU加速)抑制了内存的使用,这是有益的和高效的满足实时的要求。
1。介绍
脸部特征点检测和跟踪是计算机视觉研究领域的一个热门话题。人脸姿态的基础技术评估,脸上表情转让或同步,等等。随着智能移动终端的普及,实时跟踪的面部特征点在移动终端是高度需求。例如,最近设计的移动(1)或车辆(2社交网络需要高质量面部特征点跟踪和检测的安全认证。它也可能受益人群移动传感体系结构中的信息检索(3,4]。然而,由于浮动点移动终端计算能力有限的电池供电,一系列的脸部特征检测算法,在计算机上成功,不能直接在移动终端上实现。因此我们问题如何实现实时检测和跟踪面部特征点的移动终端有限的计算能力。
如今,许多研究面部特征点的检测已经体现在实验探索个人电脑(PC)的一面。根据文献[5),从模型设计、面部特征点的方法检测方法可以分为基于当地的面部特征,全球基于面部特征,混合法结合局部特性和全局特性。与其他方法相比发达国家近年来,四个地方特性的基础算法,如监督下降法(SDM) [6),粗到细的形状搜索(cfs) [7),整体回归树(树)8回归(ESR)[],明确的形状9),取得了出色的表现。令人惊讶的是,尽管这些方法不考虑面部特征点的几何特征,他们仍然表现良好的面部表情阻塞。尽管简单,长效磺胺算法的速度和精度仍然很有竞争力。和级联回归方法首先由SDM不断学习的学者社区(10- - - - - -13直到现在。此外,基于当地的人工神经元的感受野,Baltrusaitis et al。14在CMU提出了一个面部特征点检测的方法,不同光照下表现良好。基于全局和局部特征描述,哈桑et al。15)开发了一种形状回归方法,使一个突破W300测试集。贾斯瓦尔et al。16]提出了基于Gabor-LBP人脸特征检测使用模型选择和支持向量回归。根据实验观察,这种方法具有优越的作用在捕捉脸部特征点局部遮挡和背景杂波。特别,马丁内斯et al。17)打破了传统的常规顺序回归法在这个问题上,提出multivisual线索聚合回归方法。与深度学习在计算机视觉任务的持续成功,Jourabloo和刘13]采用CNN作为形状和真实感三维人脸模型的系数估计量大造成变异脸对齐和它可以估计3 d形状如图所示的实验。
最近,移动设备吸引了极大的关注。崔et al。18)开发了一种人脸特征检测系统实时培训手机。-特雷萨登说道et al。19]介绍了定点方法[20.)和Haar-Like功能活动形状模型(21)(ASM)算法进行实时跟踪的面部特征点。基于层次模型,Jian-kang et al。22)提出了一种检测方法,实现手机更好的结果。江(23)开发了一个基于Android平台的面部特征检测系统。面部点检测在Android平台上,惠普(24)发明了一种3 d人脸姿态估计系统。
尽管大量研究人脸特征检测算法的移动终端,它仍然处于起步阶段,大部分都是基于移动操作系统。在本文中,我们改进的长效磺胺算法(6有两个方面:计算和模型。首先,我们减少了维度的特性需要本地化的面部特征点用谱聚类。第二,我们减少数量的线性模型,利用主成分分析法(PCA)长效磺胺。最后,当地特征提取和SDM模型计算在移动GPU组合和优化,进一步提高长效磺胺算法的性能。由于SDM方法是广泛学习最近发布的脸部特征点检测方法,我们的修改应该也有意义的增加其他方法的性能。
2。解决管道
图1介绍了与手机摄像头采集视频数据的图表。脸部特征点检测是应用于帧从视频流中提取。人脸检测是使用执行中提琴的脸探测器。为了克服光照问题,预处理步骤已经从事这项工作(细节可以在部分3)。当地的图像特征提取算法进行初始特征点分布,使用枸杞多糖、猪(25],筛选[26),等等。特征提取算法实现后GPU的并行设计,即根据像素值复制到共享内存的面对每个计算单元所需的图像。同时,长效磺胺算法模型也是根据计算单元嵌入到共享内存。每个计算单元的计算结果的回归组件人脸形状。
获得回归组件后,我们合并回归组件和更新基于集成回归组件的形状模型。重复这个过程,直到形状模型满足误差要求的培训过程。
3所示。预处理
考虑到真正的视频数据采集,相机可能在昏暗的条件下,噪声导致大型图像梯度或不规则的滤波器响应,这严重影响了检测算法的鲁棒性。我们从两个方面:规范化的脸部图像降噪和亮度的伸展,如图2。
首先,我们进行中值滤波来减少噪音可能造成的低光照条件。然后进行直方图均衡化,以统一的光效应,清除表面暗淡的脸图像的细节,并准备后续步骤。
4所示。优化长效磺胺
4.1。介绍了长效磺胺
长效磺胺算法的核心思想是最小化目标函数(1),旨在找到正确的修改当前位置到地面真理。表达式如下: 在哪里代表的脸部特征点的位置标记;代表脸图像;是当地的描述在特定位置提取;是初始形状。根据牛顿法,最小化(1)的收益率 在哪里海赛矩阵的特征提取函数用 ; 的雅可比矩阵 。虽然功能构成自病了特征提取功能在实践中通常是未知的,可以新配方吗
由于面部特征点标记在每一个实例, ,初始和最优特征点之间的区别也知道;因此我们有以下线性系统: 让代表了训练图像;是用来解决和在训练阶段。后 回归模型 , 获得;我们更新每个每个训练样本的初始形状:
培训完成后获得的回归模型: 。
研究的面部特征点跟踪、长效磺胺算法仍然是适用的。区别面部特征点检测和人脸特征点跟踪初始特征点分布。培训步骤的面部特征点跟踪,每个人最初的面部点位置是随机取样一次或几次的标签吗在95%或20像素重新调节或翻译。然后,跟踪模型得到与上述相同的过程。这是合理的,因为脸型由于视频帧变化缓慢。
4.2。模型的压缩
通过上面的分析,我们可以发现SDM算法使用多个回归实现脸部特征点对齐,及其计算复杂度主要集中在回归模型的计算:
假设是特征点的位置次回归,考虑到我们有66个特征点对齐,我们需要 线性模型在每一个回归模型。然而,仔细考虑,我们可以发现,如果两个特征点 在形状上不是强相关,当地特性提取不能帮助定位多少 。因此,我们分开来 ,使得特征点在同一subshape主要相关,和特征点在不同subshapes贴切地。为了准确估计的数量分类,我们引入光谱聚类进行分析。首先,不同特征点之间的相关系数被定义为
让训练样本的数量,特征点的尺寸,的协方差特征点的尺寸 。
我们直接使用相关系数矩阵定义的拉普拉斯算子矩阵:
权重矩阵 , 。根据光谱集群、最小的特征值的数量- 1是目录的数量表示 。因此我们可以得到subshapes通过执行——最后第二特征向量 特征向量。假设可以分为人脸特征点类、长效磺胺的面部特征点定位算法可以写成
方程(9)使用联盟subshapes的回归模型来确定整个脸的形状。该方法降低了每个线性模型的长度原和放松长效磺胺的计算复杂度。然而,框架的线性模型的长效磺胺算法并没有减少。因此,我们使用主成分分析来进一步简化SDM级联线性模型。流程如下:
假设我们有以下线性模型:
我们执行使用PCA降维这 。 的主体是和 。我们有
如果我们表示 ,这个收益率
从矩阵分解 ,我们有
对角矩阵的特征值对应 。因为 ,我们可以知道 。(11)可以写成
自是正交的,乘双方(14),我们得到
它可以写成
从上面的分析中,我们可以知道每个线性模型的宽度可以减少的本金 。
4.3。GPU加速
SDM算法的设计原则,我们知道,从面部特征点的局部特征提取的鲁棒性有非常重要的影响脸对齐的效果。在实践中,我们发现,特征提取和模型计算消耗一半的时间成本SDM算法,分别。随着计算机视觉的发展,学者们提出了无穷无尽的局部特征描述符。其中,使用最广泛的功能是猪(梯度)的柱状图25),筛选(尺度不变特征转换)26),枸杞多糖(局部二进制模式)27]。然而,这些特性是太耗费时间或难以并行。例如,猪的特性是很难被平行缺乏特征点。原因可能在于重叠的细胞。统计直方图的梯度方向很容易产生冲突在内存中访问的计算单位。在使用平行筛选功能,由于需要获得图像金字塔,它不会节省计算开销但是会降低算法的性能时,特征点的规模很小。因此,GPU加速的主要工作总结如下:挑选合适的图像特征提取算法,易于并行化和健壮的小规模数据。通过移动电话的好处GPU,并行化特征提取面对对齐问题,长效磺胺的计算算法
对于当地的描述特征的判断,我们启发式来自线性鉴别分析(LDA)。给出一个算法,表示 ,我们预期的局部特性提取使用应该在同一特征点小协方差在训练集吗 。特征提取在不同特征点应该有足够的差异。应用LDA的算法思想;在同一个班,方差的特性应该尽可能小。相反,类之间的方差应该尽可能大。我们表示当地的特征提取样品的特征点使用算法 。的协方差的本地特性可以表示为
在哪里是所有样本的均值特性提取使用算法 , 。
因此,不同的特征点使用的协方差可以计算出
在哪里 。我们相信,如果特征提取算法协方差是足够好,应该用相同的特征点,但小的在不同的特征点。因此,我们要评估使用类似的方法用于LDA。尽管特征向量,我们只关心马克斯的一部分特征值:
最后,我们选择算法与最大最大的一部分特征值:
我们分析了最近流行的本地计算机视觉特征提取算法,包括筛选、冲浪(28),猪,短暂的29日],ORB [30.,快31日,狂32],MRLBP [27]。我们发现怪物有更好的性能在脸对齐的问题。节将讨论实验细节5。
长效磺胺脸对齐算法没有足够的数据应用GPU加速。如果我们这样做,我们会让两个GPU-shared频繁访问内存和CPU内存。这不仅会影响算法的性能,而且可以减少内存的生活。因此,促进手机的GPU的体系结构,我们设计一个平行于SDM和特征提取的模式。如图3,我们的方法并行特征提取和模型解决长效磺胺。首先,我们加载子块的像素值在每个特征点在内存中根据每个特征点的位置在最初的形状。请注意,如果子图块的像素值需要访问次,我们将存储共享内存中的像素值的副本。同时,长效磺胺算法应用到模型分数和图像特征在每个补丁,这是存储在共享内存。一旦完成特征提取特征点的计算,在特征点图像的组件特性直接作为贡献整体形状回归。
5。实验结果与讨论
在我们的实验设置中,我们首先评估节中描述局部特征的性能4与 。在表1,我们表示(9月)可分分数据(20.),(p / s)作为特征点的数量可以由这些算法处理。评估性能在移动终端中,我们使用高通snapdragon 800系列平台。我们使用的数据集是LFW66的组合(33和海伦34]。
我们可以看到在桌子上1,传统的本地功能算法鲁棒性或运行速度仍然具有一定的优势。最稳定的特征仍然是猪的特征,但最快的算法是枸杞多糖功能。考虑的稳定性和运行速度特性,快速视网膜特征点(反常)提出了近年来更有实用价值。
因此,我们比较原始SDM算法的性能与优化方面的效率和鲁棒性。为了证明每个优化步骤的有效性,整个优化过程分为C-SDM:基于特征点相关聚类优化;PC-SDM:减少维优化基于主成分分析和特征点聚类;GPC-SDM:脸对齐算法,最后提出了增加动态GPU的并行优化。首先,我们比较每一步的优化算法与原长效磺胺。为了量化问题,我们首先定义脸回归算法的准确性
在哪里是在测试集和形象代表了估计的形状。分母是左派和右派之间的距离,用于规范化估计误差。我们定义的成功得分一定精度如下:
在哪里指标指出是否测试样本的估计误差小于和是测试样品的数量。不同的优化的成功率增加如图所示4。
结合数据4和5,我们可以看到,每个阶段的优化对前一阶段有显著提高。与最初的长效磺胺算法相比,C-SDM成功率算法有一个轻微的下降。PC-SDM算法,结合主成分分析和C-SDM,可以进一步提高性能而不影响成功率。虽然基于GPU的GPC-SDM优化应该有相同的成功率与PC-SDM曲线算法,由于过度GPU浮点截断误差,在高精度条件下成功率有所下降。所有的算法,精度条件的放松会导致相同的成功率长效磺胺算法。总之,通过对比实验,我们可以看到,本文提出的优化方案可以实现显著提高性能。
最后,我们比较我们最后的两个修改与先进的面部特征点的检测方法与速度优势。实验交叉数据集用来防止过度拟合现象;如果模型训练数据集,说海伦数据集,它必须与其他数据集评估,说伦敦时装周。因此,精度可能稍微不同的出版物的原创作品。此外,fps以来大大减少实验环境移动到移动终端。为了简化实验,我们选择 和比较fps和成功率与最先进的算法:整体回归树(美国东部时间)9),高斯过程回归树(F-cGPRT) [10),本地二进制特征回归(F-LBF) [11),和L1范数点球SDM (SDM (L1)) (12]。
如表所示2、PC-SDM的性能和GPC-SDM提高人脸特征点检测的速度和保持最健壮的成功率SDM算法。其他先进的算法使用回归树或森林和简单的图像特征来提高速度。然而,这些方法不突破长效磺胺提出的计算框架。现在回归树算法很容易overfit训练集,这可以很容易地观察到表中2宣布,虽然他们的方法更精确地说,成功的利率下调和交叉数据集评估。一个成功的修改的长效磺胺SDM (L1) [12),有稀疏的SDM模型和加快算法容易和显著。然而,它也牺牲成功率比较原始长效磺胺与支持向量回归算法。因此,尽管我们的建议并未达到最快的性能即使GPU加速,它有更多的实用价值考虑鲁棒性和实时要求。
6。结论
在这篇文章中,我们移植长效磺胺算法在移动设备上使用以下工作:首先,根据特征点之间的相关分析统计的脸型,我们引入光谱集群和PCA减少模型长效磺胺的大小。第二,当地特性评价方法分类,提出了基于线性歧视,将功能评价和脸对齐算法来促进实验工作。第三,提出了一种基于gpu的SDM模型,它结合了特征提取和模型解决。最后,长效磺胺算法充分利用的潜力,和长效磺胺算法优化和移植到移动终端。
面对对齐算法具有广阔的应用前景,但是这个问题的研究仍处于初级阶段。我们仍然需要提高面对对齐算法的成功率,特别是存在遮挡、光线变化,夜灯,和脸3 d构成的变化。脸对齐和面部特征点跟踪的算法成功率仍然是不够的。学习如何克服这些问题是很重要的在我们的下一步研究工作。
的利益冲突
作者宣称没有利益冲突。