脸对齐算法基于一种改进的级联卷积神经网络

文摘

针对问题的大量参数和高时间复杂度由当前深卷积神经网络模型,一种改进的脸对齐算法,提出了一种级联卷积神经网络(CCNN)从网络结构、随机扰动因素(震动),和数据规模。算法步骤如下:3组轻量级cnn的设计;第一组需要面部图像的脸帧作为输入,火车3 cnn并行,面部图像加权输出5面部关键点(锚点)。然后,锚点和两个不同的窗口震动机制用于作物10部分人脸的图像。第二组的网络训练10 cnn并行和每2网络的加权平均和托管的一个关键点。基于网络的第二组,第三组设计一个更小的震动机制和窗口,实现更多的微调。当训练网络,采用并行群体内部和之间的串行组。实验表明,LFPW面部数据集,本文改进的CCNN优于其他算法相同类型的定位速度,算法参数数量,测试误差。

1。介绍

脸对齐的任务(1- - - - - -3)也被称为面部具有里程碑意义的本地化。对于一个给定的面部图像,该算法定位的要点脸,包括左眼,右眼,鼻子的顶端,左和右嘴角。困难在于快速、准确地预测5要点的坐标值给定的面部图像。面部地标定位(4,5)是一个相对核心算法业务,起着至关重要的作用在许多科学研究和应用主题。它一直是一个研究问题领域的图像处理,模式识别,计算机视觉。

当前面部地标定位方法主要分为3类:麦(6](活动外观模型)基于传统方法和ASM [7](活动形状模型)基于模型和基于深度学习的方法。麦法和基于模型ASM提取给定的面部图像的语义特征通过迭代求解一个优化问题(8)在各种约束。除了计算复杂度高,这也很容易陷入局部最小值;随着深度学习方法的兴起,面对对齐任务取得了非常准确的结果的准确性。然而,当前高精度检测算法主要是利用深层网络(如VGG [9]和Resnet-34 [10]),创造了大量的参数,导致时间和空间复杂度急剧增加,和链式法则可以很容易地导致梯度和梯度爆炸消失在深网络(11),这很容易导致网络从失败中学习有用的规则。出于这个原因,本文改进了级联卷积神经网络(12,13从网络结构的角度,提高随机扰动因素(震动)和数据规模。确保精度的条件下,轻14)卷积神经网络是为了减少网络的参数需要学习,加快速度定位要点脸。

2。相关的理论

卷积神经网络(cnn) [15)提出的一种新型的人工神经网络结合传统人工神经网络和深度学习。因为完全连接神经网络有大量的参数在处理图像数据,cnn优化传统的完全连接神经网络结构通过引入权重分享(16)和本地感知方法,大大减少了很多可学的完全连接神经网络的参数。自CNN池层特征图输出的旋转不变性、平移不变性,CNN有自然的鲁棒性17处理图像数据。在公共CNN模型架构,大多数CNN使用卷积层交替和池层提取面部图像的语义信息从低到高。后的频道数量和大小特征图达到一定尺寸、特征图排列顺序和转换成一维特征向量,这是与量纲变换完全连接层。卷积层的操作过程可以表示如下:

在公式(1),X^{(l, k)}代表了kth地图输出的特性lth隐藏层,问代表渠道的数量lth层特征地图,W^{(l, k, p)}代表卷积内核映射时使用pth群特征图(l−1)th层kth特征图lth层。本文中的算法使用max-pooling。池操作后,地图的大小特征是减少到一倍的原始的步长。Max-pooling可以表示如下:

在公式(2),X^{(l+ 1k)}(m, n)代表的价值kth群特征地图坐标输出(l+1)th层(m, n)。

当优化CNN模型,反向传播方法用于更新所有神经元之间的连接权值最小化损失函数。自从脸对齐任务是一个回归的任务(18),均方误差(MSE)用于定义其损失函数,可以表示如下:

在公式(3),N是输入层的节点数的神经网络,O是人为的标记值,P神经网络的预测价值。

3所示。改善CCNN

提高算法的效率和精度检测本文CCNN网络改善以下4个方面:

改进1:设计浅网络:深层网络创建大量的参数,导致急剧增加的时间和空间复杂性。此外,链式法则可以很容易地导致梯度和梯度爆炸深陷网络消失,而且容易导致网络从失败中学习有用的规则。CCNN算法共有23 CNN,和每个CNN包含最多8层和至少6层。不必要的卷积和池层是移除,算法参数的数量大大减少,确保算法的运行速度。

改进2:握手机制提出了解决这个问题,网络往往学到的规则的几何中心窗口,这提高了模型的泛化能力(鲁棒性)。定位精度和速度都增加了设计窗口的大小。

改进3:采用多电平级联递归cnn:通过实验,验证了选择CCNN的强度级联结构,可保证较高的定位精度在可接受的时间范围内。

改进4:设计一个小的输入图像大小:一个较小的输入图像的大小可以加快训练网络,和渠道的数量卷积的内核可以增加,以弥补造成的信息损失较小的输入图像。

3.1。CCNN框架设计

改进的级联卷积神经网络的框架本文分为3个阶段,实现了过程从全球粗定位到当地的精确定位。

的整体设计理念CCNN算法采用递归的思想,和递归终止条件是“网络阶段的数量平衡定位精度和定位时间复杂性。“在此基础上,一个级联卷积神经网络与3阶段设计;除了保证定位准确率高,这也是必要的,以确保在一个可接受的时间内得到定位结果。如表所示1CCNN算法的设计,每个阶段递归生成的要点脸。

3.1.1。第一阶段

如图1,原始图像标记初始帧,和图1(一)裁剪成3区域根据脸LFPW数据集的分布(分别重点区域包含在最初的脸,左、右眼,和鼻子尖重点区域,和鼻子尖,左,和右嘴巴角落重点区域);这三个地区被用作输入3 cnn在第一阶段,和5键点的坐标值是加权平均获得图输出1(b)。

粗糙的全球定位的实现要点。加权平均方法如下所示:

在公式(4属于组),P{左眼,右眼,鼻子尖,嘴巴角落,对嘴角落},N是重复职位的数量。

3.1.2。第二阶段

5要点输出在第一阶段使用锚点和扩展到顶部,下,左,右的锚点来获取当前10窗口。扩展方法是基于以下公式:

在公式(5),窗户_我代表第一组的5个窗口,窗口_j代表第二组的5个窗户,和bhyperparameters, a1和b1的值0.16;0.18 a2和b2的价值,h和最初面临的高度和宽度是框架。然后,根据窗口的大小和动摇(摇本文遵循正态分布,即摇∼N (0, 1e−4),如箭头①),10部分人脸图像是减少了一个随机扰动因素获得图1(c),震动可以被视为一种数据增加操作。其实质是一种翻译策略。它可以随机改变窗口上,下,左,右摇单位。这十个部分面部图像作为输入的10个cnn在第二阶段,并每2 cnn使用公式(4)共同重量和平均获取图的关键1(d),从而实现局部关键点定位。

3.1.3。第三阶段

在第二阶段5要点输出锚点和设计较小的窗户和动摇(a1和b1的价值0.08;a2和b2值为0.09时,握手是一样的第二阶段,随着箭头②)减少了小十部分的面部图像关键点,我们获得图1(e)。这十个部分图像作为输入的10个cnn在第三阶段获得图1(f),每2 cnn联合加权平均公式(4)来定位一个关键点获得的部分图像的精确定位的脸,这是本文算法的最终输出。

3.2。网络结构设计

由于本文算法是基于递归的想法,现在我们在第二个阶段(要求等级2),LE21 CNN和LE22 CNN,找到关键的左眼(LE)为例,描述了网络结构的设计CCNN (F是完整的脸,l剩下的,R是正确的,E是眼睛,N是鼻子,米角落的嘴,LE21 CNN代表第一个CNN,定位在第二阶段,左眼如下相同)。

3.2.1之上。二级网络结构

图2显示了二级网络结构。这个阶段包含10个轻量级cnn,即LE21, LE22, RE21, RE22, N21 N22, LM21。

LM22、RM21 RM22:每2 cnn联合加权平均公式(4)来定位一个关键点的定位结果,结合其它8 cnn,最后,2级的输出。

3.2.2。Level2-LE21 CNN网络结构

提高定位速度和效率的算法在本文中,我们设计一个新的级联卷积神经网络在这一节中,这加速了网络的训练和测试通过减少每个CNN的层数,降低输入图像的大小。与文献[13),减少了网络层的数量从12到6层,和第二阶段的输入大小减少来自32个323 - 15153所示。

图3显示了level2-LE21 CNN的网络结构。我们输入15153左眼当地地图,2套后卷积完全连接池层和2层,我们输出的左眼预测坐标价值LE21 CNN,结合左眼LE22 CNN协调价值输出,最后,我们的左眼协调值加权平均水平2的公式(4)。

3.2.3。提出握手机制和窗户

整个算法流程进行递归地分阶段。如图1,原红色框输入图片在第一阶段可以被视为一个更大的窗口,和每一个绿色的小帧输入图片在第二阶段的小窗口。本文算法的自定位方法使用windows的相对定位,更准确的窗户,模型更准确的定位;窗口越小,模型定位速度越快。为了避免windows的不变性,握手机制提出稍微抖窗口,即翻译(已详细解释在第二阶段的部分3.1。2);它也可以被视为一个方法的数据,从而提高模型的泛化能力。

3.2.4。模型参数

第一阶段的网络结构参数如表所示2F1的完全连接层,EN1和NM1 10 d-fc2 6 d-fc2,和6 d-fc2分别。第三阶段的网络结构是一样的第二阶段。网络参数的总数只有643920,也就是大约2.46 MB。

3.3。CCNN模型训练

模型训练方法本文采用并行的概念群体内部和之间的串行组。对于每一个轻量级的CNN,纠正线性单元(ReLU)卷积后层增加模型的非线性表达能力,max-pooling层用于downsample卷积的特征映射层,和完全连接层使用辍学技术来提高模型的鲁棒性(值是0.25)。最初的学习速率是5e−3,每100个迭代,原文的学习速率衰减到90%(其他hyperparameters选择根据实际情况,如批量大小和迭代次数)。随机梯度下降法(SGD)算法用于更新权重的神经元之间的所有连接在网络训练。另外增加模型的鲁棒性,介绍了L2正规化惩罚可学的参数W,然后,最后新设计的损失函数的表达式如下:

在公式(6),米是批量大小和W是网络中权重矩阵。这个权重矩阵W更新过程中误差反向传播。在网络训练开始之前,泽维尔(19)方法用于初始化权重矩阵W0。权重矩阵Wt + 1后更新t+ 1迭代可以表示如下:

4所示。实验和结果

在实验中使用的操作系统是Centos7 64位,戴尔服务器配备2 RTX2080TI显卡和32 GB的内存,和代码运行环境是PyTorch框架。

4.1。数据集

这些实验数据集使用面部LFPW,共有13466个面部图像。每个面部图像有3频道相关协调与RGB,注释信息(包括关键点坐标和初始面坐标系坐标)。原始数据使用10000张图片作为训练集,3466图像作为测试集。数据增加20.,21)可以用来增加训练样本的数量,有效提高卷积神经网络的性能。与实际情况一致,我们设置左15度和右12-degree中心旋转(标签也应该旋转坐标)和旋转方法给出了公式(8),θ旋转角度。

训练数据集是水平翻转(相应坐标的标签也应该翻转),和60000年的训练数据终于获得。每个训练数据需要数据标准化(减去均值和方差划分)。此外,对于每一个训练数据,需要消除脸部的长度和宽度的影响帧在每一阶段(windows)。取消方法如下所示:

在公式(9),x和y的水平和垂直坐标窗口的左上角,x′和y′的水平和垂直坐标是当前窗口,预测的重点和h窗口的宽度和高度。

4.2。实验结果

实验1。验证强度级联结构的必要性。
如图4,纵轴是测试误差,横轴是面部关键点,蓝色,红色,和绿色虚线测试错误的第一阶段,第二阶段和第三阶段。
第二阶段的测试误差超过低于第一阶段。第三阶段的测试误差也减少了与第二阶段;平均测试误差从2.21%下降到1.37%,然后1.03%。平衡综合定位速度和定位精度,本文不级联cnn的第四阶段。

实验2。在windows中验证的必要性。
图5显示的影响存在与否的窗框测试每个关键点在第一阶段的错误。纵轴是测试误差,横轴是面部关键点,蓝色虚线是windows,它使用绝对定位;红色虚线表示的相对定位windows +。
更稳定的相对定位方法,在每个关键是测试误差低于绝对定位方法。平均测试误差从3.38%下降到2.35%。因为第一阶段使用全球关键粗定位的第一阶段,测试错误的蓝色和红色虚线都是高的。

实验3。验证的必要性在握手机制。
图6显示抖动的存在与否的影响因素在每个关键点的测试误差在第一阶段。
纵轴是测试误差,横轴是面部关键点。蓝色虚线是动摇——,这意味着没有数据增加操作;震动+红色虚线,表示数据增加部分的图像。红色虚线的测试误差,数据增大后,低于蓝色虚线,这表明握手机制提高了模型的泛化能力。平均测试误差从2.35%下降到1.90%。因为第一阶段使用全球关键粗定位,蓝色和红色虚线的测试错误都高。

实验4。与其他算法比较相同类型的错误,错误,N错误,LM错误,RM误差和平均测试错误。
图7显示每一个关键的测试误差的算法。纵轴是测试误差,横轴是面部关键点。
蓝色和红色虚线是太阳的算法(22和陈鲁伊13),分别和绿色折线是本文算法;可以看出,本文算法较低比其他相同类型的算法在勒,,N, LM,和平均测试误差和测试误差平均达到1.03%。测试误差在RM的关键点是略高于陈鲁伊的(13)算法,它间接地表明,每个网络都需要单独的hyperparameters火车。
此外,在643920年这个算法只可学的参数,大约2.46 MB,这是陈鲁伊(大约58%的参数13)和ResNet18的5.6%。它只需要14.7毫秒过程GPU的面部图像。如表所示3,它大大减少了硬件资源的消耗,可以用作摄像机或嵌入式算法应用在手机等移动设备使用。
图8显示效果的面部具有里程碑意义的定位算法。第一行的面部图片输出1的第一阶段的CNN,等等;可以看出,第一个CNN的输出阶段(全球要点粗定位阶段)有缺陷,和第二个CNN阶段的定位精度(本地关键点定位阶段)有明显改善。CNN第三阶段的定位精度(精确定位本地重点)也改善,不再是通过肉眼区分。
扭曲的表情和各种姿势的影响下,该算法仍然达到精确定位。如果我们面临的任务具有非常高的实时需求,那么只有第一个2层的级联卷积神经网络是充分的。

5。结论

改进的脸对齐算法本文基于级联卷积神经网络实现过程粗定位和精确定位网络结构设计强度。windows的提高加速了网络的训练和提高定位精度的关键。拟议的震动因素可以被看作是一个数据增加操作,提高了模型的泛化能力。LFPW面临数据集上的测试表明,本文算法的平均测试误差达到1.03%,这是大约1.16%低于相同类型的算法;此外,它只需要14.7毫秒GPU处理面部图像,这是1.2的速度比陈瑞的13以毫秒为单位,一个小规模的和有效的面部具有里程碑意义的本地化网络实现。该算法显示了良好的抗干扰能力和手势和表情。未来的工作可以对数据执行进一步的研究增加并添加检测技术给出一个更准确的初始框架。

数据可用性

使用的数据来支持这个研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作得到了国家自然科学基金([2018]61741124)和贵州科技计划项目([2018]5781)。

引用

1. g .问:气j . m .姚明,h·l .胡锦涛et al。”面对具有里程碑意义的检测网络地图融合多尺度特性,”计算机应用研究,1 - 6卷,第3695 - 1001页,2019年。视图:谷歌学术搜索
2. j .徐w . j .田和y y粉丝,“模拟人脸关键点识别和定位方法的基于深度学习,”计算机模拟,37卷,不。06年,434 - 438年,2020页。视图:谷歌学术搜索
3. j .李人脸检测的研究和实现,在野外脸对齐、南京大学、南京,中国,2019。
4. x f·杨,基于深度学习研究面部具有里程碑意义的本地化、厦门大学、厦门,中国,2019。
5. c . x,研究基于深度学习的人脸检测和定位中国计量大学,杭州,中国,2018。
6. t . f .笨蛋,c·j·泰勒·d·h·库珀et al .,“活跃的形状就像他们的训练和应用”计算机视觉和图像理解,卷61,不。1,1995。视图:出版商的网站|谷歌学术搜索
7. t . f .笨蛋、g·j·爱德华兹和c·j·泰勒,“主动外观模型,”第五届欧洲计算机学报Vision-Volume II-Volume II施普林格,柏林,海德堡,1998年6月。视图:谷歌学术搜索
8. x, c . Ma y胡锦涛et al .,“新的神经网络方法求解非光滑伪凸优化问题,“计算机科学,46卷,不。11日,第234 - 228页,2019年。视图:谷歌学术搜索
9. 王答:森古普塔,y, r . et al .,“在飙升深层神经网络:VGG和残余rrchitectures,”Neuroence前沿,13卷,2018年。视图:谷歌学术搜索
10. c . Szegedy s Ioffe诉Vanhoucke et al .,“Inception-v4 inception-resNet和剩余连接对学习的影响,”2016年,https://arxiv.org/abs/1602.07261。视图:谷歌学术搜索
11. k . x张,他任美国et al .,“深残余学习图像识别,”2015年,https://arxiv.org/abs/1512.03385。视图:谷歌学术搜索
12. j·h·谢和y s张Caspn:级联空间金字塔网络面临具有里程碑意义的定位,“计算机应用研究,1 - 6卷,2020年。视图:出版商的网站|谷歌学术搜索
13. r .陈和林”,面对基于级联卷积神经网络关键位置,”四川科技大学学报(自然版)卷,30 32-37,2017页。视图:谷歌学术搜索
14. j·j·l·h·徐z Li江et al .,”——精度高和轻量级的面部里程碑式的检测算法,”激光与光电子学进展,1 - 12卷,2020年。视图:谷歌学术搜索
15. j·d·林,吴x y, y柴et al .,“卷积神经网络的结构优化:一项调查,“自动化学报,46卷,不。01,24-37,2020页。视图:谷歌学术搜索
16. x r . f . y, y l . Li商et al .,“回顾目标检测算法基于卷积神经网络,”苏州科技大学学报(自然科学版),37卷,不。02年,1 - 10 + 25,2020页。视图:谷歌学术搜索
17. 吴,研究闭塞和构成强劲的面部具有里程碑意义的本地化、浙江大学、杭州,中国,2019。
18. 黄懿慧Wu w z Cha j。j Ge et al .,“基于改进的自适应任务排序模型线性回归方法,”华中科技大学学报(自然科学版),48卷,不。1日93 - 97 + 107,2020页。视图:谷歌学术搜索
19. x Glorot和y Bengio”理解的难度训练前馈神经网络,”机器学习研究杂志》上9卷,第256 - 249页,2010年。视图:谷歌学术搜索
20. 美国公园,S.-B。李,j .公园”数据扩增方法对提高人体姿态估计的准确性与裁剪图片,”模式识别的字母,136卷,2020年。视图:谷歌学术搜索
21. 周y z、x y Cha和j .局域网,“电力系统暂态稳定预测基于数据扩充和深残余网络,”中国电力》杂志上,53卷,不。01,22-31,2020页。视图:谷歌学术搜索
22. x y太阳,小王,x唐“卷积网络级联面部点检测,”计算机视觉和模式识别,9卷,不。4、3476 - 3483年,2013页。视图:谷歌学术搜索

版权

版权©2021段荀et al。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。