DTFA-Net:动态和纹理特征融合Antispoofing关注网络的脸

文摘

对于人脸识别系统,活性检测可以有效地避免非法欺诈和提高人脸识别系统的安全性。常见的脸攻击包括打印照片和视频重播攻击。本文研究了差异照片,视频,和真正的面孔在静态结构和运动信息,提出了一种生活检测结构基于特征融合和注意力机制,动态和纹理融合网络(DTFA-Net)的关注。我们提出了一个动态的信息融合结构的河道间关注块融合光流的大小和方向提取面部运动特征。此外,对于猪算法复杂光照下的人脸检测失败,我们提出了一个改进的射线图像预处理算法,有效地提高了人脸检测的能力。我们进行了实验CASIA-MFSD和再现攻击数据库。根据实验,DTFA-Net提出了实现ht CASIA曾经6.9%和2.2%在与其他方法的重放攻击。

1。介绍

在识别与人脸识别技术的应用场景,如访问安全检查和付款,攻击和欺诈的方法对人脸识别系统也出现。脸显然是一个更容易的方法盗取身份信息比虹膜、指纹等生物特征。攻击者可以很容易地偷图片或视频的合法用户在社交网站上,然后启动打印或重放攻击的人脸识别系统。一些人脸验证系统使用技术,如跟踪定位要点在脸上,要求用户完成操作如眨眼,摇头,大声朗读文本和使用运动检测来确定当前图像是一个真正的脸。这种方法不适合无声检测场景。此外,一些研究人员使用红外摄像机、深度相机,和其他传感器收集不同的脸图像实现生活模式检测(1- - - - - -3]。在许多情况下这些方法展示优秀的性能但需要添加信息采集设备除了相机人脸识别设备,需要投入额外的硬件成本,不能满足一些移动设备的需求。在这篇文章中,我们将研究单眼静态和沉默的生活通过分析检测和实现生活检测任务的区别真正的脸和假脸图像纹理,面部结构、动作的变化,等等。

真正面对图像通常是直接由摄像机拍摄的,而攻击面对图片收集了许多倍。如图1假脸图像可能显示图像的纹理载体本身,和光线地区大型区别真正的脸图像也很容易出现假脸图像。根据这一点,研究人员提出了许多特征描述符描述的生活质感的脸,然后实施分类培训模型,如支持向量机和LDA分类器。为了描述高语义特征的脸住身体,深层神经网络应用在特征提取过程中进一步加强生活的性能检测。脸的特性包括在当地通常可以作为生活的一个重要基础检测和扮演不同的角色,如图2。在此基础上,一些研究人员(4,5)分解面临到不同地区通过神经网络来提取特征,然后拼接实现功能。

最假的脸难以模拟真实面孔的生命体征,如头部运动,嘴唇蠕动,闪烁。与此同时,由于背景噪音,皮肤纹理,和其他因素,真正的脸在某些频段的动态特性明显高于欺诈性的脸,它提供了区分真正的脸从欺诈的基础。光流场的变化是这类算法的一个重要基础。然而,运动所产生的动态信息和弯曲的照片会影响生命信号的提取。远程photoplethysmography (rPPG)是另一种有效的非接触生活信号提取方法,它提供了一种依据脸生活检测通过观察图像计算血流量和流速的变化(6,7),但rPPG方法算法应用程序环境有严格的要求。

这项工作提出了一个网络融合动态和纹理信息代表的脸和检测到的攻击。光流法计算面临的两个相邻帧图像的运动变化。光学流产生的弯曲和运动的照片不同于生成的光流运动的真实面对的方向位移。我们使用一个简单的卷积神经网络具有相同的结构来描述位移的大小和方向。然后,融合功能模块是专为上述两种表示形式的组合,在此基础上,可以进一步提取面部运动特性。此外,RGB图像用于提取脸部区域的纹理信息。通过给不同的注意的部分的脸,我们提高了网络的能力代表生活的面孔。

人脸检测算法广泛应用于活体检测任务,可用于定位的脸,从而消除背景干扰的活体检测的信息。本文对人脸检测场景复杂的照明下,我们提出一种改进的图像预处理算法结合局部对比度面对区域,这有效地提高了人脸检测算法的性能。

2。相关的工作

2.1。结构的基础

生活验证完成通过使用之间的区别真正的面对表面纹理和重放图像,三维结构,图像质量,等等。Boulkenafet et al。8]分析了色度和亮度区别真实和虚假的脸的图片,它是基于局部二进制模式,颜色和每个订单的特征直方图图像提取频带是面部纹理表示。最后,实现了支持向量机的分类,在重放攻击和测试数据集获得了一半的错误率;它是2.9%。Galbally et al。9]证明了图像质量损失值由高斯滤波能有效区分事实与欺诈的脸图像,设计了一个包含14个指标的质量评价向量,提出了一种实时检测方法,该方法结合LDA(线性判别分析),并获得15.2%的错误率一半重放攻击数据集。然而,这种方法基于静态特征往往需要特定的设计描述特定类型的攻击,和不同光照条件下鲁棒性差和不同的欺诈运营商(10]。

2.2。基于动态

一些研究人员提出了一个面对生活基于动态特性的检测算法通过分析面对运动模式和显示良好的性能在相关数据集(11]。金等。12)设计了一个当地的速度模式估计的光速和杰出的欺诈真正面对根据光之间的扩散速度的差异在真正的脸和欺诈载体表面。一半错误率是获得12.50%的重放攻击数据集。Bharadwaj et al。13]闪烁信号放大图像中0.2 - -0.5赫兹的欧拉运动放大算法,结合局部二进制模式与定向流直方图(LBP-HOOF)提取动态特性分类基础,获得错误率1.25%的重放攻击数据集。同时,他们证明了图像放大算法的积极影响算法的性能。Freitas et al。14从面部表情检测方法,提取正交平面上的特征直方图time-spatial域利用LBP-TOP运营商,使用支持向量机进行分类,得到7.6%的错误率一半重放攻击数据集。晓光et al。15]基于相邻帧之间的行动信息建立了CNN-LSTM网络模型,利用卷积神经网络提取相邻帧的脸图像的纹理特征,然后输入它的长期和短期内存结构学习面对视频的时域行动信息。

此外,一些研究人员结合不同的检测设备或系统模块融合不同层次的信息,这有效地提高生活检测的准确性(1,16]。小张和小王17)使用英特尔RealSense SR300相机构建多通道图像数据库包括RGB图像,图像深度(深度)和红外(IR)形象。面对区域准确定位使用面临3 d重建网络PRNet [18]和掩码操作,然后根据ResNet 18分类(19网络多通道数据的提取和融合特征混合RGB,深度,和红外光谱。

3所示。该方法

3.1。人脸检测在复杂的照明

为了消除背景干扰的生活信息提取的过程中,有必要对部分区域的图像。传统的检测技术可以分为三类:基于特征的人脸检测、人脸检测基于模板和基于统计的人脸检测。本文运用脸前检测Dlib提供的API,它使用梯度方向直方图特性来实现人脸检测。人脸检测算法基于梯度方向直方图可以保持良好的不变性的图像纹理和光学变形,忽略了轻微的纹理和表达的变化。

面向梯度直方图(猪)是一种方法来描述图像的局部纹理特征。该算法将图像划分为小空间,每个空间计算像素点的梯度。所示的像素点梯度计算以下方程: 在哪里 和 水平梯度和垂直梯度的吗 的图像,分别 灰度值。在现实中,当地的阴影或曝光过度,会影响图像梯度信息的提取,因为目标将会出现在不同的光环境,如图3。为了提高猪的健壮性特征描述符环境变化和减少图像的噪声,如当地的影子,一个伽马校正算法对图像进行预处理,消除部分光线的干扰。

传统的图像灰度校正方法通过选择合适的图像的亮度变化γ操作符,如下所示: 在哪里 图像的像素值在位置(x, y), 修正后的像素值,γ是常数。传统的方法执行图像处理在全球层面不考虑本地和邻域像素之间的明度差异。因此,Schettini et al。20.)提出了一个公式的值γ接线员: 面具是一个图像掩模和高斯模糊可以用于实践。更加平衡的图像的亮区和暗区,平均近128像素的图像,所以计算α接近于1,形象很难改变,这显然不符合实际需要。考虑到面对当地的特点,介绍了当地的归一化法提出了(21)在附近计算像素的比例关系和调整操作α:

其中,本地的具体计算过程规范化的特点N如下:(1)计算最大像素值 在附近 以像素为中心(x, y), (2)计算的平均价值 所有的像素以像素为中心(x, y), (3)计算的最大价值 所有的像素以像素为中心(x, y), (4)计算像素的比例(x, y)附近的像素,

我们用算法(20.)和本文改进算法预处理的肖像208张照片YaleB subdatabase猪很难被探测到的复杂的照明条件下,然后分别检测196年和201年的脸。结果如图4。

3.2。DTFA-Net架构

节3.2,我们主要介绍动态和纹理特征融合网络DTFA-Net关注。如图5、光学流图和纹理图像,分别获得2562、2564嵌入提取从子网动态特征和纹理特征,然后融合拼接2566功能通过完全连接层和生活检测。网络的具体细节如下所述。

3.2.1之上。动态特性融合

本文生成光学流场变化的地图相邻两帧的脸视频光流方法。光流改变面对地区提取动态特性融合子网在二维位移和大小,和两个维度的特征融合特征融合块提取脸部区域的动态信息。

(1)光流。光流的方法是建议用于描述相邻帧的运动信息对象。它反映了帧间场计算运动位移的变化x和y在时间域图像的方向。定义视频中点P位于(x, y)的形象t搬到这个地方 ,当dt接近0,两个像素值满足以下关系: 在哪里= (x,y)的坐标点P当时t,我( )的灰度值是(x, y当时)t、d= (dx,dy)点的位移P在维t,和 灰度值的地方吗 当时t+dt。

本文提出的密集的光流法Farneback [22)是用来计算帧间位移的视频。双座的图像的像素算法接近一个多项式扩张变换。,它基于的假设当地的光流和图像梯度是稳定的,和位移场推导出多项式膨胀系数。我们将位移 极端的坐标系统 和可视化光学流位移和方向的HSV模型。如图6,光流变化获得的图像将被用作输入融合网络的动态特性。

(2)聚变关注模块。动态信息提取的过程中,我们提取,分别输入中包含运动信息的光学流改变方向特性图和光学流变化强度卷积特性映射到5层。因为生活人脸的运动模式包含两个维度的方向和强度,有必要结合上面的陈述,进一步提取的移动特征的脸。因此,我们设计了一个融合模块,如图7。

为了提高模型的描述能力,我们使用SE结构(23在融合模块,为光学流强度,赋予不同的权重和方向特性来加强一些功能的决策能力。首先,全球池的特征图 在哪里 代表光学级的连接特性和角度。通过全球平均池、缝合的维数特征地图变化C×H×W来C×1×1。其次,学习每个通道之间的非线性函数关系通过完整的连接(FC)和激活函数(ReLU)。然后,使用归一化(乙状结肠)得到每个通道的重量: 在哪里σ乙状结肠函数吗δ是ReLU函数。两个完全连接层用于减少和恢复维度,分别,这有助于提高功能的复杂性。最后,我们乘F_人事处与凤凰社_一个和通过卷积层融合的特点:

(3)网络的细节。动态特征提取子网输入图像大小为227×227×3,其中包含卷积11层,2完整的连接层,6池层。表1- - - - - -3显示特定的卷积和汇聚层网络参数。

3.2.2。纹理特征表示

在特定的,我们输入篮板图像映射到中间特征图谱通过TexConv1-4尺寸384,然后多注意一些地区通过空间注意机制,然后注意模块的输入输出TexConv5和全连接层FC2进行特征提取。卷积的结构层TexConv1-5表所示1和完全连接的结构层FC2表所示4。

(1)空间的注意。实验后,我们发现,神经网络通常特别注意人类的眼睛,脸颊、嘴,和其他领域当提取生活特性。因此,我们添加了一个空间注意模块的静态纹理提取结构和给一个不同的关注不同的面部区域的特点。我们采用CBAM(图8)空间结构提出了注意24]。这个模块可以减少输入的维数特征通过最大池和平均池层地图,地图拼接两个特性,得到的关注重量1H W通过卷积层和激活功能:

最后,我们利用element-wise产品输入F_t和SA_c和空间注意的输出块将通过下一层,TextConv5和FC2:

3.2.3。特征融合

通过以上两个子网,分别得到了动态信息和纹理信息。一系列完全连接层,辍学层,和激活函数,我们完全融合这两个信息,学习的动态和静态特性之间的非线性关系,并获得的二维表示面对生活信息检测,如表所示4。

4所示。实验

4.1。数据集

我们使用CASIA-MFSD [25训练和测试模型。收集的数据集包含一个600面对视频从50个人。脸视频真实的脸,攻击,照片和视频攻击场景收集在不同的决议。其中,攻击包括弯曲和照片照片照片面具。我们忽略了不同的攻击方式,将所有的视频分为真正的脸和假脸。通过光流场的计算,人脸区域检测和裁剪,等等,得到35428组训练图像和64674套的测试图像,如图9。我们也训练和测试我们的模型再现攻击数据库。

4.2。评价

本实验使用错误接受率(远),错误拒绝率(FRR),平等的错误率(曾经),半总错误率(ht)。面对生活检测算法都是基于这些指标。远指的比值判断假面临真正的脸;FRR指的比值判断真正的面对错误,计算公式如下所示: 在哪里N_{f_r}的数量是错误的面对错误,N_{r_f}是真正的面对错误,的数量N_f是假脸的数量活性检测和N_r是真正的人脸检测的数量。这个实验的两种分类方法如下:(1)最近的邻居(NN),对应二维向量,其中每个维度值代表真正的脸或攻击的概率和选择的类别对应于最大价值的分类结果。(2)阈值选择某个阈值分类表示结果。这种方法主要用于模型验证和测试。在不同的阈值计算,FRR可以画出的接受者操作特征(ROC)曲线测量的非平衡分类问题;ROC曲线下的面积(曲线下面积,AUC)可以直观地显示了算法的分类效果。

4.3。实现细节

该方法实现Pytorch与多变的学习速率(例如,lr = 0.01时时代< 5和lr = 0.001时代≥5)。模型的批量大小是128 num_worker = 100。我们初始化网络通过使用AlextNet100的参数。网络训练与标准为50或100时代SGD特斯拉V100 GPU。我们利用交叉熵损失,输入分辨率为227×227。

4.4。实验结果

4.1.1。消融的空间注意模块

我们进行了一次消融实验注意模块的纹理特征提取子网,只有依靠纹理特征对CAISA执行现场检测数据集。我们培训了两个纹理特征提取网络有或没有空间注意块50倍,分别验证了他们在CASIA测试集。图10显示了训练过程损失(Epoch0-Epoch29)和ROC曲线测试集(Epoch50)。实验表明,引入注意力机制后,由于网络结构的增加(事实上,添加一个卷积层),在培训过程中模型的损失是低于模型没有SA在初始阶段的培训和有一个大的冲击。然而,随着网络训练的迭代的数量增加,损失往往是稳定,几乎没有区别两种情况。50周期的训练后,模型与SA实现AUC = 95.4%测试集,这是高于没有SA模型。

想象我们的空间注意机制的输入和输出结果模块,如图11。这表明SA更多关注地方面对图像,比如嘴巴和眼睛。这一点显示的一致性假设的先验知识传统的图像特征描述方法。

我们首先不使用SA训练DTFA网络在某种程度上,然后添加SA结构训练100倍,这样的空间注意模块可以更好的学习面临区域信息,加快模型收敛。图12的培训和测试结果显示DTFA-Net CASIA数据集。当训练模型的迭代的数量达到49 - 89的区间,曾经= 0.069和AUC = 0.975±0.0001,达到一种稳定状态。

表5提供了一个比较的结果,我们建议的方法和其他方法的intradatabase评估。我们的模型结果与最先进的方法。

4.5。样品

图13展示了几个故障样本和正确检测真实的面孔。通过分析,我们发现RGB图像的光照可能被错误分类的主要原因。

5。结论

本文分析了照片和视频重播攻击的脸欺骗和建立了一个关注网络结构集成动态纹理特性和设计一个动态信息融合模块,从纹理图像中提取特征基于空间注意机制。同时,提出了一种改进的射线图像优化算法对预处理的图像人脸检测任务在多个灯饰。

数据可用性

CASIA-MFSD数据用于支持本研究的发现是由CASIA许可制,所以不能免费提供。请求访问这些数据应该CASIA通过http://www.cbsr.ia.ac.cn。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作得到了中国国家重点研发项目(批准2018 yfb1600600),中国国家自然科学基金(批准51278058),111年汽车基础设施提供商的项目信息传感及其(格兰特B14043),陕西省自然科学基础研究项目(批准号。2019纽约- 163和2020 gy - 018),联合实验室网络的车辆,Education-China部移动通信公司(格兰特213024170015),和特殊的资金基础科学研究中央大学、长安大学、中国(批准号300102329101和300102329101)。

引用

1. h·施泰纳,a科尔布和n .荣格“可靠的脸欺骗利用多光谱短波红外成像成像,”生物识别技术的国际会议哈尔姆斯塔德,IEEE瑞典,2016年5月。视图:谷歌学术搜索
2. 黄懿慧唐l·m·陈,“基于三维面部几何属性的欺骗方法对面具的攻击,”《IEEE国际会议上自动的脸和手势识别IEEE,页589 - 595年,华盛顿特区,2017年9月。视图:谷歌学术搜索
3. r . Raghavendra c·布希,“小说表示攻击检测算法对人脸识别系统:应用3 d面罩攻击”《IEEE国际会议上图像处理IEEE,页323 - 327年,巴黎,法国,2014年10月。视图:谷歌学术搜索
4. j·w·杨,李和s . z z Lei“卷积神经网络学习面对欺骗,”2014年,http://arxiv.org/abs1408.5601。视图:谷歌学术搜索
5. a . Jourabloo y Atoum, y . j . Liu和x m . Liu”面对antispoofing使用补丁和地cnn,”生物识别技术学报IEEE国际联合会议IEEE,页319 - 328年,2017年8月美国科罗拉多州丹佛市。视图:谷歌学术搜索
6. j . Hernandez-Ortega j . Fierrez a·莫拉莱斯和p .多美,“时间分析pulse-based面对欺骗在可见光和近红外光谱,”《计算机视觉与模式识别会议研讨会美国犹他州盐湖城,IEEE, 2018年6月。视图:谷歌学术搜索
7. 美国问:刘、x y局域网和p . c .袁”远程photoplethysmography通信功能3 d人脸面具表示攻击检测,”欧洲计算机视觉的诉讼IEEE,页558 - 573年,慕尼黑,德国,2018年9月。视图:谷歌学术搜索
8. z Boulkenafet, j . Komulainen,哈迪德,“基于颜色纹理分析面对欺骗,”《图像处理国际会议IEEE,页2636 - 2640年,魁北克,加拿大,2015年9月。视图:谷歌学术搜索
9. j . Galbally和s . Marcel”面临欺骗基于通用图像质量评估,”模式识别国际会议的程序IEEE,页1173 - 1178年,斯德哥尔摩,瑞典,2014年8月。视图:谷歌学术搜索
10. z Boulkenafet、j . Komulainen和a .哈迪德”泛化的颜色texture-based面对欺骗,”图像和视觉计算卷,77 - 2018页。视图:出版商的网站|谷歌学术搜索
11. 美国Tirunagari: Poh, d . Windridge a . Iorliam n .苏琪和a . t . s . Ho”使用视觉动态检测的脸欺骗,“IEEE取证和安全信息,10卷,不。4、762 - 777年,2015页。视图:出版商的网站|谷歌学术搜索
12. s . w . Kim Suh和j j。汉族,“面对活性检测通过扩散速度模型,从单个图像”IEEE图像处理,24卷,不。8,2456 - 2465年,2015页。视图:出版商的网站|谷歌学术搜索
13. t . s . Bharadwaj Dhamecha, m . Vatsa et al .,“与运动放大,计算有效的脸欺骗检测”《IEEE计算机视觉与模式识别会议IEEE,波特兰,俄勒冈州,2013年6月。视图:谷歌学术搜索
14. t . Freitas j . Komulainen Anjos et al .,“面对活性检测使用动态纹理,”EURASIP杂志在图像和视频处理,卷2014,不。1,p。2, 2014。视图:谷歌学术搜索
15. t .晓光,h .张x即梅et al .,“加强运动线索的脸欺骗使用cnn-lstm架构,”2019年,http://arxiv.org/abs/1901.05635。视图:谷歌学术搜索
16. a . Alotaibi和a·马哈茂德“深面活性检测基于使用卷积神经网络非线性扩散,”信号,图像和视频处理,11卷,不。4、713 - 720年,2017页。视图:出版商的网站|谷歌学术搜索
17. 美国张和x王”,一个大规模的多模态数据集和基准面对欺骗,”会议的程序在计算机视觉和模式识别2019年11月美国IEEE, CA。视图:谷歌学术搜索
18. y . a·o·冯·w·美国球迷,s·h·a·o .小虎et al .,“联合真实感三维人脸重建和密集的排列位置地图回归网络,”欧洲计算机视觉的诉讼施普林格,页557 - 574年,柏林,德国,2018年9月。视图:谷歌学术搜索
19. z h .开明、象屿,r . Shaoqing“深残余学习图像识别,”会议的程序在计算机视觉和模式识别美国,西雅图,佤邦,2016年6月。视图:谷歌学术搜索
20. Schettini r . Gasparini f . Corchs et al .,“对比图像校正方法,”电子杂志的成像,19卷,不。2、文章ID 023005, 2010。视图:出版商的网站|谷歌学术搜索
21. l . y . Cheng焦、曹x和z,“Illumination-insensitive特性对于人脸识别,”计算机视觉,33卷,不。11日,第1493 - 1483页,2017年。视图:出版商的网站|谷歌学术搜索
22. g . Farneback“双座运动估计基于多项式扩张,”《13北欧图像分析会议哈尔姆斯塔德,瑞典,2003年6月。视图:谷歌学术搜索
23. h·杰,l . i .沈s Albanie et al .,“Squeeze-and-excitation网络”诉讼的IEEE模式分析与机器智能美国盐湖城,UT, 2019年6月。视图:谷歌学术搜索
24. 美国吸引,j .公园,l . Joon-Young et al .,“CBAM:卷积块注意模块,”欧洲计算机视觉的诉讼大会,慕尼黑,德国,2018年9月。视图:谷歌学术搜索
25. 张z . w . j。j, s . f . Liu z Lei, d .咦,李和s . z”与多样的攻击,面对antispoofing数据库”生物识别技术的国际会议页26-31 IEEE,新德里,印度,2012年6月。视图:谷歌学术搜索
26. 即Chingovska、a . Anjos和s . Marcel”在面对anti-spoofifing localbinary模式的有效性,”《生物识别技术特殊利益集团的国际会议(BIOSIG)2012年9月,香港,中国,。视图:谷歌学术搜索
27. y . a .美国Rehman, l . m . Po和m .刘”Livenet:改善功能使用卷积神经网络泛化脸活性检测,”专家系统与应用程序卷,108年,第169 - 159页,2018年。视图:出版商的网站|谷歌学术搜索

版权

版权©2020年鑫程等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。