Multifeature融合检测方法的假脸攻击在身份验证

文摘

与上升biometric-based身份验证、面部识别软件已经刺激了有趣的研究。然而,面部识别由于安全问题也一直受到批评。主要攻击方法包括照片、视频和三维模型的攻击。在本文中,我们提出一个multifeature融合方案,结合动态和静态联合分析来检测假脸攻击。自假面临的真实和纹理差异可以很容易地检测到,枸杞多糖(本地二进制模式)纹理运营商和光学流算法往往合并。基本枸杞多糖方法通过考虑最近的邻居也修改二进制计算方法而不是固定的中心像素的方法;传统的光流算法也修改通过应用multifusion特性叠加法,这样可以减少图像的噪声。在金字塔模型,执行图像处理在每一层用块计算,形成多个块图像。获得图像的特性通过两种融合算法(MOLF),然后由SVM分类器单独训练和测试。实验结果表明,该方法可以提高检测精度,同时减少计算复杂度。 In this paper, we use the CASIA, PRINT-ATTACK, and REPLAY-ATTACK database to compare the various LBP algorithms that incorporate optical flow and fusion algorithms.

1。介绍

人脸识别是一个重要的研究热点,被广泛应用于生活的所有领域,从认证的注册、转移,账户的主要金融机构在专业考试或身份验证手机和娱乐应用。这些应用程序使用一个摄像头来获取一帧图像主人的脸,通过分析图像属性,以确定用户的身份是合法的。由于个人信息攻击和威胁,罪犯能够从合法用户获得的图片或视频进行假脸攻击。这种行为是一种严重威胁个人财产安全和公共安全。

目前,有三种主要类型的攻击:合法用户的高清照片的攻击,录像的攻击,攻击和三维面部模型(1]。

1.1。照片欺骗(2]

照片欺骗是最常见的一种方便的方式来攻击一个生物识别身份认证系统。使用高清照片前面的系统相机利用适当的弯曲,移动,创造真正的效果。此外,消除眼睛的照片和使用面部照片和实际人眼旋转恶搞检测系统。

1.2。视频欺骗(3]

视频欺骗(3]使用摄像机,针孔摄像头,和其他手段拍摄视频的合法用户,造成巨大威胁的面部识别系统。视频与照片相比,可以获得头部或面部运动和眼睛闪烁的眼动信息。尽管这样做是通过二次成像,这种攻击仍然是作为现实生活的身体。

1.3。三维模型作弊(4]

通过使用用户的照片或视频,攻击者可以打印一个三维面部模型。然而,与面部三维模型纹理和表达有很大差距特征提取时的照片及视频。然而,随着先进的印刷技术的发展,三维模型可能更像是人类的脸,甚至在某种程度上,人眼无法识别任何差异;因此,这样一个面部识别系统造成巨大威胁。

2。相关的工作

今天,有许多方法来识别假脸从不同的识别功能。许多知名期刊和会议论文进行了面部识别软件的深入分析。算法分为以下三个类别。

2.1。图像属性分析

图像分析主要包括三维深度信息的属性,傅里叶谱分析、多光谱成像技术,面部光流分析,局部二进制模式。De Marsico等人提出了一个方法,基于几何不变性,检测三维对象(2]。他们比较曲折的照片和几何的脸。结果表明,几何形状的图片是一个“V”的人物。然而,由于面对表面是崎岖的,很容易区分。Boulkenafet等人提出了一个新的方法,检测假脸攻击使用彩色纹理分析(5]。通过使用亮度和色度通道的彩色纹理信息相结合,互补的低级功能描述中提取的各种颜色空间;每个图像的特征描述乐队组合产生一个特征直方图。加西亚和德奎罗斯提出了检测算法基于波纹搜索模式(6]。照片或视频攻击发生时,图像,数字媒体抽样后,具有较高的重叠的像素。高斯滤波器,一个孤立的高频率模式,用于提取描述符以更少的训练数据来获得更高的识别效果。此外,Maatta等人的研究分析方法,提出了基于多尺度和multiregional枸杞多糖的特性,在2011年的生物识别技术国际研讨会(7]。然而,高像素照片和视频用于图像属性检测仍然构成很大威胁。

2.2。运动属性分析

Kollreider等人提出了一个交互式生活检测方法;这个系统需要用户执行一组简单的操作,例如,阅读文字或口头确定图像/数据,分析嘴唇运动是否一致的特性来确定用户是一个活着的人(8]。此外,Arashloo等人提出了基于二进制统计图像多尺度动态纹理描述符,哪些特性三个正交平面(MBSIF-TOP)和有效地检测欺骗攻击(9]。接下来,通过结合多尺度,地方、相位量化表示,欺骗攻击的鲁棒性探测器可以进一步改善。金等人提出了一个实时、noninterfering算法,利用单帧图像的扩散率(10]。通过计算之间的扩散速度真和假脸,当地速度模型的定义。结果是输入的线性支持向量机分类器通过使用antispoofing和完整的流程图。

2.3。静态动态绑定分析

除了上面提到的点,Komulainen等人改善他们的前辈的方法,提出了使用运动的相关分析和面部纹理分析实现体内检测(11]。通过动态和静态相结合的分析方法,这种方法更全面,可以作为人脸检测方法。本文的实验数据收集使用相机来获取视频信息;相邻帧的特征对比和面部纹理分析被截获。人脸识别技术越来越多的应用于智能设备。史密斯等人确定一组视频序列和数字水印的响应机制与特征提取测试智能终端设备(12]。该方法取得了很好的测试结果。

总之,当前假人脸检测技术已经推出了一个广泛的研究。无论是面部图像的特征提取或人机交互,所有方法都取得了良好的效果。然而,高像素图片和视频攻击仍有许多困难。大多数方法需要人际互动来识别虚假图像在视频攻击。然而,如果你掌握了交互内容、视频攻击也可以逃避。

摘要假脸分析是基于光流和局部二进制模式。这项工作是用来获取面部运动特点和面部特征而不是融合多种方法。这种方式,就是降维方法最后训练SVM分类器进行精确的真假判断。与此同时,公众CASIA数据库将被用来识别潜在的测试志愿者。本文提出的方法不需要用户的配合,和它有一些隐藏的机制(光流)获得动态信息。与此同时,使用该算法提取的特征维数较低,这减少了算法的计算成本和复杂性。本文详细介绍了假的人脸检测方法在第二部分。与此同时,第三部分的实验结果进行了比较。第四部分总结了论文全文。

3所示。假的融合人脸检测算法基于各种各样的功能

高清图片和视频,我们的肉眼无法轻易区分真实和虚假的脸。我们还发现电脑很难通过图像属性近似地确定真的和假的脸。本文提出一种融合算法,可以解决高分辨率图像和视频的攻击。首先,从面部部分提取枸杞多糖功能。枸杞多糖(16- - - - - -18)是一种有效的纹理描述符,旋转不变性和灰度不变性等显著优势。它扮演着一个重要的角色在提取纹理特征的视频照片的脸和真正的脸。同时,它还使用光流算法(19- - - - - -21)提取面部特征的动态特性。这主要是因为,当一个人的脸在镜头面前,他会无意识地眨眼,移动嘴唇,还有其他面部动作。图1显示了一些真正的脸最好看的图片和视频的对比。每个视频长5秒,随机拦截两邻10帧的图片。

通过检查图1,肉眼可以识别真正的脸。然而,它仍然是很难区分的面孔中发现一些高清图片和视频。虽然仔细分析视频图像识别等当地运动闪烁,只是弯曲这张照片还可以创建面部运动。然而,没有当地的运动是相对于整体的运动矢量。视频中的运动和真正的面临非常相似。然而,通过分析面部纹理,真正的脸和视频的特点是非常不同的。总之,动态和静态相结合的方法用于本文理论上有效。

3.1。局部二进制模式(LBP)

局部二值模式(LBP) (22),作为运营商的纹理描述,通常是用来测量和提取图像局部纹理信息,灰度的显著优点和旋转不变性。自从LBP-based算法,它使得人脸识别研究的复兴。例如,它扩展地区任意社区和社区而不是圆广场社区使用。基本的LBP算法计算9个像素,然后比较他们的体重。计算方法比较八个像素的边缘;如果大于其他中心值设置为1;否则,该值为0。枸杞多糖的重量计算如下: 在哪里 中间点,像素 。 像素的邻居吗 ,是阈值函数:

基本的LBP算子的最大的缺点是,它只包含一个小面积计算,不健壮的光线和噪音。首先,我们从视频中提取脸部图像通过我们实验室框架。然后,我们对图像的一部分与灰色的脸和降噪的方法。最后,我们通过LBP算法提取必要的特性。提出了一种pixel-neighbour运营商关系灰色像素基于多尺度LBP特征。图2显示了一个窗口像素排列。

摘要neighbouring-pixel-based LBP算法由以下步骤处理。

图2反映了九个像素。左上角像素作为起点。每个像素值是按顺时针方向决定的,也就是说,融入一行:S9 S8 S7 S6 S5 S4 S3 S2 S1。

接下来,安排转换成二进制代码。从最高水平,S9与像素的当前值以及下一个像素。此外,相比第一季度最后一个像素的像素。如果当前像素大,那么值设置为1。否则,该值设置为0。这个公式表示如下:

最后,我们确定最终的对比和比较原始像素的二进制代码。1代表像素的平均值减去平均为0表示像素的值。

图3显示的输出特性使用枸杞多糖的特征图。

我们发现攻击面特性显然是不像真正的脸清晰的用户。这是因为真正的脸是扩散的反射。因为照片或视频反映有一个固定的角度,这一步将减少收集的图像特征。此外,功能图,提取的视频中,有一些颜色明显不同与其他特征的影响。

减少逼近误差造成的当地和固定半径的算法,本文还加入多尺度金字塔图像分辨率的表达式,它表示一系列表达式作为图像多尺度表达。每层金字塔的图像有一个独特的尺寸和分辨率。金字塔的图像在地板上有更高的分辨率。较低的层的输出作为下一层的输入特征;这就增加了算法复杂度由多个输出,有效地避免了。

3.2。光流分析

光流计算的定义两个连续帧之间的位置变化(19];在微动分析具有重要价值。镜头前的面部运动属于动,和背景光和不改变。通常,一个人眨眼,他或她的嘴唇移动,或抽搐他或她的头。照片或视频结构是二维的,所以在二次成像后,特征点的运动和真正的脸是不一致的。

假设图像上的像素点 ;的亮度时间是 ,和亮度 时间是 。点的运动矢量表示 和 代表垂直和水平运动矢量,分别。

后时间,点的亮度 。点亮度时是一样的无限接近于零。亮度可以扩展使用泰勒公式:

当使用光流计算图像特征,亮度是一样的枸杞多糖,因为它们都使用金字塔结构来计算多尺度的图像。最后,应用最小二乘法解决的基本光学流动方程中的所有像素。该算法对噪声不敏感,不受噪声和边缘效应的影响。当图像分层计算光流特征点的运动更有效的分化。一般来说,金字塔的建立并不需要太多的层,因此本文利用三层金字塔结构。上层的像素坐标 ;计算坐标点下方的金字塔 。

每一层的图像输出光流和变换矩阵。变换矩阵是最小的灰色矩阵和向量的相邻帧之间的差异。迭代计算光流是通过光流矩阵的上层 ;然后,变换矩阵送到下一层。最后,确定光学流和叠加。

图4表示随机的两幅图像提取我们的实验室。我们的光流算法需要一个窗口大小,可以用来分类一个像素;因此,它影响我们的特征提取处理。

图5使用这个算法显示了功能,显示了尺寸效应的不同的窗口形象。的第一行的图片显示两种不同的帧之间的运动方向,通过我们光流算法。当窗口大小是29日,特征向量的数量满足我们的需求和面部动作的特征更明显。第二行反映了相应的热图,不同的颜色表示不同的特性。

选择最好的大小,我们计算许多窗口尺寸在我们的实验室(图6)。实验表明,超大的窗户增加后续计算的复杂性和减少随后的准确性。因此,我们的实验选定的窗口大小29。

金字塔结构从上到下收缩,图像大小和分辨率导致减少光流信息。在这篇文章中,最上面一层是定义为开始。然后,计算累计底部,所以每一层的光流保持相对较小,但是最终的计算光流的增加。

3.3。Multifeature融合检测方法(MLOF)基于静态和动态组合

摘要multifeature融合方案建议,结合纹理运营商LBP和光流算法,同时分类支持向量机的真和假的脸。的流程图如图所示7。

步骤1。第一步是提取和背景提取。两个相邻帧被作为输入的图像记录真实的脸和假脸视频。光流是用来比较两个图像来确定是否有运动矢量的枸杞多糖使用一个计算功能。提取的图像转换成灰度级,然后提取局部图像。

步骤2。第二步是光流分析和枸杞多糖的分析。取两个图像光流计算。的步骤如下:(1)不同的图像用于减少噪声的影响。(2)建立了金字塔的图像和计算每个图像的尺寸和分辨率的金字塔。在这个实验中,我们使用高斯滤波器来处理图像,也就是说, 层图像可以通过平滑和二次抽样金字塔层图像,包含一系列的低通滤波器。获得第一的形象 层,层图像需要被高斯卷积的内核。然后,甚至所有的行和列中。由此产生的图像是1/4的原始图像,从而降低了图像的处理。通过遍历输入图像,整个金字塔出现。卷积函数如下: 高斯卷积核的长度是5。然后,每一层的图像扩展。扩张参数设置为14像素。然后,上面的图像的水平和垂直特性叠加。图8显示的大小 , , 。(3)使用光学流函数来确定这一层的特点,(一)获得当前像素矩阵的两个坐标系并获得差别矩阵two-matrice减法;(b)的四个特征图广场和梯度矩阵乘法。图像像素的区别是通过梯度矩阵;(c)比较每个不同的值在指定的阈值,阈值计算点移动向量。(d)通过计算向量的总和,我们得到两个通道像素。双通道像素合并成一个单通道的像素,并输出当前图像的特征。(4)提取枸杞多糖特性:图像分为块(在实验中像素)。(一)的像素块的顺时针方向排列,中心像素放置在最后一点或第一的位置。根据安排相邻像素,01代码。(b)十进制数和对比LBP / C的获得是基于获得的代码。(c)计算每个块的直方图,归一化的直方图。(d)每一块的直方图连接来获取当前图像的特性。比较MLOF特征提取的算法,我们相比MLOF算法图像的直方图特性的面孔和三种不同的攻击。图9的特点表明,真正的脸比假脸,照片和视频攻击显著减少面部特征。

步骤3。第三步是上述两个特点的分析和分类。高斯核函数的支持向量机方法用于这项研究。这两个特性是有区别的,发现了一个分离超平面。然而,它不能保证超平面可分为直线的所有数据。在这个实验中,我们介绍了高斯核函数,可以映射到一个高维空间。上述算法训练得到的特性,包括训练集和测试集的特性。分类结果绘制ROC曲线。

4所示。实验结果

4.1。实验准备

检测的准确性和效率实验,这个实验测试公众脸上视频数据库。所有视频数据库提供的数据都收集在一个不受控制的环境。背景区域是复杂和多变的光照条件。考虑不同的攻击方式,高清图像的目标是显示在不同的媒介,包括普通A4纸打印,打印照片纸上,高分辨率的屏幕上显示。此外,眼镜的A4纸或删除照片的脸抵制住检测方法基于眨眼模型。

随后的实验CASIA数据库相比,PRINT-ATTACK数据库,再现攻击数据库。上面的数据集的数据收集,分别显示为表1,2,3。

4.2。实验比较

为了验证算法的有效性,本文提取枸杞多糖和光学流特性的真和假的脸通过SVM分类培训。检测精度如表所示4,实验算法的准确性和其他常用算法的人脸如表所示5。

通过两个表中的数据4和5,MLOF算法显示了强大的能力来区分真正的和假的脸。LBP算法可以检测表面纹理、光流算法可以检测是否有运动部分。此外,光流矢量不同的攻击模式显然是不同的。照明的不同和环境的照片和视频二次成像也有很大的影响。因此,两者的结合提高准确率是可行的。在表4,NLBP的准确率是93.12%,路光流算法的精度提高到97.56%。表5显示了各种特征提取算法的比较结果。结果表明,正确的速度和特征尺寸在这个实验中是明显改善。表2和3实验表明,可以降低算法的复杂性,降低特征维度,同时提高准确率,无论它是一个独立的测试或一个算法。

4.3。实验结果

枸杞多糖的ROC曲线、光流,猪,和改进实验算法如图10 ()。图10 (b)照片显示了算法的识别能力攻击,视频攻击,图像与实际眼睛攻击,和总三方的攻击。

操作员承认中华民国曲线是用来评估算法的性能。通过ROC曲线和轴的位置之间的关系,操作员可以直观地检查算法的能力区分真实和虚假的脸。接近线 中华民国曲线,算法的性能越好。如图10,ROC曲线上的每个点代表相应的FRR和值在不同的阈值。整个ROC曲线的性能评价算法与特定阈值的选择。这一特性也使中华民国曲线更好地反映鲁棒性和可应用于比较各种算法的使用。它可以看到从中华民国图10这个实验的融合算法优于其他算法和具有良好的识别性能和较高的准确性和鲁棒性的照片和视频的攻击。

在图11我们描述详细,我们提出的方法的准确性利用CASIA数据集。MLOF代表了本文提出的算法以及各种特征融合算法。本文用于使用线性支持向量机分类器来区分真与假的脸。枸杞多糖的准确性和狗算法相比,我们可以看到,我们的算法相比,精度比其他两种算法。

我们也比较在多个数据库、算法的准确性和精度的结果显示在表中6。结果表明,本文算法在多个数据库测试精度高。

表7提供了一个与最先进的脸欺骗检测技术提出了在文献中。从表中我们可以看出7,我们提出融合分析方法实现竞争非常激烈的性能与其他高级算法相比在多个数据集。最重要的是,这篇文章的方法是能够反映出性能稳定在所有三个基准数据集。

大多数发表的方法的计算成本的脸欺骗检测是未知的。在这个段落中,我们验证的效率,我们建议的方法。为了详细分析处理时间,我们展示的处理时间比较该方法与其他表的方法8。从表中我们可以看出8之间的区别,我们可以得出结论,建议和其他方法的处理时间是可以忽略不计,而我们的方法明显优于之前的。目前,该方法在MATLAB中实现,可能允许进行进一步的优化。

5。结论

面部识别技术是用户友好的,直接和有许多特征的身份认证,已广泛应用在金融和银行领域以及其他领域。然而,攻击面部识别软件已经变得更加复杂。照片的主要方法攻击和视频攻击以及其他类型的攻击总是完美地执行。本文旨在改善面部识别技术的现有方法基于照片和视频的攻击。算法的复杂性和特征值的维数降低使用金字塔结构。因为输出光流算法在本文具有双通道特征合并成一个单一的渠道特点,双通道特性直接计算平方根(水平光学向量和垂直光学向量)可能会导致较低的精度。我们将继续研究更好的融合方法。与此同时,支持向量机的分类算法精度高和深度学习算法都将被用于提高精度和计算效率。虽然在所有图像样本训练和测试是黄肤色的人,我们将验证更多的实验与其他肤色的人在未来在我们的样例库。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是支持的基础研究基金为中央大学(2018 zd06)。

引用

1. 赵x、y林和j .进行“动态纹理识别与应用程序使用体积本地二进制计数模式欺骗检测2 d的面孔,“IEEE多媒体,20卷,不。3、552 - 566年,2018页。视图:出版商的网站|谷歌学术搜索
2. m . De Marsico m . Nappi d·里奇奥,J.-L。Dugelay”移动的脸欺骗检测通过3 d射影不变量,”学报》2012年第5 IAPR生物识别技术国际会议上,银行独立委员会2012年印度,页73 - 78年,2012年4月。视图:出版商的网站|谷歌学术搜索
3. e . Thabet f·哈立德,p . Suhaiza Sulaiman,和r·雅柯伯”低成本皮肤分割方案视频使用两种方法对于动态手势检测方法,”多媒体的发展卷,2017篇文章ID 7645189、9页,2017。视图:出版商的网站|谷歌学术搜索
4. y . Tang和l .陈”形状分析与面具欺骗3 d人脸识别攻击,”通信在计算机和信息科学卷。684年,41-55,2017页。视图:出版商的网站|谷歌学术搜索
5. z Boulkenafet, j . Komulainen,哈迪德,“面对欺骗检测使用彩色纹理分析,”IEEE取证和安全信息,11卷,不。8,1818 - 1830年,2016页。视图:出版商的网站|谷歌学术搜索
6. d . c .加西亚和r·l·德·奎罗斯Face-Spoofing 2 d-detection基于莫尔条纹分析,“IEEE取证和安全信息,10卷,不。4、778 - 786年,2015页。视图:出版商的网站|谷歌学术搜索
7. j . Maatta a哈迪德,m . Pietikainen”面对欺骗检测使用micro-texture从单一的图像分析,”《2011年国际生物识别技术联合会议,IJCB 20112011年10月,美国,。视图:出版商的网站|谷歌学术搜索
8. k . Kollreider h . Fronthaler麻省理工学院法拉吉和j . Bigun“实时人脸检测和运动分析与应用程序在“活性”评估,IEEE取证和安全信息,卷2,不。3、548 - 558年,2007页。视图:出版商的网站|谷歌学术搜索
9. s . r . Arashloo j .难应付的,w .圣诞节,”面对欺骗检测基于多个描述符融合使用多尺度动态统计图像的关键特性,”IEEE取证和安全信息,10卷,不。11日,第2407 - 2396页,2015年。视图:出版商的网站|谷歌学术搜索
10. s . w . Kim Suh和j j。汉族,“面对活性检测通过扩散速度模型,从单个图像”IEEE图像处理,24卷,不。8,2456 - 2465年,2015页。视图:出版商的网站|谷歌学术搜索|MathSciNet
11. j . Komulainen哈迪德,m . Pietikainen a . Anjos和s . Marcel”互补对策检测景区面对欺骗攻击,”生物识别技术国际会议(ICB的院刊13),页1 - 7,马德里,西班牙,2013年6月。视图:出版商的网站|谷歌学术搜索
12. d . f . Smith, a . Wiliem和b·c·洛弗尔”人脸识别消费者设备:反思重播攻击,”IEEE取证和安全信息,10卷,不。4、736 - 745年,2015页。视图:出版商的网站|谷歌学术搜索
13. j·杨,z Lei, s . z,“卷积神经网络学习的脸欺骗。”计算机科学卷,9218年,第384 - 373页,2014年。视图:谷歌学术搜索
14. j . Galbally和s . Marcel”面临欺骗基于通用图像质量评估,”22日学报》国际会议模式识别(ICPR 14),页1173 - 1178,斯德哥尔摩,瑞典,2014年8月。视图:出版商的网站|谷歌学术搜索
15. z z, j .严s . Liu, d .咦,李和s . z”与多样的攻击,面对antispoofing数据库”《第五IAPR生物识别技术国际会议(ICB的12)页26-31 IEEE,新德里,印度,2012年4月。视图:出版商的网站|谷歌学术搜索
16. h, s, p .段,x,“多目标跟踪的行人视频序列基于粒子过滤器,”多媒体的发展ID 343724条,卷。2012年,14页,2012。视图:出版商的网站|谷歌学术搜索
17. c·里斯”照明分析基于物理图像取证:共同讨论照明方向和颜色,”通信在计算机和信息科学卷,766年,第108 - 95页,2017年。视图:出版商的网站|谷歌学术搜索
18. r . Sutoyo j . Harefa亚历山大,a . Chowanda”解锁屏幕应用程序设计使用android智能手机脸表情,”学报2016年第七届国际会议上机械、工业、和制造技术,MIMT 2016,南非,2016年2月。视图:出版商的网站|谷歌学术搜索
19. a . Anjos m . m . Chakka和s . Marcel”各自对策在人脸识别照片袭击,”专业生物识别技术,3卷,不。3、147 - 158年,2014页。视图:出版商的网站|谷歌学术搜索
20. r . Raghavendra k·b·拉贾和c .布施”表示攻击检测人脸识别使用光场相机,“IEEE图像处理,24卷,不。3、1060 - 1075年,2015页。视图:出版商的网站|谷歌学术搜索|MathSciNet
21. p . Motlicek美国伯d Korchagin et al .,“实时视听分析多人视频会议”,多媒体的发展文章ID 175745卷,2013年,2013年。视图:出版商的网站|谷歌学术搜索
22. j . Galbally s .烫发,j . Fierrez”生物antispoofing方法:一项调查在人脸识别中,“IEEE访问,2卷,第1552 - 1530页,2014年。视图:出版商的网站|谷歌学术搜索

版权

版权©2018刘海清对et al。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。