基于Gabor相位的人脸识别光照不变量

摘要

为了消除光照变化对人脸识别的影响，提出了一种基于Gabor相位的光照不变提取方法。首先，对人脸图像进行光照归一化处理，在一定程度上降低了光照变化的影响;其次，利用一组不同方向的二维实Gabor小波对图像进行变换，在考虑频谱和相位的情况下将多个Gabor系数组合成一个整体;最后，从组合系数中提取相位特征，得到光照不变量。在Yale B和CMU PIE人脸数据库上的实验结果表明，在光照变化较大的条件下，该方法比其他相关人脸识别方法有显著的改进。

1.介绍

人脸识别的广泛应用引起了人们的广泛关注。尽管相关研究已经取得了很大进展[1.,2.，许多问题仍然没有解决，包括不同的照明、姿势和表达问题。光照变化问题既棘手又关键，必须加以解决。光照会极大地改变人脸的外观，从而严重影响人脸识别系统的性能[3.］.为了解决这一问题，研究者们提出了许多方法，这些方法主要分为三类。

(1)光照预处理. 这些方法通过图像处理去除人脸图像中的光照效应，得到光照归一化的人脸图像[4.,5.］.Tan和Triggs [6.]提出了一种将伽马校正(GC)、高斯差分(DoG)与对比度均衡相结合的预处理链。它消除了大部分的照明效果，同时仍然保留必要的基本外观细节。范及张[7.[呈现了基于同态过滤（HF）的照明归一化算法，并获得了有希望的结果。最近，Lee等人。使用面向局部直方图均衡（OLHE）的补偿照明，其在边缘方向上编码丰富的信息[8.］.光照预处理方法简单、有效、高效。然而，他们不能完全解决极端不均匀的光照变化[3.］.

(2)面对建模．光照变化主要是由不同光照方向下的人脸三维形状产生的。构建生成的三维人脸模型，绘制不同姿态和光照的人脸图像。Belhumeur等人[9,10]提出了一种光照锥生成模型，该模型使用光照凸锥来表示固定位姿下光照条件变化的人脸图像集。他们首先利用大量光照变化的图像构造一个光照凸锥，然后利用低维线性子空间来表示该凸锥。Basri和Jacobs [11]发现，一个9D线性子空间可以很好地逼近在不同光照下的凸朗伯物体的图像集。这些方法需要具有不同光照和三维形状信息的同一对象的图像进行训练。然而，这些需求在现实世界中是无法满足的。因此，这些方法的应用是有限的。

(3)光照不变提取. 这种方法是主流，它试图提取光照鲁棒的人脸特征。许多方法都基于朗伯照明模型。在该模型中，人脸图像 在光照条件下一般认为是一种产品 ,在那里 反射分量是和吗 每个点都有光照吗 [12]. 目标是提取反射成分 ，被认为是每个班级特定的内在信息。然而，难以计算实际图像的反射率和照度分量。常见的假设是 变化缓慢，主要是低频，而 会突然发生变化，通常出现在高频。在这种假设下，Jobson等人[13]提出了多尺度retinex (MSR)方法，该方法估计的反射率分量作为图像的比例，其低通版本作为估计的照明分量。Wang等[14]在Self - Quotient Image (SQI)中采用了类似的思路(使用了不同的局部滤波器，即加权高斯滤波器)，非常简单，可以应用到任何单一的图像上。然而，在低频光照场中，采用加权高斯滤波器很难保持清晰的边缘，选择合适的参数需要经验和时间。针对这一问题，Chen等人[15]用对数总变差（LTV）代替加权高斯滤波器以改善SQI。2009年，张等人[16]提出了一种基于小波的光照不变方法(WD)，该方法提取小波域去噪后的高频分量作为反射分量。受此启发，Cheng等人[17]谢等[18]在非管制的轮廓型变换（NSCT）域中呈现了两种类似的照明不变提取方法。2011年，陈等人。[19]利用自然图像的尺度不变性，推导了一种维纳滤波方法，以最好地分离图像中的光照不变特征。曹等人[20.]2012年，在考虑相邻小波系数相关性的情况下，提出了一种基于小波的光照不变提取方法[21]提出了一种新的光照不变性、基于直方图的描述方法，以及Faraji和Qi[22]提出了一种新的基于对数分形维数的完整8个局部方向模式的光照不变量。实验表明，这些方法取得了很好的效果。Chen等[23]结果表明，图像梯度方向对光照变化不敏感。基于此，张等人[24]介绍了Gradientfaces方法，该方法使用了之间的比例的arctan- - --图像的梯度作为Gradientfaces。陈及张[25]改进了gradient faces方法，提出了多向正交梯度相位faces方法。

最近的研究证实，与幅值相比，相位也包含了很多用于图像特征提取的有效信息[26］.基于此，Sao和Yegnanarayana [27]提出了一种基于二维傅里叶相位的人脸图像表示方法，Cheng等[28]呈现了一种新的照明不变方法，即多尺度主轮廓方向（MPCD）。通过上述提及的灵感，基于Gabor小波的优异的视觉生理学背景及其强大的能力作为特征描述符，我们在本文中提出了一种基于Gabor小波阶段（GF）的新的照明不变提取方法。我们首先通过使用基于同型滤波（HF）的照明归一化算法进行预处理面部图像[7.］.然后利用一组不同方向的二维实Gabor小波进行图像变换。最后，在考虑光谱和相位信息的情况下，将多个Gabor系数组合成一个整体，通过提取组合系数的相位特征得到光照不变量。该方法选择了二维对称实Gabor小波，既避免了复杂计算的复杂性，又能很好地拟合人脸图像本身的对称性。

本文的其余部分安排如下。部分2.详细介绍了所提出的方法。实验结果和我们的结论显示在部分中3.和4.,分别。

2.算法描述

研究人员发现，Gabor功能具有在哺乳动物脑的视觉皮层中建模简单细胞的能力[29］.因此，使用Gabor函数进行图像分析类似于人类视觉系统中的感知。Gabor滤波器的频率和方向表示与人类视觉系统的频率和方向表示相似，特别适合于纹理表示和识别。

近年来，Gabor小波变换作为一种有效的人脸识别元素被广泛应用[26,30.–34]. Gabor小波变换对外界环境因素（如光照、面部表情、手势和遮挡）不敏感[35］.因此，它在人脸特征提取中得到了广泛的应用。现有的基于Gabor特征的方法通常使用Gabor幅值特征而忽略相位特征。然而，研究表明，相位信息包含许多有效的图像特征，并且对光照变化不敏感。受此启发，本文将Gabor相位特征提取为光照不变量。

提出的光照不变性提取方法包括三个步骤。首先，提出了一种基于同态滤波的光照归一化方法[7.]用来对人脸图像进行预处理。其次，利用一组不同方向的二维实Gabor小波进行图像变换。最后，在考虑光谱和相位信息的情况下，将多个Gabor系数组合成一个整体，通过提取组合系数的相位特征得到光照不变量。

2．1.光照归一化

我们使用文献中介绍的方法[7.]，它结合了同态滤波和直方图均衡化。本文将这种光照归一化方法简称为HF+HQ。此预处理大大纠正了不均匀的照明效果。

2.2. 二维Gabor小波变换

利用不同的核函数可以得到不同的Gabor小波。为了避免复杂计算的复杂性，并适应人脸图像本身的对称性，我们选择了二维对称实Gabor小波。本文使用的核函数如下。 在哪里是正弦函数的频率，和表示沿程的空间比例系数- - -相互重合,分别是Gabor滤波器的方向。由这个公式定义。

在这里,确定过滤器方向的数量，我们设置了 在这篇文章中。如果和，对灰度人脸图像进行Gabor小波变换后 ,我们有

在这里,表示两个函数的卷积。 表示为简而言之。所有Gabor小波变换系数表示如下。

数字1.说明同一频率下的脸部图像的光谱图( )和8种不同的方向()．

2.3. 光照不变提取

经过二维Gabor小波变换后，该集包括不同方向下的所有光谱信息。为了考虑相位信息，我们定义复小波系数如下。

将相同频率下的所有复系数求和()的目标是降低特征维数

用此公式计算相位特征。

在这里,和是实部还是虚部 ,分别。本文介绍了相位特征 被认为是光照不变的。数字2.显示光照归一化的人脸图像和得到的光照不变量。

3.实验结果

在本节中，使用Yale B将建议方法（GF）的性能与现有方法（包括MSR、WD、LTV、Gradientfaces和MPCD）进行比较[36]及CMU PIE [37］.首先，我们提出了图像形式的不同光照不变量。然后，在相同的实验条件下，比较了采用特征面进行识别的效果。根据FERET测试协议[38]，测试top1和top3的识别率。

3．1.不同光照不变量的比较

证明不同方法的效率，图3.显示了Yale B中的一些原始图像和它们对应的光照不变量。从图像中可以看出，GF方法去除了大部分光照变化的影响，大大降低了类内差异。

３．２．耶鲁大学B

Yale B的人脸数据库有10个不同的人，每个人有9个姿势，每个姿势被64种不同的光照条件捕捉。在我们的实验中，使用的是正面图像。并根据光源方向的角度，将这些图像分为五个子集。它们是子集1(0-12°)，子集2(13°-25°)，子集3(26°-50°)，子集4(51°-77°)，和子集5(其他)[39］.所有图像都被裁剪并重新缩放到 像素与严格对齐。图中显示了一个人的每个子集(每行)的5张图像4.，并用GF方法提取光照不变量。

首先，我们选择子集1作为训练集，其他子集作为测试集。从图中可以看出5.和6.所提出的方法（GF）优于MSR，WD和LTV，GF获得类似于梯度的结果和MPCD方法。平均前1个识别率差约为99％。

其次，选取子集4作为训练集，其他子集作为测试集。数据7.和8.显示识别率。清楚地看出，GF的性能远远大于其他GF，并在每个测试子集上实现100％的识别率。

第三，对于训练集，我们为每个人随机选择10幅图像，即子集 ,其他用于测试。为了获得可靠的结果，对50个随机分裂进行平均。实验结果如图所示9和10．可以看出，GF的识别率高于其他方法，性能与Gradientfaces和MPCD非常相似，除子集2外，在每个测试子集上识别率均达到100%。

实验使用不同的训练集实现。清楚地看出，所提出的方法在不同条件下获得优异的结果，这证明了其对照明的鲁莽。

3.3. CMU PIE的实验结果

CMU PIE face数据库[37]包含了68个不同姿势、不同照明和不同表情的人物的图像。在我们的实验中，我们使用了光照子集(C27)， C27对每个人有21种不同的光照。我们实验中使用的所有图像都经过裁剪和缩放 像素。CMU PIE上21张不同光照下的人图像及其GF提取的光照不变量如图所示11．

CMU派的实验分为两个部分。在部分1.，每个人的第3,4和5个图像分别选择作为训练集和其他人作为测试集。表格1.显示Section的识别结果1.．在部分2.，我们随机选择每个人的3、4、5张图像作为训练集，其他图像分别作为测试集。为了得到一个可信的结果，结果被平均超过50个随机分割。Section的识别结果2.表中列出了这些数据2.．来自桌子1.和2.可以看出，该方法优于其他方法，识别率始终保持在较高水平，这有力地说明了该方法在不同光照条件下的卓越效果。

运行时间在实际应用中也是至关重要的。为了评估每种方法的计算复杂性，处理a的运行时间 各方法的像素人脸图像如表所示3.．硬件平台为2.6 GHz P4, 2G内存。表格3.结果表明，该方法处理人脸图像的时间仅为37 ms，能够实时处理人脸图像，能够处理大型人脸数据库。MSR, LTV和MPCD都比我们的方法慢。

4.结论

本文提出了一种有效的基于Gabor相位的光照不变提取方法。我们首先使用基于同态滤波器的预处理方法对人脸图像进行归一化，以预先消除光照变化的影响。然后，利用一组不同方向的二维实Gabor小波对图像进行变换，在考虑频谱和相位的情况下将多个Gabor系数组合成一个整体。最后，从组合系数中提取相位特征，得到光照不变量。该方法不需要三维人脸形状信息，也不需要bootstrap进行训练。而所提取的光照不变量在大大降低光照变化影响的同时，包含了更重要的判别信息。实验结果表明，该方法对不同光照变化具有良好的鲁棒性。

的利益冲突

作者声明他们没有利益冲突。

致谢

江苏省高校自然科学基金项目(no . 17KJB520021);江苏省政府留学人员奖学金项目;南京信息工程大学本科生实践创新培养项目;江苏省高等学校重点学科建设项目。

参考文献

1. W.赵、R.切拉帕、P. J.菲利普斯和a .罗森菲尔德，《面部识别:文献调查》，ACM计算调查第35期4，页399-458,2003。查看在：出版商的网站|谷歌学者
2. P. J. Phillips, W. T. Scruggs, A. J. O'Toole et al，“FRVT 2006和ICE 2006大规模实验结果”，模式分析与机器智能学报，第32卷，第2期5，页831-846,2010。查看在：出版商的网站|谷歌学者
3. Y.阿迪尼，Y.摩西和S.乌尔曼，《人脸识别:补偿光照方向变化的问题》，模式分析与机器智能学报第19卷第2期7，第721-732页，1997。查看在：出版商的网站|谷歌学者
4. 高伟，曹博，赵丹丹，“光照归一化在不同光照条件下人脸识别中的应用”，出版人脸与手势分析与建模国际研讨会论文集(AMFG’03)，页157-164,IEEE，尼斯，法国，2003年10月。查看在：出版商的网站|谷歌学者
5. M. Savvides和B. V. Kumar，“使用对数变换进行人脸认证的光照归一化”，发表于基于音频和视频的生物识别身份验证，第2688卷，共页计算机科学课堂讲稿，第549-556页，施普林格，吉尔福德，英国，2003。查看在：出版商的网站|谷歌学者
6. X. Tan和B. Triggs，“在困难的照明条件下，增强的局部纹理特征在面部识别下，”IEEE图像处理汇刊第19卷第2期6, pp. 1635-1650, 2010。查看在：出版商的网站|谷歌学者|MathSciNet
7. C.-n.粉丝和f.y.张，“面部识别的均匀滤波法规法”，模式识别的字母，第32卷，第2期10, pp. 1468-1479, 2011。查看在：出版商的网站|谷歌学者
8. P.-h.李，S. -W。吴和y.-p.挂，“使用面向局部直方图均衡的照明补偿及其在面部识别中的应用”IEEE图像处理汇刊第21卷第2期9, pp. 4280-4289, 2012。查看在：出版商的网站|谷歌学者|MathSciNet
9. P. N.Belhumeur和D. J. Kriegman，“在所有可能的照明条件下，物体的一组图像是什么？”国际计算机视觉杂志第28卷第2期3，页245 - 260,1998。查看在：出版商的网站|谷歌学者
10. A. S. Georghiades, P. N. Belhumeur, D. J. Kriegman，《从少到多:可变照明和姿势下人脸识别的照明锥模型》，模式分析与机器智能学报，第23卷，第2期。6，第643-660页，2001。查看在：出版商的网站|谷歌学者
11. R巴斯里和D。W雅各布斯，“朗伯反射和线性子空间，”模式分析与机器智能学报，第25卷，第2期2，页218-233,2003。查看在：出版商的网站|谷歌学者
12. B. Horn，机器人视觉， McGraw-Hill，纽约，纽约，美国，1986。
13. D. J. Jobson，Z.-U。Rahman和G. A. Woodell，“一种用于弥合彩色图像之间的差距和人类观察场景的多尺度RetineX，”IEEE图像处理汇刊，第6卷，第2期7，第965-976页，1997。查看在：出版商的网站|谷歌学者
14. 王海，李思哲，王颖，“基于自商图像的不同光照条件下的人脸识别”第六届IEEE自动人脸和手势识别国际会议记录（FGR'04），页819-824，首尔，韩国，2004年5月。查看在：谷歌学者
15. 陈涛，尹伟，周学生，“基于全变分模型的人脸识别，”模式分析与机器智能学报第28卷第2期9, pp. 1519-1524, 2006。查看在：出版商的网站|谷歌学者
16. 张涛，方斌，袁勇等，“不同光照下人脸识别的多尺度人脸结构表征”，模式识别，卷。42，不。2，pp。251-258,2009。查看在：出版商的网站|谷歌学者
17. Y. Cheng，Y.Hou，C. Zhao，Z.Li，Y. Hu和C. Wang，基于Nonsubs采样的照明不变性的强大的人脸识别，“Neurocomputing，卷。73，没有。10-12，pp。2217-2224,2010。查看在：出版商的网站|谷歌学者
18. 谢旭东，赖建军，吴文森。郑，“利用非下采样轮廓波变换从单一图像中提取光照不变的面部特征”，模式识别号，第43卷。12，页4177-4189,2010。查看在：出版商的网站|谷歌学者
19. L.-H。陈,中州。杨,c。陈,M.-Y。Cheng，“基于自然图像统计的光照不变特征提取——以人脸图像为例”，在2011年计算机愿景和模式识别大会上的载体，CVPR 2011年，第681-688页，美国科罗拉多州科罗拉多斯普林斯，2011年6月。查看在：出版商的网站|谷歌学者
20. X. Cao，W. Shen，L. G. Yu，Y.L.Wang，J. Y. Yang和Z.W. Zhang，使用邻近小波系数的人脸识别的照明不变提取，“模式识别第45卷第5期4, pp. 1299-1305, 2012。查看在：出版商的网站|谷歌学者
21. 宋涛，向凯，x - y。Wang，“基于梯度人脸和局部特征的不同光照下的人脸识别”，IEEJ电气和电子工程交易，第10卷，第5期。2, pp. 222-228, 2015。查看在：出版商的网站|谷歌学者
22. MR法拉吉和X。Qi，“使用基于对数分形维数的完整八个局部方向模式在不同照明条件下进行人脸识别，”Neurocomputing，卷。199，pp。16-30,2016。查看在：出版商的网站|谷歌学者
23. 陈慧芬，贝尔胡默尔，和雅各布斯，“在寻找照明不变量”，在计算机视觉与模式识别IEEE会议论文集(CVPR’00)，第1卷，第254-261页，美国SC希尔顿海德岛，2000年6月。查看在：谷歌学者
24. T张，Y。Y唐，B。方，Z。尚和X。刘，“使用梯度人脸在不同光照下的人脸识别，”IEEE图像处理汇刊第18卷第2期11, pp. 2599-2606, 2009。查看在：出版商的网站|谷歌学者|MathSciNet
25. 十,。陈和J。张，“使用多向正交梯度相位人脸的光照鲁棒单样本人脸识别，”Neurocomputing第74卷第1期14-15, pp. 2291-2298, 2011。查看在：出版商的网站|谷歌学者
26. 张博，陈昕，高伟，“Gabor相位模式的直方图({HGPP}):一种新的人脸识别对象表示方法，”IEEE图像处理汇刊，第16卷，第1期，第57-68页，2007年。查看在：出版商的网站|谷歌学者|MathSciNet
27. A. K. Sao和B. Yegnanarayana，“在光照变化下使用傅里叶变换的相位进行人脸识别”，信号、图像和视频处理，第4卷，第4期。3，页353-358,2010。查看在：出版商的网站|谷歌学者
28. Y.程，C.L.L.Wang，Z. Y.Li，Y.K. Hou，以及C. X. Zhao，“不同的照明面部识别的MultiScale主要轮廓方向”IEEE电子通讯第46卷，第46期10, pp. 680-682, 2010。查看在：出版商的网站|谷歌学者
29. J.G.Daugman，“由二维视觉皮质过滤器优化的空间，空间频率和方向的分辨率的不确定性关系，”美国光学学会杂志A：光学和形象科学，愿景，第2卷，第2期7，页1160-1169,1985。查看在：出版商的网站|谷歌学者
30. L威斯科特，J.-M。费卢斯，N。克鲁格和C。von der Malsburg，“通过弹性束图匹配进行人脸识别，”模式分析与机器智能学报第19卷第2期7，第775-779页，1997。查看在：出版商的网站|谷歌学者
31. C. Liu和H. Wechsler，“基于Gabor特征的人脸识别增强Fisher线性判别模型，”IEEE图像处理汇刊，第11卷，第5期。4，页467-476,2002。查看在：出版商的网站|谷歌学者
32. 张伟，“局部gabor二值模式直方图(LGBPHS):一种新的非统计模型用于人脸表征和识别”，《中国生物医学工程学报》第十届IEEE计算机视觉国际会议论文集(ICCV’05)，页786-791，北京，2005年10月。查看在：出版商的网站|谷歌学者
33. s谢S。山，X。陈，X。孟和W。Gao，“学习用于人脸表示和识别的局部Gabor模式，”信号处理，第89卷，第12期，第2333-2344页，2009年。查看在：出版商的网站|谷歌学者
34. 一种。Serrano，I.Martíndeiego，C. Conde和E. Cabello，“Gabor滤波器银行参数的变化分析了最佳的人脸识别”模式识别的字母，第32卷，第2期15, 1998-2008, 2011。查看在：出版商的网站|谷歌学者
35. J. C. Goswami和A. K. Chan，小波基础:理论，算法和应用，Wiley，Hoboken，NJ，美国，2010年第2版。查看在：出版商的网站
36. K.-C。Lee, J. Ho, and D. J. Kriegman，“获取可变光照下人脸识别的线性子空间”，模式分析与机器智能学报第27卷第2期5，页684-698,2005。查看在：出版商的网站|谷歌学者
37. T. Sim, S. Baker，和M. Bsat，“CMU姿势、照明和表达(PIE)数据库”第五届IEEE自动面部和手势识别国际会议的诉讼程序，第46-51页，美国华盛顿特区，2002年5月。查看在：出版商的网站|谷歌学者
38. PJ菲利普斯，H。韦克斯勒，J。黄和P。JRauss，“FERET数据库和人脸识别算法评估程序，”图像及视觉计算，第16卷，第5期。5、1998年。查看在：出版商的网站|谷歌学者
39. S. du和R. Ward，“基于小波的照明标准化，面部识别”中国图象处理学会，2005，第二卷，第954-957页，意大利热那亚，2005年9月。查看在：出版商的网站|谷歌学者

版权

版权所有©2017范春年等。这是一篇发布在知识共享署名许可协议，允许在任何媒介上不受限制地使用、传播和复制，但必须正确引用原作。