文摘
我们已经提出了一个patch-based主成分分析(PCA)方法来处理人脸识别。许多PCA-based人脸识别方法利用像素之间的相关性,列或行。但当地的空间信息是不利用充分利用这些方法。我们相信补丁比像素更有意义的人脸识别的基本单位,列或行,因为面临着被补丁包含看见眼睛和鼻子。计算斑块之间的相关性,然后这些补丁脸图像分为补丁转换为列向量将组合成一个新的“图像矩阵。”替换图片与新的“图像矩阵”在二维主成分分析框架中,我们直接计算的相关补丁除以总散射计算。通过优化的总散射预测样本,得到投影矩阵进行特征提取。最后,我们使用最近邻分类器。广泛的实验在ORL数据库和FERET面临报道说明patch-based PCA的性能。我们的方法促进准确性与一维PCA相比,二维主成分分析,双向二维主成分分析。
1。介绍
主成分分析,最受欢迎的之一多变量统计技术(1),已广泛应用于模式识别、信号处理(2]。这是一个广泛的标题下的统计方法因子分析(3]。现代实例化PCA形式化了霍特林(1,4他还创造了这个词主成分,但事实上我们它的起源可以追溯到5]甚至柯西[6]。PCA分析观测数据通常由几个相关的描述和intercorrelated变量。它的目标是提取重要的信息从数据和表达这些信息为一组新的正交变量叫做主成分。
有许多PCA-based人脸识别的方法,从一维主成分分析(7]双向二维主成分分析程度称为(2 d)2主成分分析(8]。所有这些方法依赖于两个点。首先,相似的模式的观察和变量可以表示为点,利用主成分分析法(PCA)地图(2,9,10]。其次,面对图像的相似性可以在某种意义上“计算”评估这些点的距离。
一维PCA的人脸识别方法的主要思想特征空间投影。一个投影矩阵获得的最大图像协方差,在每一个训练数据显示像素之间的相关性(或说标签的脸图像)。下一步是将一维向量(以前由2 d图像)到特征空间(11]。此外,大特征值对应的特征向量(或组件)说,原则,这将像人脸后转换成矩阵相同大小的原始脸的形象,被称为eigenface。然后最近邻(NN)分类器是通过计算特征空间中的距离的身份验证标记图像。例如,我们会确保面对属于1个人,如果一个无标号的脸图像最近1个人的标记图像特征空间。然而将2 d图像转换为一维向量总是导致一个高维空间,协方差矩阵的计算,显示像素的相关性,是很困难的。协方差矩阵的大小实现 ,如果脸图像的大小 。因此,它会消耗大量的时间来评价这样一个大尺寸的协方差矩阵的特征向量。
二维主成分分析(2神龙公司)(12),而不是eigenface,项目面临直接没有image-to-vector转换图像到一个subfeature空间。这不仅直接投影使部分图像空间信息的保护,还可以减少计算负担(13]。所谓的图像协方差矩阵2 dcpa构造直接使用原始图像矩阵,远小于eigenface协方差矩阵的方法。2神龙公司,图像协方差矩阵(散射),这是一样的协方差矩阵eigenface,显示了每个图像的每一列的相关性。出于2神龙公司(2 d)2主成分分析(8)计算的相关性从两个方向的行和列。2神龙公司(2 d)2PCA人脸识别取得了良好的效果。然而这些方法不能完全探索当地的空间信息。
为了进一步探索当地的空间信息,让我们看看现有的轨道的方法。Eigenface方法只计算像素的相关性,而2神龙公司只计算列的相关性。和(2 d)2主成分分析计算的相关行和列在同一时间。精度提升从一维主成分分析(2 d)2主成分分析,基本单位正在从像素列和行。然后最好的基本单位是什么如果这个进化的继续?我们相信补丁的最有意义的基本单位是这些线性分类方法(例如,人是由眼睛和鼻子分辨)。眼睛和鼻子的地方空间信息中包含的补丁。所以它更直观的考虑的相关性不同的补丁。从另一个方面,补丁是成功应用于图像处理领域的最近,不仅面部识别(14- - - - - -16]还图像去噪17- - - - - -19)、图像超限分辨(20.,21(cartoon-texture[],和图像分解22,23]或illumination-reflectance [24和进一步retinex图像增强25])。补丁正在成为这些上述文献的基本工具。出于我们的想法,补丁是最有意义的基本单位为这些线性分类方法和广泛成功应用的补丁,我们打算计算相关的补丁在主成分分析的计算。
为了计算相关的补丁,只需添加补丁前预处理2神龙公司的框架。也就是说,我们首先把脸图像分成补丁,然后我们将这些补丁转换成列。列,2神龙公司框架,由我们patch-unfold-columns代替,所以2神龙公司中的列之间的关系变成了补丁后之间的相关性计算图像协方差矩阵(散射)。然后图像的标准正交特征向量协方差矩阵(散射)可以用于特征提取的最优投影轴。最优投影轴是用来形成一个矩阵,称为特征矩阵或训练图像的特征图像12]。测试图像投射在这个投影矩阵,然后找出最近邻分类的预测的测试图像。我们调用这个方法patch-based主成分分析(车牌提取)。结果,该方法的主要贡献是最有意义的基本单位补丁纳入2神龙公司的框架,这之间的关系最有意义的基本单位是用来促进准确率。这是我们的实验证实。此外,该方法可以很容易地实现。
事实上,我们可以选择支持向量机(SVM)分类器,这可能提高准确率。但SVM不是必要的比较我们的方法和eigenface方法,2神龙公司,(2 d)2主成分分析。在另一个方面,我们知道PCA是一个全球技术(26),因此,很难利用两个像素之间的局部空间相关性每个补丁和补丁之间的非局部空间相关性(17]。但是我们考虑到全球计算能补偿利用非局部空间相关性的补丁。
值得注意的是现在已经有很大的进步的人脸识别。很难一个旧方法的一个改进版本挑战最近深度学习(27,28)为基础的方法。请参阅[29日对人脸识别更广泛的概述。然而旧方法的改进仍然是有意义的,因为这许多老方法被广泛使用,例如,乘数的交替方向方法(小组ADMM) [30.- - - - - -35和块坐标体面(BCD)算法36]。与此同时,我们关注的是PCA-based分类的改进方法。此外,实验结果部分3的确,我们的方法优于其他PCA-based方法进行验证。
本文给出的轮廓如下。节2,我们提出我们的车牌提取人脸识别的方法。节3据报道,实验结果证明了该方法的性能。最后,一些结论是在部分4。
2。Patch-Based主成分分析
在2神龙公司,一个图像矩阵的大小 直接投射在维单一列向量: 。通过最大化总散射 ,我们获取投影矩阵。然后下面的步骤是特征提取和分类。我们的车牌提取帧之前添加一个补丁预处理工作上面。然后,2神龙公司一样,我们计算图像协方差矩阵和最优投影轴的特征提取和分类。
2.1。补丁预处理器
假设我们有培训的面部图像。为th训练样本,我们将图像的大小 成补丁的大小 ( , )。如果(或不整除(或),我们将添加重叠(或),所以,(或)总是整数不管的选择(或)。一般来说,为了减少计算负担,我们选择最小的为每个选定的重叠(或)。然后我们可以得到补丁的数量每一脸图片: 或重叠( )
然后我们每个补丁转换成一个列向量的大小 : 更详细的给出patch-to-vector转换部分3。然后让代表所有的重塑向量th培训面部图像 的大小是 , 。
应该注意的是,我们采用2 d-pca框架而不是(2 d)2主成分分析。如前所述,(2 d)2PCA考虑行和列的相关性,而2神龙公司方法集中于列向量之间的相关性。与此同时我们的补丁预处理补丁转换成向量。其中,合理采用2 d-pca框架而不是(2 d)2主成分分析。
2.2。总散射
让 与正交矩阵列, 。然后我们项目矩阵的大小 到由以下线性变换(37,38]: 是一个维投影向量(即。投影特征向量(12])的矩阵。2神龙公司一样,我们使用的总散射投影的样本,用于测量(口腔内的投影矩阵: 让我们定义 被称为图像协方差(散射矩阵)。一般的矩阵的所有预处理图像 然后可以评估 很容易验证是一个semipositive矩阵。我们可以评估直接使用训练样本。预计样品的总散射可以表达的 在哪里是一个统一的列向量。这就是所谓的广义的总散射标准(12]。单一向量被称为最优投影轴,最大化准则。
2.3。优化
事实证明,最优投影轴,最大化的总散射预测样本,特征向量对应于最大的特征值(38]。一般来说,我们选择的标准正交特征向量 的对应于第一个最大特征值。他们是等价的 第一个特征向量是要求有最大可能的方差(即。,this component will “explain” or “extract” the largest part of the pattern information of the preprocessed face images [1])。我们可以简单的控制的价值由一个阈值如下(8]: 在哪里( )是第一个最大特征值。我们可以确定预设甚至是指从不同的面孔数据库结果。
2.4。特征提取和分类
为每一个patch-preprocessed面部图像训练集,让 在哪里 的大小 是投影矩阵。我们称之为 的大小 的patch-based特征矩阵和( )patch-based主要组件( )的th样本图像。
补丁预处理和2神龙公司投影后,面部图像训练集已经变成了patch-based特征矩阵。我们使用最近邻(NN)分类器39)分类。我们定义两个任意patch-based特征矩阵之间的距离 在哪里表示欧氏距离。
我们有培训的面部图像,每个被分配一个给定的身份。给定一个测试面部图像,我们首先做一个补丁预处理,得到一个预处理矩阵。然后我们项目到并获得。如果 在哪里是一个预设的阈值,测试图像相同的结果吗,即面部图像和测试th训练图像,属于同一个人。否则,如果 ,测试样品不属于任何身份在这个训练数据。
3所示。实验结果
在本节中,表现在我们提出的车牌提取和eigenface方法(或称1神龙公司方法),2神龙公司方法,(2 d)2PCA方法评估两个著名的脸上(ORL和FERET)图像数据库。我们的观点,限制脸上实验数据库充分验证该方法的优越性在这些方法。因此,无约束数据库,例如,LFW数据库,不考虑。
首先,比较这四种方法的识别精度与实验策略,使用一半的图像数据库中进行训练。之后,更多的实验结果显示影响从重新排序和补丁的大小。所有的实验都使用Matlab (R2014a)执行一个桌面3.40 GHz Intel core i7 - 2600 CPU和12 GB RAM配备Windows 7操作系统。如果未指定,则预设阈值控制投影向量的个数,将后者的0.90实验。我们提取90的能量,整个训练图像。
3.1。识别精度结果FERET数据库
在FERET数据库(40,41)是一个标准的数据集用于面部识别系统评估。人脸识别技术(FERET)计划是由美国国防高级研究计划局(DARPA)和国家标准与技术研究院(NIST)。直到2003年,有2413个面部图像在FERET数据库中代表856人。上述4种方法的性能测试部分FERET脸上数据库,其中包含400(裁剪图像大小 )从200个人,每个提供两种不同的图像。所谓的足总子集,其中包含100张图片,作为训练数据,而所谓的神奇动物剩余子集,包含100张图片,作为测试数据。图1显示2个人在ORL数据库的图像。
(一)
(b)
从表1,我们可以看到车牌提取方法实现最高精度在FERET数据库。最高精度,参数指的是结果。识别精度提高2神龙公司的84.0和83.0 (2 d)2PCA - 86百分比。这意味着图像车牌提取方法识别2比2神龙公司和3比(2 d)图像2主成分分析在FERET数据库。我们这里说的图片裁剪尺寸 被用于(8),83%,84.5%,和85%的准确率,分别由1神龙公司,2神龙公司,(2 d)2主成分分析。
3.2。识别精度结果ORL数据库
ORL数据库包含图像从40个人,每个提供10个不同的图像的大小 (http://rduin.nl/prhtml/prdatafiles/orl.html)。图2给10 1个人在ORL数据库的图像。正如前面提到的,前5的图片每一个作为训练数据,剩下的五个图像作为测试数据。
表2给出了结果比较四种方法的识别精度。2神龙公司(2 d)2PCA精度达到90.5%,高于eigenface方法。我们的方法达到这个数据库上最高精度。识别精度从90.5提高到91.0和4个不同大小的补丁。即脸图像车牌提取方法可以识别1比2神龙公司(2 d)2主成分分析在ORL数据库。CPU时间的车牌提取方法是不可取的但不严重的后果。
3.3。重新排序补丁的影响
patch-to-vector转换有显著影响我们的方法的性能。我们最初的补丁预处理程序将一个补丁转换成一个列向量通过直接连接小补丁中的列。这确实增加了我们的方法的识别准确率达到91.0%识别精度与四个不同大小的贴片。然而这种改善并不满足我们。采用聚类的概念,我们一块转换成一个列向量通过重新排列像素值为了将近似的值在一起。连接的策略是与对比的结果重新排序策略相比识别准确性和CPU时间在五种不同大小的块表3。
表3表明,重新排序策略达到更好的性能在识别精度上比连接策略。尽管重新排序策略意味着一个附加的步骤按顺序排名值,其CPU时间并不总是超过连接策略。我们进一步分析图像的特征值协方差(散射矩阵)中定义的(9)。补丁的大小 选择是在ORL数据库上进行比较。在这里,图像协方差矩阵的大小是 ,所以很容易计算它的特征值。在图3级(特征值除以特征值的总和)的特征值这两个策略是在减少策划的秩序。
如图3特征值的大小,策略2减少速度比与策略1。即通过重新排序策略第一小部分特征值大于相同数量的特征值的连接策略。这意味着patch-preprocessed面部图像的能量集中在它的第一个小数量的组件向量。因此,它是合理的使用这些组件向量用于识别(12]。此外,能量越集中在第一次小数量的特征值,值越小在(11)。较小的值带来更少的计算复杂性和更少的CPU时间,这正是与CPU时间在表的结果一致3。
我们在这里说,虽然重新排序策略在ORL数据库上达到更高的精度,我们必须承认,它可能不是稳定的。重新排序策略不能实现精度高于在FERET数据库连接策略。这种潜在的不稳定性可能归因于patch-to-vector过程,这可能会或多或少失去了结构信息。因此,在进一步的工作中,我们将试图找到更好的方法来保护更多的局部空间结构信息,而不是更好的策略patch-to-vector转换。
3.4。补丁的大小的影响
车牌提取方法能被视为一种2神龙公司方法的泛化。2神龙公司方法是一种特殊情况下的车牌提取方法当块大小 。当补丁的大小 或 ,类似于一维主成分分析的车牌提取方法。表4说明选择补丁的大小会影响我们的方法的性能对识别精度和CPU时间。一个坏的选择补丁的大小可能会产生消极的结果。我们最好不要选用太大或太小补丁大小。因此,它是重要的但不是容易选择一个补丁大小识别精度高。此外,计算复杂度太大时,补丁是高度重叠的(例如,补丁的大小 重叠0和18)。也就是说,我们的方法比1神龙公司将花费更多的时间,2神龙公司,(2 d)2主成分分析,如果补丁高度重叠。因此,最好选择中等大小与小重叠的补丁。
结果的进一步分析,我们发现有一个确定的结果之间的差异不同的补丁。我们的早期试验表明,2神龙公司(2 d)2PCA识别人的都得到相同的结果。我们可以得出结论,他们的识别能力是相同的。因此,我们的方法的结果与2神龙公司的结果。结果,对2神龙公司,在ORL数据库两种策略所示,分别在表5和6。项目命名为“数量的确定图像”指的是面部图像的数量在测试集方法正确识别但2神龙公司未能确定。项目命名为“数字图像未能识别”是指面部图像的数量在测试我们的方法不确定但2神龙公司认可。
从表4人脸图像,我们可以发现195的测试集不认可我们的补丁的大小的方法 ,而42和133是公认的与2神龙公司给出的结果(2 d)2主成分分析。和第200脸图像的测试集是公认的块大小 。脸图像识别和第69和133第198未能确定的块大小 。42和200脸图像识别和第152并不认同的块大小 。表5给我们的方法的比较,不同大小的补丁和“排序”战略。为了简单起见,将不再是上市细节。
我们可以看到从表4不同大小的补丁带来不同的识别结果虽然他们达到相同的精度。观察从表5,补丁的车牌提取方法具有类似大小差不多。例如,我们与块大小的方法 和 认识到第69形象在ORL数据库,而补丁大小 , , 不会导致69的识别形象。
这些结果之间的差异我们的车牌提取和2神龙公司(和(2 d)2PCA),我们的方法之间的区别来自不同大小的补丁,类似补丁的大小和相似的结果显示,提取不同的特征的能力将不同的块大小的选择。这的确验证我们的信念“补丁是分类的有意义的基本单位(例如,人们看见的眼睛和鼻子),“是意识到眼睛或鼻子等等都是不同的大小。
4所示。结论
我们已经提出了一个patch-based PCA方法来处理人脸识别。之前,通过简单地做一个补丁预处理2神龙公司的投影矩阵的计算,我们可以直接计算出相关的补丁,而不是面对图像的行或列。比较的识别精度是由1神龙公司[7),2神龙公司[12),(2 d)2主成分分析(8)方法在ORL人脸数据库和FERET数据库。数值实验说明表示,补丁的使用促进了精度与前1神龙公司相比,2神龙公司,(2 d)2主成分分析。与此同时,结果证明我们的信念,补丁是分类的最有意义的基本单位。
的利益冲突
作者宣称没有利益冲突。
确认
这项研究由973项目支持(2013 cb329404),美国国家科学基金会的中国(61370147,61402082),和中央大学的基础研究基金(ZYGX2016J132)。部分的研究本文使用FERET数据库收集的面部图像在FERET计划,由美国国防部反毒技术发展项目办公室。作者想表达他们的伟大的感恩AT&T实验室使用脸部图像的剑桥ORL数据库。