文摘

在模式识别,特征提取技术已经被广泛用来降低高维数据的维数。在本文中,我们提出一种新的特征提取算法称为隶属度保留判别分析根据费雪(MPDA)标准为人脸识别和模糊集理论。在该算法中,每个样品特定类的隶属度是首先计算的模糊最近的邻居(FKNN)算法来描述每个样本之间的相似性和类中心,然后纳入隶属度的定义类间散在类散射。特征提取准则通过最大化类间的比例分散在类的分散。实验结果在ORL、耶鲁和FERET面对数据库证明该算法的有效性。

1。介绍

领域的计算机视觉和模式识别、人脸识别等许多应用程序经常遭受高维问题。近年来,特征提取技术已经广泛用于降低高维数据的维数。到目前为止,已经有了各种特征提取技术。其中,主成分分析(PCA) (1)和线性判别分析(LDA) (2)是两个最著名的线性特征提取方法。主成分分析是一种无监督学习算法,哪些项目原始数据的主要特征向量张成的子空间的数据的协方差矩阵。与PCA是完全无监督对标签信息,LDA监督算法,充分考虑标签的信息。人们普遍认为,标签信息可以提高分类的判别能力的任务。因此LDA往往比PCA实现更好的性能在识别任务。必须指出LDA是一个线性算法,旨在发现全球欧几里得的数据结构。最近的研究表明,面部图像数据可能驻留在非线性子流形。因此LDA可能无法发现的内在结构多方面的。此外,对于一个给定的测试样本,判别依据是样本是否属于类或不属于另一个。每个执行是基于严格的分类原则。 In fact, during the phase of feature extraction, existing training samples may be influenced by variances on facial expressions and lighting conditions, so that it is unscientific to simply sort samples into a certain class [3]。

最近,基于流形学习算法检测简单的非线性结构吸引了很多研究人员的关注。代表性的算法包括局部线性嵌入(米歇尔)[4(ISOMAP)[],等距特征映射5],拉普拉斯算子Eigenmap (LE) [6]。这些算法做一些基准收益率显著的可视化结果的数据集,如面部图像和手写的数字。然而,这些算法不适合分类任务,因为它们是非线性和不能产生有效的地图小说测试数据点。他等人提出了保局投影算法(垂直距离)7],它保留了局部结构的低维特征空间中样本通过样本投影到低维特征空间与一个显式的映射。垂直距离是一个线性算法,能够生成有效的训练和测试数据点地图。一些实验表明,垂直距离可以被成功地应用于人脸识别。在[8),燕等人提出了一个通用框架称为图嵌入维数减少,所有上述方法的新配方。由于成功的垂直距离在人脸识别中,开发了一些改进克服垂直距离的限制,如无监督判别投影(UDP) [9),Class-Correlation保局投影(10),监督垂直距离(11],Fisher边际分析(MFA) (12),判别保局投影(DLPP) [13),当地Fisher线性判别分析(LFDA) [14),和最大的本地组内的嵌入(MLIE) [15]。许多先前的研究[16- - - - - -18)表明,样本之间的相似性重量扮演不可或缺的规则在描述样本之间的邻里关系。然而,在垂直距离等大多数流形学习算法及其改进算法,重量只能反映样本之间的距离关系而忽略了实际样品的分布。

出于LDA和其他一些基于流形学习算法,提出了一种新的方法称为隶属度保留投影分析(MPDA)特征提取。MPDA利用模糊最近邻居法(19,20.)计算样本的隶属度,每个类的样本。在此基础上,投影向量是发现,最小化样本和同类中心点之间的距离,以及最大限度地提高组内的中心点的距离。广泛的实验ORL、耶鲁和FERET面对数据库显示,MPDA给比最先进的算法更好的识别结果。

本文的其余部分组织如下。部分2概述了LDA。部分3MPDA和发展相关的理论和算法。部分4描述了相关的实验。部分5提供我们的结论。

2。LDA的轮廓

给定一组的训练样本可分为模式类:。LDA的基本思想是学习一个投影向量项目样品到低维特征空间,如预计样本与类的散度最大和最小内部类散度。在类散射矩阵和类间散布矩阵分别计算如下: 在哪里样品的数量吗th类,是均值向量的样品th类,总样本的均值向量,代表了th的样本类。

LDA寻求找到一组投影方向(即,费舍尔标准。,the ratio of the between-class scatter to the within-class scatter) is maximized after projection of samples. Thus the objective function of LDA can be defined by the following equation:

为了找到答案投影向量遵守LDA目标函数,我们只需要找出相对应的特征向量最大特征值矩阵。

3所示。隶属度保留判别分析(MPDA)

3.1。基本思想

从文献[8),我们可以发现,类间散布矩阵可以等同于新配方

根据(1),(3)和(4),可以清楚地看到费舍尔的本质则是最小化每个样本及其同类中心之间的距离,以及每个样本之间的距离之和最大化和组内的中心。根据前面的分析,在特征提取的过程,LDA的判别依据是找出样本是否属于某个类或不属于另一个特定的类。每个执行是基于严格的分类原则。事实上,在特征提取过程中,现有的训练样本可能受到不同的情感和阳光的条件下,这是不科学的简单样品到某个类。至于这个,LDA的基础上,介绍了模糊隶属度来描述样本分布信息。此外,隶属度保留判别分析(MPDA)也提出了。MPDA利用模糊最近邻居法计算样本的隶属度与每个类。在此基础上,投影向量是发现,最小化样本和同类中心点之间的距离,以及最大化其组内的中心点的距离。

3.2。会员计算

样本成员表示某个类的依赖。定义的程度样品属于类模糊隶属度的计算()可以实现模糊最近邻居法(19,20.),如下所示。

步骤1。计算之间的欧氏距离矩阵对训练集的特征向量。

步骤2。这个欧几里得距离矩阵的对角元素设置为无穷大。

步骤3。排序的距离矩阵(对待每个单独的列)在一个升序排序。收集相应的类标签模式位于最亲密的社区模式的考虑(如我们关心”“这邻居,返回一个列表”“整数)。

步骤4。计算类的隶属度”“使用表达式提出了在文献[j模式20.,21]:
在上面的表达式,代表的邻居的数量数据(模式),属于类。像往常一样,满足两个明显的属性:
因此,加入模糊矩阵可以实现与FKNN的结果吗

3.3。MPDA的目标函数

MPDA,课下散射矩阵和样本的类间散布矩阵分别可以形容 在哪里代表样本的会员到th类,而表示样本的隶属度到类。会员度和可以计算通过使用模糊上面提到的最近邻居算法。

类似于LDA, MPDA也试图找到一个最优投影向量,类间散后最大化,在类散射最小化投影的样本。也就是说,目标函数MPDA应该有以下形式:

为了寻找投影向量遵守上面的目标函数中,我们只需要找出相对应的特征向量最大特征值矩阵。

3.4。MPDA的算法

MPDA的算法可以描述如下。

步骤1。为th样本从th类,根据模糊最近邻居法。的会员关于th和th类()发现,分别表示和。

步骤2。根据(8),组内散度矩阵和样本组内的散度矩阵分别计算。

步骤3。计算相应的特征向量对应于矩阵的最大特征值。

步骤4。样本在维特征空间表示为,而。

第5步。在获得代表的在维特征空间,一个合适的classifer预测的类标签采用。

4所示。实验

为了证明算法的有效性,MPDA, PCA, LDA,垂直距离,UDP,在ORL和MFA评估,耶鲁大学,和FERET面对数据库。实现特征提取的算法后,欧氏距离的最近邻分类器作为距离测量用于分类。

4.1。图像可视化

作为人脸图像可达到数以百万计的维度,而人类的远景是三维的,为了更直观地算出数据之间的内在联系,比较这些算法的差异和性能,在这项研究的四个算法MPDA,垂直距离,选择UDP, MFA图像二维可视化测试。ORL数据库(http://www.cam-orl.co.uk)包含400种不同的图像从40主题:每个主题都有10个图像。对于一些科目,这些照片是在不同的时间,不同的照明,面部表情(打开/关闭眼睛,微笑/不笑),和面部细节(眼镜/没有眼镜)。所有图像灰度和大小32×32的决议。图1显示10人在ORL数据库的图像。

在这个实验中,我们选择的图片第一个五人在ORL数据库可视化,因此总图像10×5 = 50。让“*”、“○”、“+”,“△”和““表示五个不同的类(或人),分别。这里,我们应用垂直距离,UDP, MFA MMPDA特征提取,然后所有的图像投射到二维(二维)由不同的子空间算法。图2显示了上述算法预测结果。从图可以看出2(一个)投影之后,同一个类的样本在一起,表明垂直距离能够保持样本的局部结构。尽管,垂直距离不能准确地划分不同类别的样本。图2 (b)表明,UDP给考虑样品的非局部结构,以便其分类性能优于垂直距离。然而,由于UDP是一种无监督算法,仍然有一些不同的类样品不可分割。从图2 (c)我们可以看到,MFA考虑局部结构和分类信息在同一时间。然而,它忽略了样本分布信息。出于这个原因,仍有不清楚地划分两类样本。在图2 (d)MPDA成功分类5类的样本,表明隶属度特征提取中起着重要的作用。

4.2。人脸识别

为了评估和验证MPDA的识别性能与其他方法如PCA相比,LDA,垂直距离,UDP, MFA,该算法是在耶鲁和FERET面对数据库上实现。耶鲁大学面对数据库(http://cvc.yale.edu/projects/yalefaces/yalefaces.html)包含165灰度级图像的15个人。有11个图片/主题,每个不同的面部表情或配置:一个中心/左/右灯,w /我们眼镜,开心,正常,悲伤,昏昏欲睡,惊讶,眨眼。所有图像灰度和归一化图像的分辨率为80×100像素。图3显示了一些示例图像数据库耶鲁的一个人。

FERET数据库(http://en.wikipedia.org/wiki/FERET_database从1199年个人)包含14126张图片。在我们的实验中,200人的一个子集,包含1400图像(其中每个有7个图片)被选中。子集包括面部表情的变化、光照、姿势。每个图像灰度、手工裁剪和调整大小为80×80。图4显示了一些示例图像FERET数据库的一个人。

在耶鲁大学数据库,第一(= 4、5)每个人选择的图像作为训练集,其余11 -图像作为测试集。必须指出PCA方法首先引入项目原始数据到一个子空间,克服小样本大小(SSS)问题,尺寸是40。表1显示MPDA识别率的比较两个人的脸当不同的参数配置。表2是最好的识别率MPDA之间的比较和其他算法。表所示1、参数配置相当MPDA算法的识别性能的关键。当的值是接近每个类的训练样本数量,MDPA有最好的识别率。例如,当训练样本数量的每个类是4或5在耶鲁大学数据库上的值是5,MPDA有最好的效果。这是显示在表2在耶鲁大学数据库,MPDA达到最佳的识别效果。导致这个结果的原因在于以下事实:与其他算法相比,MPDA考虑样本的分类信息和会员信息同时,样本分布信息与特征提取相结合,从而提高识别率。

在FERET数据库,第一(= 3,4)每个人选择的图像作为训练集,剩下的7 -图像作为测试集数据5和6显示比较MPDA和其他算法的识别率,当训练样本数量在FERET数据库分别是3或4,当算法不同的投影轴。表3比较是最好的识别率MPDA和其他算法的三个脸上的数据库。它是数据所示5和6,当投影轴数量高于30日MPDA识别率总是比其他算法。此外,从表3,它可以看出MPDA达到一个更高的识别率比其他算法,进一步说明了该算法的有效性,以及理论分析的基础上,耶鲁大学的数据库。

5。结论

本文开发了一种新方法MPDA人脸识别。MPDA明显描述样本的内部管汇结构。在MPDA,我们使用模糊最近邻居法来计算隶属度为字符样本之间的相邻关系和类中心点。此外,我们还将原始样本分布信息集成到最终的特征提取过程,提高了该方法的性能。实验在ORL、耶鲁和FERET面对数据库演示MPDA在其他特征提取方法的优点。

利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作是由中国国家自然科学基金(批准号。60632050,9082004,61202318,61373062,和61373063),国家863项目(批准号2006 aa04z238),基本的关键技术项目的中国工业和信息化部(批准号E0310/1112 / JC01)。