文摘

Semisupervised判别分析(SDA)是一个Semisupervised降维算法,这可以很容易地解决样本外的问题。相对工作通常专注于数据点的几何关系,不明显,加强SDA的性能。不同于这些相对作品,正规化图建设研究,图论semisupervised学习方法是很重要的。在本文中,我们提出一个新颖的图Semisupervised判别分析,被称为煤和最近的邻居(LRKNN)图。在LRKNN图,我们将数据映射到空间然后LR特性采用SDA满足算法的要求。自从全球结构和低秩表示可以捕获最近邻居算法能最大限度地保存数据的局部几何结构,LRKNN图可以显著提高SDA的性能。广泛的多个实际数据库实验表明,该LRKNN图是一种有效的图形构造函数,它可以很大程度上比其他常用的基线。

1。介绍

现实世界的数据挖掘和模式识别应用,带安全标签的数据时非常昂贵的或很难获得,而无标号数据通常是丰富的和可用的。所以如何改善学习性能使用大量的未标记数据(引起了相当大的关注1,2]。Semisupervised在整个数据集降维可以直接使用,不需要训练集和测试集(3]。

被semisupervised学习(4- - - - - -6),Semisupervised判别分析(SDA)首次提出了Cai et al。2]。它可以很容易地解决样本外的问题7]。在SDA算法,标签样本用于最大化不同类别reparability和无标号的估计数据的内在几何信息。从那以后,提出了多种semisupervised LDA。张、杨提出SSDA [3使用基于路径相似度衡量)。以类似的方式,SMDA [8]和UDA [9)执行LDA semisupervised设置下廖正规化。和[6)利用未标记数据来最大化的最优性准则LDA和使用限制凹凸过程来解决优化问题等等。

尽管这些方法以不同的方式执行semisupervised LDA,它们都需要整个数据之间的几何关系通过构造一个正规化的图。图像显著影响这些方法的性能。然而,很少有人注意到图构造函数的方法。所以在本文中,我们研究SDA的正规化图构造问题[2]。下面我们总结我们的主要贡献。(我)灵感来自低秩表示(远程雷达)(10)和最近邻居算法,称为低秩和我们构造一个新的图最近的邻居图。远程雷达共同获得的代表所有的样品在全球低秩约束。因此,善于捕捉全球数据结构。(2)自是用来满足SDA的算法要求,局部几何结构的亲和力可以最大限度地保留在使用LRKNN图。(3)大量真实数据集的实验表明,我们建议的LRKNN正规化图可以显著提高Semisupervised判别分析的性能。

剩下的纸是组织如下。我们在部分简要回顾相关工作2。我们给初步的部分3。然后,我们介绍了煤和相结合最近的邻居图构造框架部分4。然后一节5报告实验结果在实际数据库的任务。节6,我们的结论。

2。相关工作

提出了一种结合煤和最近的邻居图来提高Semisupervised判别分析的性能。我们的工作与两个Semisupervised判别分析改进技术和图线设计。我们简要讨论。

Cai et al。2SDA)提出了一个semisupervised降维算法,它捕获数据降维的局部结构。张、杨提出SSDA [3)使用基于路径相似度衡量捕捉全球歧管的结构数据。在SMDA工作(8]和UDA [9还]执行semisupervised LDA歧管正规化。聂et al。11)提出了一种正交约束semisupervised正交判别分析方法。Zhang et al。1)利用必须关联约束或cannot-link约束来捕捉数据集的底层结构。歌等。5]利用标记数据发现类结构和利用未标记数据捕捉内在当地几何。概率Semisupervised判别分析(PSDA)算法由Li et al。12),利用未标记样本近似类结构而不是当地的几何。在工作(13),Dhamecha等人提出了增量Semisupervised判别分析算法,它利用未标记数据支持增量学习。工作(14基于PSDA)开发了一个基于semisupervised学习方法进行降维。

我们的工作还与另一条线的研究,有关图形导体的设计。提出了图建设有许多方法,包括基于最近邻居法和基于球的方法(15)这是两个最受欢迎的邻接图施工的方法。基于这两种方法,各种方法如热内核(15和逆欧几里得距离16用于设置图中边的权值。然而,所有这些方法都找到成对欧几里得距离,噪音非常敏感数据。此外,因为只有当地成对考虑数据点之间的关系,构造图不能充分揭示样本之间的聚类关系。燕等人提出了一个通过稀疏表示(图10,17]。一个图在一个数据集是派生的编码每个数据的稀疏表示剩余的样品。在工作(18)、壮族等人提出了一个新颖的方法来构建一个信息低秩图(LR-graph) semisupervised学习。高和施工方法等人提出了一个新颖的图通过组稀疏(19]。李和傅20.)开发了一个方法来构建基于低秩编码和当日约束,提出了一个新颖的基于监督正规化健壮的子空间(从)通过低秩的方法学习21]。赵等人提出了一个新颖的方法来构造稀疏图块约束的脸表示,名叫SGB [22]。稀疏、煤基于判别分析(SLGDA),提出了结合稀疏和低繁茂同时维护全球和局部结构(23]。在工作(24),李和傅整合资讯约束当日约束到低秩表示模型的平衡或不平衡图。我们专注于构建一个小说对SDA图,使用远程雷达捕获数据,然后利用资讯算法满足的算法要求SDA。

我们最密切相关的工作是基于低秩Semisupervised判别分析(25,这是我的先前的研究。的远程雷达用作内核KSDA [2]。在目前的工作中,我们提出了一个新颖的图Semisupervised判别分析,被称为煤和最近的邻居(LRKNN)图。在我们的LRKNN图,采用SDA满足算法的要求。自从全球结构和低秩表示可以捕获最近邻居算法能最大限度地保存数据的局部几何结构,因此LRKNN图不仅可以捕捉全球结构数据的本地信息,这可以在很大程度上提高SDA的性能。

3所示。初步

3.1。SDA的概述

给定一组样品,在那里,第一个样品标签,剩下的没有标记的。他们都属于类。SDA方法(2)希望能找到一个拒绝矩阵之前,激励提出假设的一致性的正则化项。目标函数如下: 在哪里和总类是类间散射和散射矩阵。和是在类定义为散射矩阵。

的参数在(1)平衡模型复杂性和经验损失。正则化项向美国提供的灵活性结合先验知识的应用。我们的目标是在建设图结合流形结构通过可用的标记样本。

给定一组样品,我们可以构造图代表附近的样品之间的关系。然后把之间的边缘最近的邻居。相应的权重矩阵定义如下: 在哪里表示的集合最近的邻居的。然后词可以定义如下: 在哪里是一个对角矩阵的条目列(或行自是对称的)的总和;也就是说,。拉普拉斯算子矩阵(10)是。我们可以得到目标函数的SDA规范术语: 通过最大化的广义特征值问题,我们可以得到射影向量。

3.2。低秩表示

燕和王提出了低秩表示和用它来构造的一个无向图上的相似之处(这里称为LR-graph) (10]。都共同获得的代表性样品在全球低秩约束,因此最好是在捕获全局数据结构(16]。

让是一组样本;每一列是一个示例,可以表示为一个线性组合的字典(26]。在这里,我们选择样本本身随着字典: 在哪里系数矩阵每个吗系数是表示。远程雷达寻求最低等级的解决方案,解决以下优化问题[26]: 上述优化问题可以放松以下凸优化(27]: 在这里,表示核规范(或跟踪规范)(28的一个矩阵,矩阵奇异值的总和。通过考虑噪音或腐败在我们真实的应用程序中,一个更合理的目标函数 在哪里可以是规范或规范。在本文中,我们选择规范的定义为测量误差项。的参数是用来平衡低等级和误差项的影响。最优解可以通过不精确的增广拉格朗日乘数法(ALM)方法(29日,30.]。

3.3。最近邻居算法

样品和被认为是邻居如果是最近的邻居的或是最近的邻居的。有不同的方法来分配权重。以下是三个。(我)逆的欧几里得距离16)(这里我们称之为KNNE来区分不同的): (2) 权重(15(这里我们称之为KNNB),它用于原始SDA: (3)热内核权重(15](这里我们称之为KNNK): 在哪里表示邻居的邻居在(10),(11)和(12)。使用这种正规化(12),局部几何结构的亲和力可以最大限度地保留。

4所示。算法

4.1。低秩和最近的邻居(LRKNN)图构造函数算法

如何找到一个合适的子空间分类是一个重要的任务,我们所谓的降维。降维的目的是为了寻找图的标签,这是符合最初的标签和数据的几何结构(边缘和权重)。

这些提议SDA方法总是分析的关系数据使用one-to-others模式。例如,最常见的最近的邻居图只显示边缘和重量图应该是1,或图和图(SR-graph)确定图结构重量的限制规范或规范。和图缺乏全局约束,这大大降低了性能数据时严重损坏。为了解决这个缺点,刘等人提出了低秩表示的亲和力和用它来构建一个无向LR-graph [26]。LR-graph共同获得的代表所有的样品在全球低秩约束,因此最好是在捕获全局数据结构(31日]。

LR-graph以来,图,图是不对称的矩阵,为了满足SDA的算法要求,类似图均衡过程是经常使用在前面的作品;也就是说,。由于远程雷达是善于捕捉全球数据结构和局部几何结构可以最大程度地保护最近邻居算法,在这里,我们提出了一个新颖的解决方案使用最近邻居算法满足算法的要求。所以结合LRKNN方法可以很大程度上提高性能。热内核权重(15这里使用)。

4.2。使用煤和SDA最近的邻居图

图结构显著影响这些SDA-likely方法的性能。然而,很少有人注意到图构造函数的方法。所以在本文中,我们提出一个新颖的低秩和相结合最近的邻居图算法,很大程度上提高了SDA的性能。

首先,标记和未标记数据映射到LR-graph特征空间。其次,获得对称的图形最近邻居算法在热内核使用加权。通过选择适当的内核参数,它可以增加同类样本之间的相似性和组内的样本之间的差异。然后实现SDA降维算法。最后执行的最后分类的最近邻方法派生的低维特征子空间。算法过程描述如下1。

5。实验和分析

检查在SDA LRKNN图算法的性能,我们进行了广泛的一些真实数据集的实验。在本节中,我们介绍我们使用的数据集,我们进行的实验,分别;那么我们现在的实验结果以及分析。实验是进行机器与英特尔的核心cpu 2.60 GHz和8 GB RAM。

5.1。实验概述

5.1.1。数据集

我们评估该方法4真实数据集包括三脸上数据库和USPS数据库。在这些实验中,我们正常的样本单位规范。

(我)ORL数据库(10]。ORL数据库包含10个不同的图像的每个40个不同的主题。图像在不同的时间,不同的照明,面部表情,面部细节。每个面图像是手工裁剪和缩放到32×32像素,每像素256灰色的水平。

(2)延长耶鲁脸数据库B (32]。这个数据集现在有38个人和大约64附近额图像在不同的灯饰/个人。每个面图像的大小为32×32像素。我们选择第一个20人,选择20样品的每个主题。

(3)中央派面对数据库(2]。它包含68例41368脸图像。面对捕获图像在不同姿势下,灯饰,表达式。每个图像的大小调整到32×32像素。我们选择第一个20人,选择20样品/主题。

(四)USPS数据库(33]。USPS手写数字数据库包含9298是一个流行的子集,总共16×16手写数字图像。在这里,我们随机选择300例的实验。

5.1.2中。比较算法

为了演示SDA LRKNN相结合可以提高降维性能的图,我们列出一些图表还包括结合SR和米歇尔KNNK算法和算法(没有分开)老,米歇尔和KNNK比较。单独的LR、SR和米歇尔算法,前面的均衡过程这里使用SDA满足算法的要求,用于以前的作品。

(我)SR-Graph [29日]。SR-graph认为重建系数的稀疏表示通过解决以下问题:。被定义为图重量。

(2)LLE-Graph [34]。LLE-graph考虑重建的情况从邻国分样本,然后最小化了重建误差。 如果不属于的邻居吗。最近的邻居的数量设置为4。

(3)KNNK图(29日]。我们采用欧氏距离作为相似性度量,使用高斯核给边缘。最近的邻居的数量设置为4。同样,原SDA使用KNNB图也设置为4。

5.2。实验1:SDA使用不同的正则化图形的表现

检查的有效性提出了SDA LRKNN图相结合,我们的四个数据库上进行实验。在我们的实验中,我们随机选择样本每个类30%作为标记样本评估性能和不同数量的选择功能。评估是为每个算法进行了20个独立运行。我们平均作为最终结果。首先,我们利用图施工方法的不同项,然后我们实现SDA降维算法。最后,最近邻方法是用于最终的分类在派生的低维特征子空间。对于每个数据库,分类精度不同的图形如图1。表1显示了不同的图算法的性能比较。请注意,所有这些不同的结果是最好的结果选择上面提到的特性。大胆的数字代表不同的图算法的最佳效果。从这些结果,我们可以观察到以下几点:(我)在大多数情况下,我们建议LRKNN图一致达到最高的分类精度比其他图形。结果表明,分类精度远高于其他图算法。所以提高分类的性能在很大程度上,这表明LRKNN图更有意义和适合SDA。(2)在大多数情况下,合并后的性能算法总是优于单独的算法(没有),这意味着我们提出图构造方法的总和算法是非常有效的,特别是对于远程雷达算法。(3)自从SR-graph (图)缺乏全局约束,性能改善不明显,即使它是结合算法。(iv)在某些情况下(也许某些足够的高维度),传统的构造图等方法图和LLE-graph可能实现良好的性能在某些数据库,但他们不像我们一样稳定算法。

表2显示了执行时间提到的八个方法。我们计算总时间20独立运行10特性。和表2给出的平均运行时20分10特性。我们可以看到,虽然我们的算法比传统的慢算法,性能比这些基线算法在一个可接受的运行时。

5.3。实验2:参数设置

我们检查热内核参数的影响在LRKNN, SR -米歇尔-,KNNK图。我们改变图的参数并检查四个数据库的分类精度。我们也选择30%的样本来评估每个类的分类性能。20的评估进行独立运行和平均结果。我们采用的平均结果10节中提到的不同数量的选择功能5.2最终结果,如图所示2。我们可以看到,分类精度受内核参数的影响。

我们也评估的性能不同的LRKNN最近邻数据图,即价值为算法。这里我们在ORL数据库上进行实验和扩展耶鲁面对数据库b .上述实验过程是一样的。我们采用平均20个不同的结果作为最终结果,如图3。我们可以看到,分类精度提高的增加数量的最近的邻居。当最近的邻居达到一些数字3或4,性能略有降低,因为我们选择4的数量最近的邻居在我们的实验。

5.4。实验3:标签数量的影响

我们评估这个分段的标签数量的影响。进行的实验是为每个算法与20个独立运行。我们平均作为最终结果。实验的过程是一样的部分5.2。大胆的数字代表了最好的结果。和数据库标签后的百分比数率。对于每个数据库,我们不同的标记样本的比例从20%降至50%,识别精度如表所示3,我们观察以下。

在大多数情况下,我们建议LRKNN图一致达到最好的结果,这是健壮的标签百分比变化。,值得注意的是,即使在非常低的标签率我们的方法可以达到较高的分类精度,而相比其他算法不像我们健壮LRKNN算法特别是标签率很低。因此,我们提出的方法与传统的构造图方法相比有很大的优势。有时,这些传统的方法可以实现良好的性能在某些数据库与速率足够高的标签。但他们并不像我们一样稳定算法。由于带安全标签的数据时非常昂贵和困难,我们提出了SDA图算法更健壮和适用于现实世界的数据。

5.5。实验4:LRKNN图的性能与不同重量的方法

我们评估的性能不同的减肥方法中提到的部分5.2为我们LRKNN图。我们为每个算法进行20个独立运行。我们平均作为最终结果。实验的过程是一样的部分5.2。对于每个数据库,我们展示三种减肥方法的性能(KNNE KNNB, KNNK)为我们LRKNN图在图4,我们观察以下。

总的来说,基于KNNK LRKNN图相比其他两个达到最好的结果方法。我们可以看到,在一些数据集的性能差距三个方法是非常小的,而在其他一些数据集的性能差距要大得多,因为KNNE和KNNB不能捕捉当地在一些数据集结构很好。他们不像KNNK算法稳定,因为在这里我们选择热内核LRKNN图的加权方法。

5.6。实验五:不同类型的噪声鲁棒性

在这个测试我们比较不同图形的表现在嘈杂的环境中。扩展耶鲁面对数据库B是本实验中使用。高斯白噪声,“盐和胡椒”噪音,和乘法噪声分别添加到数据。高斯白噪声均值为0,方差不同从0到0.1。“椒盐”噪声添加到图像具有不同噪声密度从0到0.1。和乘法噪声添加到数据使用方程,在那里和原始和噪声数据和吗均匀分布随机噪声平均值为0和不同方差从0到0.1。

标签样本的数量在每个类是30%。每个图的实验进行了20分。我们平均作为最终结果。实验的过程是一样的部分5.2。大胆的数字代表了最好的结果。对于每一个图,我们改变参数不同的噪音。结果如表所示4,5,6。我们可以看到,我们的方法的结果是稳定的高斯噪声,“盐和胡椒”噪音,和乘法噪声。因为低秩表示噪声的鲁棒性,我们的方法LRKNN比其他图表更健壮。与不同种类的逐渐增加噪音,几种方法的性能下降很多,而我们的方法的性能强劲,减少与增加噪音小。

6。结论

在本文中,我们提出一种新颖的低秩和相结合最近的邻居图算法,很大程度上提高了SDA的性能。的远程雷达可以自然地获取全球结构数据。和最近邻居算法能最大限度地保存数据的局部几何结构。因此,它可以很大程度上改善使用性能算法来满足SDA算法的要求。实证研究在四个真实数据集的节目,我们提出了Semisupervised LRKNN图判别分析更健壮,适合实际应用。

相互竞争的利益

作者宣称没有利益冲突有关的出版。

确认

这项工作是由中国国家自然科学基金(没有。51208168)、天津(没有自然科学基础。13 jcybjc37700)、河北省自然科学基金(没有。E2016202341,不。F2013202254,没有。F2013202102),河北省学者(没有返回的基础。C2012003038)。