文摘

线性回归(LR)及其变体已经广泛用于分类问题。然而,他们通常预先确定一个严格二进制标签符合样本矩阵没有自由。此外,他们无法处理复杂的真实世界的应用,如人脸识别的情况下,可能不是线性可分的样本由于不同姿势,表情,和照明条件。因此,在本文中,我们提出了内核的负面拖动线性回归(KNDLR)健壮的分类方法对噪声和非线性数据。首先,技术的负面拖了放松类标签和集成到LR模型分类妥善治疗类的传统线性回归获得强大的结果。然后,隐式映射到一个高维数据内核空间利用非线性映射由内核函数,使数据更线性可分的。最后,我们获得KNDLR方法可以部分缓解过度拟合的问题,可以执行分类对噪声和变形数据。实验结果表明,该KNDLR分类算法获得更好的泛化性能和带来更好的健壮的分类决策。

1。介绍

最小二乘回归(LSR)已经被广泛用于许多模式识别和计算机视觉领域。由于光敏电阻的数学处理和计算效率,在过去,许多变体。引人注目的光敏电阻算法包括加权LSR (1),部分LSR (2),和其他扩展(例如,非负最小二乘(NNLS) [3])。在模式识别社区,LSR(也称为最小平方误差算法4- - - - - -6]。此外,很能干的扩展最小二乘回归,如正则化最小二乘回归(7)也提出了。在扩展最小二乘回归,稀疏的回归(8和低秩回归9,10)可以获得显著的性能。回归之间的关系和其他方法,如局部线性嵌入和局部切空间排列也是研究[11]。此外,光敏电阻也应用于semisupervised学习。聂et al。12)提出了semisupervised弹性嵌入自适应损失最小化。方等。13]提出学习非负稀疏图的线性回归semisupervised学习、线性回归和图学习同时执行,以保证整体最优。

光敏电阻可以简单描述如下。传统最小二乘回归(CLSR)之前申请分类(3,14,15),分配不同的固定类标签不同类别的训练样本。然后采用最小二乘回归算法来实现映射能够将训练样本转化为近似的类标签。最后CLSR使用映射获得预测类标签的每个测试样本。除了分类问题,最小二乘回归也应用于子空间分割(16),矩阵恢复(17),和特征选择18]。

稀疏表示分类(SRC) [19- - - - - -21),最近提议,可以被看作是一种特殊形式的最小二乘回归。从光敏电阻不同,它实现了一个近似的测试样本通过一个稀疏的所有训练样本的线性组合。还合作表示(22)和线性回归分类(23)是相似的。稀疏表示在[提供的概述24]。然而,对于分类任务,因为SRC必须解决对每个样本进行分类的方程组,CLSR比SRC计算效率更高。

香等人提出了区别的最小二乘回归(DLSR) [25]。的核心思想是,最小二乘回归的概念框架下,实现更大的类保证金比类保证金使用CLSR分类算法通过使用获得的拖动技术,它在扩大中扮演类似的角色保证金和其他大型保证金分类器提出了(26- - - - - -28]。使用松弛变量的想法放松模型已广泛应用于相关的领域(29日]。当训练样本的分布是按照测试的样本,训练样本的分类器学习可以适应测试样品。条件下,由于分类器从训练样本有一个非常大的类,它也可以获得一个令人满意的类的测试样本。相应的原拖动技术可以执行。换句话说,可以产生较高的分类精度。然而,在实际应用中,由于噪声或对象的可变形性,训练样本和测试样本的区别同一个类可能会很多。例如,众所周知,脸图像是一种可变形物体(由于不同姿势、表情和光照条件)。双面人的图像相同的主题有很多差异。这种差异可能比双面人的更大的图片来自两个独特的主题。在这种情况下,大幅分类器通过使用训练样本通常不适合测试样品。换句话说,它可能表现糟糕分类测试样品。相反,减少类保证金通常达到更好的对噪声数据分类问题的分类精度。因此,我们专注于确定一个适当的保证金使用消极的拖动技术和生产一个健壮的分类器对噪声模式分类和变形数据。

此外,我们重点介绍了内核改进技巧将线性回归。在机器学习中,内核技巧是最初用来构造非线性支持向量机(svm) [30.- - - - - -32]。在过去的十多年,许多基于内核的方法被提出,如著名的核主成分分析(KPCA) [33,34)和内核Fisher判别分析(KFDA) [35]。内核的分类、玉等人提出了最近邻(KERNEL-NN)分类器36]。KERNEL-NN应用最近邻分类方法在高维特征空间中。KERNEL-NN分类器可以执行比神经网络分类器,利用适当的内核。内核稀疏表示分类(KSRC)提出(37,38]。到目前为止,通过使用内核技巧(39),几乎所有线性学习方法可以推广到相应的非线性问题。内核技巧(40)是一个大的一步异构数据分类的目标。这些基于内核算法提高计算能力的线性算法。他们第一次隐式地将输入空间中的数据映射到一个高甚至无限维的内核功能空间(18,41)通过一个非线性映射,然后执行线性处理内核功能空间的使用内部产品,可由核函数计算。因此,这些基于内核的算法进行非线性变换对输入空间。

众所周知,内核方法可以改变样本的分布的非线性映射。如果使用一个合适的核函数,内核方法能够使不同类别的数据更加线性可分的。因此,基于内核的算法可以进行分类。这让我们内核方法集成到线性回归进行分类。如果使用一个合适的核函数,更多的样本相同的类相互接近和样本不同的类是远离彼此在高维特征空间中。因此,在高维特征空间中,很容易学好一个映射,将训练样本转化为他们的类标签。即线性变换矩阵在高维特征空间可以更适当的样本映射到他们的类标签和更强大的识别能力。

基于以上两个方面,我们建议内核负面将线性回归(KNDLR)方法。KNDLR,样品先隐式映射到一个高维特征空间,然后与负线性回归拖着这个新功能空间中执行。我们证明KNDLR可以制定在高维特征空间的内积,而内在的产品可以通过核函数计算。因此KNDLR很容易实现,计算成本低。分类器可以概括因为我们提出和使用的负面拖动技术,和内核方法也集成到KNDLR。综合实验证明KNDLR的优越特性。总之,该方法的贡献如下。

标签(1)放松严格的二进制矩阵,用于常规LR松弛变量矩阵有更多的自由来适应样本。不同阶层之间的适当的利润是通过使用消极的拖动技术。以前研究人员通常专注于扩大不同阶层之间的差距,而负的拖动技术提出的我们似乎是一个新的想法相反,这有助于克服过度拟合问题,提高算法的鲁棒性上看不见的样品,例如,测试样品。

(2)内核方法也集成到我们的方法。我们在高维特征空间显示KNDLR可以制定的内部产品,和内部产品可能由核函数计算。因此KNDLR只需要计算核函数而不是直接计算高维特征空间中的数据对应的内核函数。

(3)一个名为KNDLR的算法是该方法的设计。算法的有效性测试六个图像数据集。

论文的其他部分组织如下。部分2本文简要回顾相关工作。节3,我们的方法。节4,我们的分析方法。实验结果发表在部分5。最后,部分6提供了本文的结论。

2。相关的工作

在本节中,我们首先介绍CLSR分类。然后,简要评述了内核的诀窍。

2.1。传统的最小二乘回归进行分类

的集合训练样本都被表示为一个矩阵 。是一个训练样本的形式列向量。如果训练样本是二维图像,然后转换成一个列向量。传统最小二乘回归的目标函数(CLSR)分类如下: 在哪里 ( 是类)的数量矩阵和二进制类标签吗th行的的类标签向量样本。

三级分类问题,在CLSR四个样本的类标签矩阵 表明,第一次和第二次的样品来自第一节课,第三个样本从第三类,第四个样品是第二课。是将样本矩阵的变换矩阵到类标签二进制矩阵 。 代表弗罗贝尼乌斯规范的矩阵。在上面CLSR分类,标签是预定义的和固定的类。

2.2。内核的技巧

内核机器学习技巧是一个非常强大的技术。它已经成功应用于许多方法,如支持向量机(31日,32],KPCA [33,34],KFDA [35]。通过使用内核的技巧,一个线性算法可以很容易地推广到非线性算法。

美世内核一般用于内核的方法。这是一个连续的,对称的,半正定核函数。给定一个美世内核 ,都有一个独特的再生核希尔伯特空间关联再生核希尔伯特空间理论() 。通常,美世内核可以表示为 在哪里表示的转置一个矩阵或向量,和任意两个点吗 ,和是与内核相关的隐式非线性映射函数 。在实现内核的方法,我们不需要知道就采用核函数被定义为(3)。这里的核函数学习算法和数据之间的联系。多项式线性内核,内核,高斯径向基函数(RBF)内核,和小波内核18,40,41)是常用的内核在内核的方法。多项式核的形式 在哪里是一个常数,多项式的顺序,RBF内核可以表示为 在哪里对RBF内核参数,是两个向量之间的距离。

3所示。我们的方法

3.1。解决优化模型

训练样本在输入空间中被表示为一个矩阵 。让非线性映射函数对应于一个内核 。首先,我们隐式使用从输入空间映射数据内核高维特征空间 。我们有

为分类,然后,我们应该把样本集一个类标签的矩阵。但是矩阵类标签在CLSR标签是一个严格的二进制矩阵有较少的自由来适应样本。预计最初的严格二进制约束可以轻松为软约束,因此它有更多的自由来适应样本,同时产生一个分类器泛化。为此,松弛变量矩阵这是不同于在DLSR用来代替原来的矩阵类标签 。四个样品部分2.1也作为一个例子,然后松弛变量矩阵类标签吗定义如下:

可以看出可以适当减少类CLSR推广良好的利润率。正式,让是一个拖动矩阵和定义为 与此同时,让拖动系数矩阵,定义为 然后 ,在那里阿达玛积算子的矩阵。放松成有一个想法相反的吗在DLSR拖动技术;因此,我们称这个放松的负面拖动。

由于内核的功能空间 ,我们的方法试图构建之间的一座桥梁和 。特别是,我们的目标是学习线性函数这使得 大约是满意的。因此,我们的方法有以下目标函数: 在哪里变换矩阵和吗是一个积极的正则化参数。

自是放松的 ,(10)有更多的自由比(1)符合样品。基于线性代数的知识,我们知道

很容易证明目标函数(10)是凸的。因此它有一个独特的解决方案。迭代更新算法是设计来解决这个问题。算法的第一步是去解决通过修复 。

定理1。鉴于 ,最优在(10)可以计算

证明。根据矩阵理论,最优可以获得通过的推导(10)对并把它设置为零。也就是说, 第二步我们的算法来解决通过修复 。然后(10)可以写成 。 可以通过求解优化问题如下: 在哪里 考虑到th行和th列元素的 ,我们有 根据(25),这个公式来计算是 因此,最优解是 总之,算法的第一步是去解决通过修复 ,和第二步的算法来解决通过修复 。换句话说,(12)应该计算在第一步,(15)和(18)应该在第二步计算。这两个步骤应该反复计算,直到满足终止条件。

3.2。将内核方法集成到优化模型

正如上面提到的,我们应该反复计算(12)和(18)。然而,对于(12)和(18),存在于内核的功能空间 。幸运的是,我们不需要知道并采用内核函数(3)。如何使用核函数来消除符号提出了如下。

让

通过使用以下公式(42矩阵操作): 我们使用 , ,和而不是 , ,和 ,分别有 然后,我们代入(12);因此 在哪里 。

实际上, 在(23)是不变的,因为它只取决于利用核函数,在迭代改变的;因此,为避免直接计算 ,在第一步中,我们只需要计算

第二步算法来解决通过计算(15)和(18)。用(23)(15),我们有

因此,在第二步中,我们需要计算(25)和(18)。

然后为测试样本预测的标签是

直观地说,应由迭代计算,然后利用计算预测的标签吗为测试样本 。然而,用(23)(26),我们有 在哪里 。

因为 取决于利用核函数,我们只需要计算后的迭代,迭代执行,测试样本的预测标签可以获得的(27)。正如上面介绍的,直接计算可以避免利用内核函数。

总之,我们不需要知道期间,采用核函数迭代。完整的算法是算法进行了总结1。

4所示。我们的分析方法

在我们的方法中,负面的拖动技术和内核技巧同时融入LR模型获得更健壮的噪声分类结果和变形数据。我们从两个方面分析我们的方法。

首先,我们的利润率类方法,DLSR, CLSR分类。简单的描述,四个样品部分2.1也作为一个例子。我们的方法,很明显, DLSR, 假设和有相同的组件。第一和第三个样本(他们分别属于第一和第三类),它们的类标签之间的距离可以用

DLSR,类标签之间的距离第一个和第三个样本可以用

CLSR,它们的类标签之间的距离可以用 。

我们看到,如果和具有相同的组件,DLSR类保证金而我们的方法通常有最大最小的类。换句话说,我们通常都有 。实际上,因为 ,它是绝对肯定的 。至于 下面,就可以了。首先, 。因为 通常是满意的,我们可以忽略二阶术语和 。因此,场景的背景噪声和变形数据,我们的方法可以有效地减少的概率分类器从训练样本太适合训练样本,不能适用于测试样品。换句话说,我们的方法可以得到分类器推广好,非常适用于噪声的分类和变形数据。

其次,我们现在内核技巧融入我们的方法的影响。在一些实际应用中,不同类别的样本混合起来,不是线性可分的,因为从同一个类训练样本之间的差异可能比训练样本不同课程之间的区别。例如,在人脸识别问题,面临来自同一个人的照片可能会比面对不同的图像从不同的人由于变量表达式,姿势,灯饰。这就是所谓的不确定数据的问题42,43]。在这种情况下,CLSR和DLSR不能达到良好的分类性能。内核的方法可以改变样本的分布的非线性映射。如果使用一个合适的核函数,内核方法可以使线性不可分的样本变得线性可分的。线性可分的这个词意味着不同类别的样本有很好的可分性。没错,它被称为一个线性边界如直线或平面,可以单独的不同类别的样本没有错误。

这里,内核映射集成到我们的方法,这样,在内核高维特征空间,很容易学好一个映射,将训练样本转化为它们的类标签。即线性变换矩阵得到的高维特征空间可以更适当的训练样本映射到类标签。因此,我们基于内核的方法可以进行分类。

如果两个类不是线性可分的样本,CLSR和DLSR不能达到良好的分类性能。KNDLR首先使非线性映射的数据以提高样本的线性可分性;因此KNDLR比CLSR能够获得更高的分类精度,DLSR。此外,我们的KNDLR利用核函数计算变换矩阵为测试样品和类标签而不是直接计算 。

此外,KNDLR的整体复杂性较低,虽然解决了迭代。在每个迭代中,计算成本(25),我们需要计算矩阵的逆 。自 只是依赖利用核函数,它可以预先计算的前循环进行。因此,计算的速度在(25)是非常快。此外,很明显,是一个 矩阵(是训练样本的数量),而 在CLSR或DLSR计算 矩阵(特征的数量)。因此,当样品的数量远低于特征的维数,大小的很小。因此很容易计算矩阵的逆 。如果非常高维的特性,计算矩阵的逆 将会相当耗时,消耗内存。特别是,尽管我们KNDLR方法类似于CLSR DLSR在某些方面,它是比他们更有效分类高维度数据的时候。然而,当样品的数量并不比这小得多的特性和功能维度高,大小很大。因此计算矩阵的逆 解决复杂的逆矩阵吗 和有效KNDLR CLSR和DLSR几乎是一样的。

5。实验

在我们的实验中,KNDLR与CLSR相比,DLSR, NDLR (KNDLR没有内核技巧),内核支持向量机((支持向量机)31日),最近邻方法(资讯),非负最小二乘法(NNLS)提出了3),基于稀疏表示的分类(SRC (l1_ls))和基于线性回归的分类。我们用五面对手写数字图像数据库和数据集,即佐治亚理工学院(GT)、FERET, LFW, AR, YaleB, MNIST数据集。两个数据集的子集,可以在“http://www.cad.zju.edu.cn/home/dengcai/Data/data.html”,被用来执行我们的实验。所有方法都是直接上执行图像,没有提前从图像中提取特征。我们的方法、CLSR DLSR, NDLR都有一个参数 。参数被设置为0.0001,0.0005,0.01,0.02,0.03,0.04,0.05,0.06,0.07,0.08,0.09,0.1,0.2,0.3,0.4,和0.5,分别。给出了每种方法的最佳精度比较。阈值设置为0.0001。对于KNDLR,我们使用多项式核 AR, LFW YaleB, MNIST和高斯径向基函数(RBF)的内核 分别对GT和FERET。多项式的参数内核和分别设置为1和2。RBF核函数的参数设置为中值的价值 , ,在那里是所有训练样本的均值。为支持向量机、包libsvm - mat - 3.0 - 1。函数的libsvm_options“svmtrain”设置为“021.0 ”,“2”表示高斯径向基函数(RBF)的内核。hyperparameter的价值被选中的候选人吗通过交叉验证的方法。然而,被设置为1,欧氏距离度量被用来找到最近的邻居。

5.1。实验GT数据库

佐治亚理工学院(GT)面对数据库包含750张图片来自50个主题。每个主题15面图像。图片显示额和/或倾斜面临不同的面部表情,照明条件和鳞片。图1提出了一些面临来自GT的脸的图像数据库。在我们的实验中,数据库中的所有图像被手工裁剪和调整大小以30×40。图像裁剪后,大部分的复杂背景被排除在外。他们进一步转化为灰度图像进行训练和测试。

在我们的实验中,我们随机了 面对每个主题的图像作为原始训练样本,分别处理剩余的脸图像作为测试样本。对于每个给定的 ,我们采取分类率的平均值计算从10随机分割作为最终分类率。实验结果展示在表1。从这个表中,我们可以得出结论,该方法获得最好的分类精度。

5.2。在FERET实验数据集

FERET面临数据集的一个子集用于实验。这个子集包括1442脸图像从206年主题,每个主题都有七种不同的脸图像。这个子集由图像的原始FERET面临数据集的名字是标有双字符字符串:“ba”,“bj,”“汉堡王”,“,”“男朋友”,“bd,”和“bg”。图2显示了一些形象的例子。我们大小都面临到40×40矩阵图像。

在我们的实验中, 每位受试者被随机的样本作为训练样本,其余样本作为测试样本。对于每个给定的 ,我们采取分类率的平均值计算从10随机分割作为最终分类率。分类精度的实验结果如表所示2。表2表明我们的方法优于其他方法。

5.3。伦敦时装周的实验数据集

伦敦时装周的数据集是不受约束的人脸识别人脸图像数据集。图片在这个数据集不同服装,姿势,和背景比其他数据集。有超过13000张面孔图片从网上收集。每个面图像手动标记。我们只使用一个子集组成的1251张图片从86名被试进行实验。图3显示了一些示例图像。每个图像裁剪和缩放到32×32形象。

与一个随机子集 与标签图像每个被形成训练集,和其余的数据库被认为是为每个给定测试集。 ,有10个随机分裂。分类率的平均值计算从10随机分裂为最终的分类速度。分类精度表所示3。很明显,我们的方法执行比其他方法。

5.4。实验上的基于“增大化现实”技术的数据集

AR数据集包含了超过4000的脸的图像126例,包括额叶的观点面临不同的面部表情,照明条件和闭塞。我们只使用一个子集组成的3120张图片来自120个主题,每个主题都有26个不同的面孔图像。图4显示了一些示例图像。每个图像裁剪和缩放40×50图像。

与一个随机子集 与标签图像每个被形成训练集,和其余的数据库被认为是为每个给定测试集。 ,有10个随机分裂。分类计算从10年平均增长率随机分裂为最终的分类速度。分类精度表所示4。很明显,我们的方法执行比其他方法。

5.5。YaleB面临数据集上实验

对于这个数据库,我们只是使用裁剪图像和调整 像素进行实验。图5显示了一些示例图像。

与一个随机子集 与标签图像每个被形成训练集,和其余的数据库被认为是为每个给定测试集。 ,有10个随机分裂。分类计算从10年平均增长率随机分裂为最终的分类速度。分类精度表所示5。很明显,我们的方法执行比其他方法,除了SRC。然而,SRC很耗时间,所示部分5.7。

5.6。MNIST数据集上实验

MNIST数据库的手写数字的页面有一个雅安·勒存培训组60000例和10000例的测试集。我们只使用一个子集组成的第一2 k训练图像和2 k测试图像进行实验。每个图像的大小 256像素,每个像素灰度值。因此,每个图像是由784维向量表示。图6显示了一些示例图像。分类精度的实验结果如表所示6。从这个表中,我们可以得出结论,该方法获得最好的分类精度。

5.7。计算时间

上述实验进行一个英特尔机(核心(TM) i5 - 6600 CPU, 3.30 GHz, 8 GB RAM,与中国64位赢得10操作系统)。所有方法,除了支持向量机方法,是2010年由软件MATLAB实现。C语言中的libSVM3.0工具箱用于执行支持向量机。除了分类精度,因为每个方法的计算时间明显不同,我们选择实验GT和基于“增大化现实”技术的每个方法的计算时间。GT数据库只包含少量的样本,而基于“增大化现实”技术的数据库包含一个相对大量的样本,代表两种不同的情况。这里,每个方法的计算时间是花在学习的时间的总和样品和时间花在新的样品当训练样本和测试样本的分类。我们使用MATLAB指令tic和toc的时间。表7显示了GT和表上的方法的计算时间8表明,在基于“增大化现实”技术。

首先,它可以清楚地看到,我们的KNDLR DLSR方法非常快,CLSR, NDLR,支持向量机,然而,GT有少量的样品和AR有相对大量的样本。第二,KNDLR NNLS和SRC要快得多,尤其是在基于“增大化现实”技术。第三,表明KNDLR计算时间的基于“增大化现实”技术仅仅是一个小的时间比在GT,而计算时间基于“增大化现实”技术的一些方法,如NNLS和SRC,远长于GT。特别是,SRC变得非常耗时当样品的数量很大。效率的方法的原因之一是,在我们的方法中,学习的过程只执行一次,然后对分类结果保存所有新样品。SRC需要学习所有训练样本的线性组合为每一个新的样品;因此,当样品的数量很大,SRC非常耗时。这表明我们的KNDLR高效。

5.8。参数λ和收敛性

为了进一步说明KNDLR的属性,不同的值对应的分类精度和收敛性是如图7和8分别在哪里代表,第一样本用于培训和剩余的测试。KNDLR、DLSR CLSR对方在某种程度上是相似的。所有这些应用最小二乘回归和正则化参数 。在图7,这是表明KNDLR相对要更健壮比DLSR CLSR。特别是,GT FERET、AR和MNIST,利用获得的分类精度KNDLR不同在一个小范围内。它也观察到一个相对较大的值不能带来更多更好的分类准确性和可能是有限的( ]。在真实的应用程序中,使用交叉验证方法确定的最优值从这个范围。更重要的是,在图8,结果表明,六个数据集KNDLR收敛速度非常快,尤其是在FERET数据库。

6。结论

本文提出了一个内核的负面拖动线性回归模式分类方法,同时综合负的拖动技术和内核方法为强劲的线性回归模式分类条件下之间的一致性和兼容性测试样本和训练样本是可怜的。消极的拖动技术学习分类器与一个合适的利润率从背景噪声和变形数据。与此同时,内核方法可以使线性不可分的样本变得线性可分的。基于的负面影响拖动技术和内核协作,我们的方法可以更好地执行分类为背景噪声和变形数据。全面的六个不同的数据集实验证明提出KNDLR优于现有LR的分类方法和其他一些常用的方法,如支持向量机、NNLS, SRC,领头,KNDLR是有效的。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是由中国国家自然科学基金(号。61672333,61402274,41471280),该计划陕西省重点科技创新团队(没有。2014 ktc-18),陕西省的关键科学和技术项目,中国(没有。2016 gy - 081),基础研究基金为中央大学(没有。2017 csy024),工业大学合作教育项目教育部高等教育部门(没有。201701023062),陕西师范大学学习科学的跨学科孵化项目。