文摘
依赖于功能可以提供有效的和可翻译的信息依赖于数据,如图像。依赖于核主成分分析(MKPCA)是一种提取依赖特性。提取的依赖特性是有用的降维与空间统计分析的图像。相比之下,MKPCA高度的效率受到给定矩阵的维度数据和训练集的大小。在这篇文章中,增量方法提取特征提出了一个基于矩阵的数据集。该方法十分符合MKPCA和选择适当的投影矩阵可以通过逐步提高效率的MKPCA当前子空间旋转。该方法的性能评估进行几个实验在两个点和图像数据集。
1。介绍
子空间分析有助于网络在计算机视觉1,2和数据建模问题3和社交网络4]。AlexNet [5)是一种利用主成分分析(PCA)的先锋,一个基本的子空间分析方法,帮助改善他们的表现复杂网络。它执行PCA的RGB像素值在整个ImageNet减少过度拟合训练集图像数据的数据扩充。PCANet [6)采用PCA学习多级滤波器的结构。PCA的架构是非常轻松高效地设计和学习。基于主成分分析的分析方法可以灵活地应用于设计神经网络的体系结构7- - - - - -9]。在复杂网络中,训练图像卷积诱导功能地图,和一些通道拼接功能可以被认为是依赖于数据。改善依赖于子空间方法和学习之间的关系依赖于主成分分析和基本的基于矢量的一个可能为网络提供一个参考。
常规的PCA是一个线性的方法,它只利用一阶和二阶统计数据。因此,其建模能力是有限的,当面对高度非线性数据结构。增强其建模能力,基于矢量的内核主成分分析(KPCA) (10,11提出了]。它提高了PCA的性能建模的非线性映射的数据从原始空间非常高维的特征空间,所谓的再生核希尔伯特空间再生核希尔伯特空间理论()。非线性映射允许隐式特征的高阶统计信息,可以灵活地结合其他学习方法(12- - - - - -14]。内核方法的核心思想是避免显式映射函数的知识通过评估特征空间的内积使用核函数。基于矢量的KPCA需要向量作为输入。矩阵数据,如二维图像、矢量化到一个向量在被送入内核的方法。这样的向量化废墟像素的空间结构,定义了二维图像。带回的矩阵结构,依赖于KPCA (15]提出了结合二维主成分分析(2神龙公司)(16)与内核的方法。依赖的KPCA可以推广基于矢量比基于矢量的KPCA KPCA和可以提供丰富的表示。
是他们的优势依赖于KPCA方法使我们能够研究空间数据的矩阵。然而,格拉姆矩阵的大小依赖于基于矢量的KPCA的KPCA比这大得多,这意味着批量问题的基于矩阵的KPCA比基于矢量的KPCA的更严重。对于依赖于KPCA,格拉姆矩阵提供eigendecomposition过程才能进行。添加额外数据,增加新行和列所需新格拉姆矩阵和eigendecomposition必须进行规模增长矩阵。此外,主成分向量必须支持的所有矩阵的输入数据集。这导致高成本对于存储资源和计算工作负载在进行大型数据集的应用程序和输入矩阵与大尺寸。
在过去的十年中,已经提出的一些策略和方法提高基于矢量的KPCA的批处理自然,如kernelize广义Hebbian算法的方法(17,18)的方法计算KPC增量(19- - - - - -21],贪婪的KPCA方法[22,23),自适应KPCA方法(24]。近年来,基于KPCA方法仍然有着强大的生命力(25- - - - - -27),而抵消的巨大批性质的方法依赖于KPCA是罕见的。依赖的KPCA可以加速使用这个想法提出了改进KPCA (28]。然而,这并不意味着依赖于KPCA计算解决,因为eigendecomposition的大小还取决于数据集的大小。因此,这种方法适应矩阵数据的批处理自然和高效的计算是必需的。
本文提出了一种增量式依赖于KPCA (IMKPCA)方法近似传统有更少的计算时间和内存使用情况提取内核主要在一定精度下的向量。本文的贡献是在三个点:(1)该方法通过总散射矩阵实现避免直接操作的格拉姆矩阵依赖KPCA。这就是激励我们IMKPCA提出的想法。(2)我们的解决方案的基础是逐步调整当前的特征向量矩阵的总散射矩阵的数据集。这项工作可以通过分解完成并行矩阵数据到一个组件添加到先前的特征向量矩阵和正交组件。与此同时,标准方法直接计算散射矩阵。(3)提出了基于矩阵特性可以用来研究空间数据的矩阵在可接受的计算复杂度和内存使用。然而,基于矢量的不能。
本文的其余部分组织如下。基于矩阵的预赛KPCA简要介绍部分2。然后,增量依赖于内核提出了子空间方法第三节,其次是所示的实验结果第四节。最后,给出了结论第五节。
2。预赛
和分别指的是水平和垂直串连。矩阵和矩阵的表达式的数据集可以简化使用和在[15]。
为一个矩阵 ,在哪里和分别行和列的数量,我们定义它的kernelized矩阵 作为 ,在哪里是 - - - - - -th列和是一个非线性映射的来 。
点积矩阵 两个kernelized矩阵和被定义为 在哪里 。
我们首先获得一个矩阵数据集:块矩阵 ;依赖的想法KPCA表现二维主成分分析(16在特征空间), 是 - - - - - -矩阵数据的数据集。
假设数据集是kernelized 和它是集中在特征空间(稍后我们将回到这一点),它的总散射矩阵估计
考虑到映射函数无法计算的隐式,KPC通过执行eigendecomposition直接。原因是非线性特征空间的基数非常大,它通常使矩阵等级不足。基于矩阵的KPCA绕开KPC遵循的标准方法15格拉姆矩阵)和一个eigendecomposition问题 是在实践中主要特征向量来计算 。假设 是一个矢量的矩阵呢 ;也就是说, 是一个单元和相应的特征值特征向量随着 - - - - - -th最大特征值或 。然后最重要的依赖KPC在特征空间的矩阵形式 在哪里 是 - - - - - -th的列 , 矩阵的列 ,和 是一个对角矩阵的对角元素是什么 。然后总散射矩阵的形式 。对于一个给定的矩阵 作为一个测试数据,kernelized形式 ,它的 - - - - - -主成分向量对应是计算
方程(5提出IMKPCA)是一个关键因素,因为一个显式的函数形式不是必需的。这意味着给定矩阵的主成分向量数据到依赖于KPC可以解决完全由内核函数。基于方程(5),一个投影方向,IMKPCA输出一个主成分向量,向量的维数等于输入矩阵的列的数量。相比之下,基于矢量的KPCA输出一个投影方向的主成分值(11]。在下一节中,我们将展示如何更新依赖于KPC在特征空间中根据新数据的预测。
3所示。增量依赖于内核主成分分析
在本节中,递归依赖KPC配方选择改进的批处理特性依赖于KPCA。我们描述最初的依赖KPC以增量方式可以更新。详细的过程和优越性与标准相比同行以下部分所示。
3.1。依赖于KPC的递归公式
假设当前的数据作为一个块矩阵 和新数据 给出了更新。我们开始递归的总散射矩阵:
基于方程(4),可以分解成一个组件平行和正交组件 ;也就是说, 在哪里的矩阵投射到依赖于KPC和的矩阵预测到的正交补空间 。
基于KPCA的想法(6,18,29日),大约主成分可以扩展的一些训练样本在特征空间中。这意味着可以重建张成的子空间 ,前面的依赖KPC和可以建模为噪音。然而,我们已经 在哪里可以计算代替吗与在方程(5)。然后,当前依赖KPC可以通过旋转之前的依赖KPC保存的总散射 最忠实地。
3.2。依赖于KPC的旋转
观察的效果的关键在前面的依赖KPC可以由一个旋转。然后,基于方程(7)和(8),我们有
替换之前的依赖KPCA的结果 与方程(9)方程(6),我们得到
表示矩阵的eigendecomposition 作为 ,在哪里 是一个标准正交矩阵和 是一个对角矩阵;方程(10)成为
因此,基于 与方程(11),依赖于KPCA系统的总散射矩阵方程(6)是递归的
在方程(12),代表依赖KPC的定向变异所致和代表比例变化更新的基于矩阵的KPC的组件。从方程(12),我们依赖于KPC旋转到最忠实地保持给定的总散射数据的时候前依赖KPC是线性无关。
3.3。递归公式与更新
为了简单起见,在特征空间中提供了集中的假设前分析。然而,假设往往是无效的。原因是均值矩阵映射数据的特征空间添加新的数据更新时总是变化。丢弃这个假设在特征空间中,我们得到的 在哪里 和 表示的意思是矩阵的映射数据和当前映射数据,分别。
在总散射矩阵 ,映射矩阵数据 是集中与当前矩阵意味着什么而不是前面的意思是矩阵使用的总散射矩阵 。因此,递归公式方程(6)申请是无效的。幸运的是,我们有
后的散射矩阵更新在增量学习30.),它可以很容易地实现递归公式的意思是更新依赖于KPC的总散射矩阵具有以下形式:
递归依赖KPC制定方程(15)可以计算方法后,在前面的小节中,和更新配方可以完全通过模仿获得方程(7)∼方程(12)。映射矩阵应该投射到方程(7)和(8),即。,the eigendecomposition of matrix 在方程(10eigendecomposition)应该被替换的矩阵 更新, 是 - - - - - -的主成分向量和可以通过方程计算(5)如下:
递归公式方程(12)是一个意味着提出依赖于KPC的更新。
在随后的实验部分,对于一个给定的依赖于数据集,选择矩阵数据作为原始数据的一部分 和其余的矩阵数据作为新的数据 先后更新当前的主成分。
4所示。实验
几个实验来检验该方法的四个属性:(1)近似KPC在固定数据的有效性;(2)参数的影响在该方法下MNIST和时尚MNIST数据库;(3)优势与多个参考方法在一些著名的数据库相比,时尚MNIST [31日],ORL [32],YaleA [33],延长[34],PF01 [35),线圈100 (36];和(4)效率与参考方法相比对时尚产品的时尚MNIST数据库。
为了测量方法的准确性在近似MKPCA和客观地评估解决方案的质量,基于距离测量的主要内核组件之间的角度是受雇于本节如下: 在哪里地面的真相吗 - - - - - -th主要内核组件标准MKPCA方法和计算是 - - - - - -th内核提取主成分计算的方法。
IMKPCA可视化能力的描述给定数据建设,二维固定设置和依赖于数据集都是必要的,因为一个二维数据矩阵是一种特殊的数据。在部分4.1和4.2,实验主要是基于两个生成的二维数据集。在部分4.3和4.4,实验是基于依赖于数据集。高斯核函数 在这一节中使用。两种类型的矩阵数据 和 ,点积矩阵 他们是 节中提到的2。
4.1。固定数据近似精度
90年玩具数据上的实验进行(10)在测试该方法的有效性在近似精度。生成的数据是在固定环境中以下列方式: - - - - - -值均匀分布 , ,和 - - - - - -值是生成的 , ,在哪里是正常的噪声标准偏差为0.2。我们计算的主要内核组件标准MKPCA [15],基于矢量的KPCA [6分别,该方法。测试数据的值投影给出了数据提取的内核主要组件1和2。图1包含主成分值的等值线(等值线)。这些轮廓线表示的结构特征空间中的数据。红色数据总样本,恒定的投影值到前五KPC计算的三种方法。图2说明了该方法在计算过程的结果。绿点是原始数据,红点的附加数据,和蓝色的轮廓描绘到前三个KPC的恒定的投影值。它可以直观地看到KPC IMKPCA收敛于地面真理KPC索求,甚至从一个不令人满意的初始化。数据1和2表明,该方法是平等的真实准确性,但更广泛的原始数据的选择与MKPCA相比,基于矢量的KPCA计算的主要内核组件生成的固定数据。
4.2。参数的影响
在这个实验中,我们调查的原始数据数量如何影响IMKPCA的有效性。测量方程(17)作为子空间之间的距离计算IMKPCA和地面真理MKPCA推算出来的。使用两个依赖于固定的数据。由第一个200训练图像时尚MNIST“t恤/最高”的,另一个包含前120组训练数据的数字“0”MNIST数据集。对于每一个静止的数据,显示了两个结果 和 分别作为原始数据容量。方程(12)是用于更新特征空间的子空间,更新后的子空间之间的距离和标准的弧度的一个记录。图3显示了每次迭代的结果不同 ,的前三个内核主成分之间的距离计算两个子空间之间的距离(由“MKPC-1”、“MKPC-2,”和“MKPC-3”,分别)。
(一)
(b)
(c)
(d)
数据3(一个)和3 (b)显示的结果图像数据的“t恤/。“数据3 (c)和3 (d)显示结果矩阵数据的数字“0。“在每个subfigure,提取结果表明,KPC IMKPCA收敛到地面真理当迭代过程方程(12)仍在继续。图3显示设置一个较大的值可以帮助IMKPCA改善地面逼近真理的准确性。
4.3。研究矩阵的空间统计数据
实验问题的优势IMKPCA学习矩阵的空间统计数据。我们从MNIST进行该方法数字数据并提取依赖于主成分column-lifted和row-lifted阶段使用高斯核函数。column-lifted阶段意味着kernelized作为矩阵的每一列数据 中提到,第二节。row-lifted阶段意味着处理的特征矩阵提取方法在column-lifted阶段作为输入。row-lifted阶段代表最后的结果中提取空间给定数据集的统计数据。每一个数字都是 矩阵,而我们只有第一个显示为16个主成分 矩阵。比较该方法与基于矢量的KPCA,应该一个输入向量。然而,一个图像的数字是表示成一个矩阵。因此,图像矢量化向量送入基于矢量的KPCA之前,每个数字的特点,sixteen-dimension向量,由第一个16主成分值。图4显示了十个示例图像数字“3”,其基于矩阵的主成分计算的提议IMKPCA。图5显示了结果的基于矢量的KPCA矢量化数字“3”的纵轴显示的投影值矢量化数字到主成分,和水平轴的指数是十个样品图4。数字“3”的投影值上 - - - - - -主成分由“VPC表示 。“图6显示了十个示例图像的数字“1”到“5”;每个数字和他们的依赖于两个样本主成分被提议的方法计算。数据4- - - - - -6表明,依赖于功能可以提供比基于矢量的更重要的信息。基于矢量的KPCA输出向量作为特征,而IMKPCA输出矩阵。通常,数字“3”的依赖特性作为一种独特的白线在矩阵图4;数字“1”到“5”存在,线条图6,而基于矢量的数值在图5。特别是,数字“4”存在两条线,因为它有两个不同的线结构;数字“2”和“5”是类似于column-lifted阶段(第二行图6在row-lifted)和不同阶段(第三行图6)。原因在于,它们是两个不同的数字,但垂直翻转数字“5”是类似于数字“2”。
为了显示的优势矩阵的空间统计数据定量分析,两个图像测试,数字识别的测试和一个图像数据库分类测试,。数字测试,第一个100训练图像和第一个500测试MNIST服务中的每个数字的图像来测试该方法在数字识别的能力。重复实验数据集不同训练数据率的计算依赖于KPC的原始数据特征空间。column-lifted和row-lifted阶段提取的特征用于数字化数字识别在最近的距离分类器。对于高斯函数, 在column-lifted阶段, 对该方法在row-lifted阶段, 基于矢量的KPCA的选择保留的总散射特征空间中的数据。
表1介绍了平均数字识别率和方差(遵循的价值 )选择数据集。的比率 , , ,和 对应于 , , ,和 分别作为原始数据的能力。在表1基于矢量的方法的,结果是独一无二的,因为它不需要选择原始数据更新。表1表明IMKPCA与基于矢量的KPCA相比具有突出优势。原因是向量化废墟像素的空间结构,定义了图像的数字MNIST数据集。与此同时,IMKPCA带来的结构。特别是特性结果的人比column-lifted row-lifted阶段由于提取的空间矩阵数据的统计信息。此外,使用更多的样本的原始数据培训期间提高了识别性能。图像数据库测试、时尚MNIST ORL, YaleA扩展YaleB,线圈100数据库选择评价分类。图7显示了一些图像样本每个数据库。时尚MNIST数据库包括60000 10000训练图像和测试图像的时尚产品,如“t恤/最高,”“裤子,”和“衣服”。结果与此数据库,第一个200训练图像的每个时尚产品,2000训练图像,选择。测试图片都是用于测试。ORL数据库包含400额40主题的图片,和十个图片和一些运动。YaleA数据库包含165额的照片15与不同的情感主题。每个主题ORL和耶鲁的一半图像选择培训和其余的测试实验。YaleB面对数据库包含超过2200额38的图像对象与不同的灯饰和相同的位置。十图像的每个主题都是随机选择的培训和其他测试。线圈100数据库包括7200 72个对象的图像。 In the experiment, ten images of each object are chosen for training, and the remaining images are used for testing. Each image from COIL 100 is resized to a 矩阵的实验计算机资源限制。表2显示数据库的平均识别率和方差在十个不同的训练样本序列给定六个数据库、“数控”表示“无法计算。“建议的IMKPCA执行比基于矢量的主成分分析,基于矢量的KPCA,和2 d PCA识别率为五个数据库,如表所示2。拟议中的IMKPCA MKPCA显示类似的性能测试数据库。原因在于,该方法与MKPCA方法论上一致,并逐步逼近MKPCA的地面实况。相比之下,该方法比MKPCA更高效和更可计算的。主要原因是eigendecomposition MKPCA仍然的大小取决于数据集的大小,如超出计算线圈100数据库和时尚MNIST数据库表2。
(一)
(b)
(c)
(d)
(e)
4.4。计算效率比较
本节比较了计算时间和资源消耗MKPCA之间,基于矢量的KPCA和IMKPCA。时尚MNIST数据库采用比较方法的特征提取效率与参考的。精确和合理的比较,计算机操作环境是相同的,和在计算机上执行的三种方法4 G RAM和CPU 3.2 G。输入数据集从训练样本中提取的“t恤/。“MKPCA、基于矢量的KPCA和IMKPCA执行对数据集具有不同的能力。自从MKPCA资源消耗很大,我们考虑的计算时间超过400秒的情况下,内存溢出与4 g RAM”无法计算。”为方法,本例中的计算时间主要取决于方程(12),和和计算复杂度计算吗 。标准MKPCA的计算时间和计算复杂度的基于矢量的KPCA取决于eigendecomposition和 ,分别在哪里的训练数据的数量和吗和是给定的矩阵的行和列大小的数据,分别。图8显示了最大值、最小值和平均值之间的角度提取内核主成分和地面真理的MKPCA 10时尚产品的图片。这表明,该方法的结果可以近似真实的投影矩阵对时尚MNIST。特别是,最小值和平均值十时尚产品大多是小于0.05。图9(一个)展示了时尚MNIST数据库在不同的计算时间的能力。它表明,基于矢量的方法,该方法需要更少的计算时间和资源消耗比MKPCA Matlab2014在同样的计算机系统和软件。图9 (b)显示了该方法的计算时间在不同比例下的原始数据计算数据。对于每一个曲线,1000时尚产品图像的比例是用于执行该IMKPCA方法。数据8和9表明,该方法比基于矢量的KPCA方法需要更多的时间,但该方法占据一些优势作为一个整体;例如,它可以保留矩阵中的数据的空间结构,它可以提供更多的信息比vectored-based方法有更好的属性。拟议中的IMKPCA方法近线性增加,而标准MKPCA大幅增加,根据训练样本。
(一)
(b)
5。结论
在这篇文章中,提出了增量依赖于内核的子空间方法。由该方法的主要创新是旋转的概念依赖于内核主成分最忠实地保持给定的总散射数据添加新数据时。该方法仍受制于KPCA方法,这使得它更可靠的比大多数现有的改进算法。该方法的特征提取器也应该与eigendecomposition相关问题,而特征值有不同的维度与基于矢量的KPCA方法相比。实验结果表明,基于该方法的特征提取更有效比标准的MKPCA和基于矢量的KPCA。另一方面,该方法获得有效的特征提取依赖于当前的主成分之间的线性关系和新的附加数据。这意味着该方法是高效处理固定数据集。未来的工作将集中在如何适应非平稳的矩阵数据集的主成分。
数据可用性
的数据支持本研究的发现可以要求从相应的作者。
的利益冲突
作者宣称没有利益冲突。
确认
这项工作是国家重点支持的研究和发展项目(没有:2019 ybf1600700)。