文摘

字典稀疏表示的信号通过一个overcomplete最近得到太多的关注,因为它产生了有前景的结果在不同的应用程序。自nonnegativities信号和字典需要在某些应用程序中,例如,多光谱数据分析,传统的字典学习方法实施简单nonnegativity可能变得不适用。在本文中,我们提出一个新颖的方法,学习一门非负,overcomplete字典对于这样一个情况。这是通过提出非负信号的稀疏表示问题的非负矩阵分解(NMF)稀疏约束。采用坐标下降策略优化和扩展它为并行处理多变量的情况下,我们开发一个所谓的平行坐标下降字典学习(PCDDL)算法,迭代结构化的解决两个最优问题,字典的学习过程和构造信号的系数的估计过程。数值实验表明,该算法性能比传统的非负K-SVD (NN-KSVD)算法和其他算法的比较。更重要的是,其计算消耗非常低比对比算法。

1。介绍

组成的字典学习,建立一个字典原子或信号子空间,一个类可以有效地和稀疏表示的原子,是机器学习的一个重要话题,神经科学,信号处理,等等。因为在一些应用程序的nonnegativities信号和字典是必需的,例如,多光谱数据分析(1,2),非负分解为识别(3,4),和其他一些重要的问题5,6),所谓的负的字典学习成为必要。在本文中,我们主要关注这个话题。

信号的稀疏表示模型的基本假设是,使用一个overcomplete字典矩阵包含原子的大小为列,,每一个信号矩阵的列向量可以表示为一个线性组合的很少,由稀疏的术语,意味着原子的字典。在这里,“overcomplete”这个词的意思。或令人满意的两种方法来表示吗。相应的矩阵包含信号的表示系数被称为系数矩阵。对字典,它可以是由一组指定的函数或由给定组培训学习信号。在实践7,8),学习字典已经被证明是重要的更好的结果在信号和图像处理的领域。

自然,找到一个字典的问题及其与最少数量的原子稀疏表示可以建模通过使用规范。考虑到这一事实范数优化问题通常是np难,一个常用的启发式的最小化(9]。一系列研究已导致许多字典学习算法。几种经典算法包括拉斯(10],K-SVD [11],ILS-DLA [12),光延迟线(13],RLS-DLA [14]。虽然这些算法非常有效,他们并不总是适合学习非负信号负的字典。例如,K-SVD负的变体,这称为“NN-KSVD”[15),效率不如K-SVD因为在字典矩阵生成的负面元素是故意设置为零,以保证nonnegativity字典更新。

近年来,非负矩阵分解(NMF) [2,16)已被广泛应用于数据分析有nonnegativity约束自NMF能因式分解一个非负矩阵两个非负系数矩阵的乘积与不同的属性。直观地说,NMF类似于非负信号的稀疏表示。然而,标准的NMF算法(17)不强加任何限制这两个因素,除了nonnegativity不够足以导致稀疏表示。为了获得一个稀疏的表示,各种稀疏约束NMF算法已经提出。霍耶et al。18- - - - - -20.)考虑执行的稀疏系数矩阵规范。霍耶(21]介绍了一种基于稀疏的比值规范的一个向量规范。通过使用一些算法对稀疏约束规范(5,22,23]。Peharz et al。24,25]介绍了稀疏NMF算法限制(伪)系数矩阵的规范。此外,几种方法基于其他类型的约束,如nonsmoothness约束(26),方规范处罚(27],mixed-norm [28),最近已经提出。

稀疏约束NMF的启发,在本文中,我们提出一个新方法学习一门非负overcomplete字典稀疏表示的非负信号。不同的优化策略中使用传统的稀疏约束NMF,该方法采用坐标下降策略29日)扩展到多变量优化多个独立的变量因素,从而导致所谓的平行坐标下降策略。我们现在更新规则基于新战略和开发一个算法,这称为平行坐标下降字典学习(PCDDL)算法,来解决我们的目标问题。该算法是非常有效的因为客观问题已经扮演两个顺序优化问题的二次函数不涉及复杂的计算固有的分解。通过实验评估,我们发现,该算法实现原子复苏的最佳速度比传统的算法(15,18,21,25]。此外,其性能强劲,即使噪音很重。此外,我们的算法的计算成本远低于其他算法,因为它不涉及复杂的计算。

论文的其余部分组织如下。节2,我们制定了负的字典学习问题。节3,我们将描述该PCDDL负的字典学习算法。节4,我们使用PCDDL报告数值实验的结果和这些结果与其他算法进行比较。这些实验包括两组合成数据集和两个初步涉及图像处理的应用程序。最后,在节5,我们得出我们的结论和讨论对未来相关研究的主题。

2。问题公式化

给定一个向量的组件是一组信号,我们现在关心其overcomplete字典稀疏表示,每一列称为一个原子。我们试图找到一个只有几个原子的线性组合,可以接近在的价值。为了避免琐碎的解决方案,被限制为一组吗,它被定义为

的训练集信号学习,字典可以制定如下优化问题: 在哪里和 在这里是一个罚函数,这是一个调优参数控制近似误差之间的权衡和罚函数。

当然,学习词典的问题和找到一个稀疏表示可以建模通过使用吗规范,定义随着规范的;也就是说,。然而,由此产生的优化问题通常是np困难的。考虑到这种困难,一个常用的启发式的规范;也就是说,(9]。

的使用规范,字典学习问题是表达如下: 指出,它可以取不同的值对于不同的惩罚函数。然而,为了简单起见,我们假设这是一样的应用于每一个罚函数。因此,(4)也可以写成一个稀疏矩阵分解问题的处罚, 在哪里表示规范的矩阵,的总和每个矩阵的列向量的规范。

此外,如果是负的因素和都是有限是负的,那么过程称为负的字典学习,可以制定,

为了解决这个问题(6),一个自然的策略是优化之间和另外。也就是说,最小化,同时保持其他固定。NN-KSVD算法(18)和一些NMF算法包括NNSC NMFSC, NMF- h,就以这样一种方式解决问题。

3所示。该方法

3.1。平行坐标下降字典学习(PCDDL)

为了解决客观问题(6),我们首先采用交替更新策略,也就是说,更新两个因素而修复其他之一。在每个因素的优化,我们建议优化每个组件的因素一个一个地概括坐标下降策略29日),而不是一次优化整个因素标准NMF算法(17]。此外,我们发现(6一点可以分为列或行操作子问题,每个子问题可以被解决交替和显式地利用属性解决二次函数的极值问题,以便有效地解决整个问题。

我们在这里得到更新规则和(6)。弗罗贝尼乌斯的定义和属性的规范,对一个矩阵。表示一个方阵的痕迹。因此,目标函数(6)可以分解如下: 在哪里表示行矩阵的乘法和。自的元素有nonnegativity,绝对值操作(7可以省略)。如果我们解决在(7),然后(7)是一个多变量目标函数。首先,让我们解释单变量坐标下降策略。(7),我们只考虑优化一个变量,而修复的其他组件。因此,我们获得一个二次函数有关如下: 在哪里表示中的条目th行和列的矩阵乘法和。总是正的,因为它是格拉姆矩阵的对角元素(不存在零向量在这里,还)。因此,当达到最小值。考虑到nonnegativity的因素设置为0时,它是负的。注意,当更新,这个过程只涉及的元素的th列。也就是说,最优值对于一个给定的条目不依赖于其他组件的同一行包含条目。因此,一个人可以优化一行的所有元素在同一时间。这可以被视为优化并行的元素,也就是说,平行坐标下降多个变量的策略。因此,更新规则(7)给出如下: 在哪里。

类似于更新规则的推导过程,还可以获得相应的更新规则。如果修复在(7),然后(7)是一个多变量目标函数。(7),我们现在考虑优化只有一个变量,而修复的其他组件。我们首先选择相关的项目从(7),获得一个二次函数有关如下: 可以发现(10)非常类似于(8)。单个变量的属性的二次问题,获得最低的时候。考虑到nonnegativity的因素设置为0时,它是负的。类似于更新规则在(7)可以通过列更新。因此,更新规则(7)表示如下: 此外,对于防止字典从任意大值,每一列的归一化单位吗规范当字典正在更新。注意的方式维护两个因素矩阵的nonnegativity PCDDL显然不同于NN-KSVD。前者可以保证获得的非负解最优相对于一点每一列或行操作更新,但后者不能。

备注1。根据上面的推导过程中,可以观察到,我们的目标函数(7)可以扮演两个顺序优化问题的二次函数,每一个都可以并行交替优化的广义坐标下降策略。

备注2。稀疏的可以灵活控制的调优正则化参数。

备注3。该方法不仅适合的情况下超定的字典矩阵()的情况下还欠定的字典矩阵(),即使这些矩阵在不同的应用程序有不同的物理含义。

3.2。选择的参数和摘要算法

一步的更新与一个固定的,参数可以调整控制近似误差之间的权衡的稀疏系数矩阵,在该算法中起着重要的作用。引导向一个全球的解决方案,最优解的参数可以由两种方式,离线标定和自适应调优。

第一种方法,一个可以用不同的重复实验并确定什么值根据输出最优结果。

对于第二种方法,我们给出一个易于使用的规则如下。首先,应小于的(9);否则将成为一个零向量。我们可以初始化与一个非常小的值,例如,0.001,这通常可以满足上述条件。接下来,我们交替更新和的(9)和(11)和调整根据规则定义如下: 在哪里是一个稀疏测量,定义为的比例,计算非零元素的数量和所有元素的数量。和的值表示和稀疏的在分别th迭代。表示预期的或之前的稀疏的。法治意味着如果稀疏变化非常缓慢,远没有预期,可以适当增加stepsize之一;否则,保持电流。实验表明,的值两种方法获得的非常接近。如果为适应self-tuned信号,然而,通常需要更多的迭代收敛。

根据上面的分析,提出了非负PCDDL算法字典学习算法进行了总结1。

3.3。PCDDL算法的收敛性分析

标准的NMF算法(17)属于两个凸优化方案因为每个因素可以被视为一个街区,在改造和优化两种因素单独另一凸的。Grippo和Sciandrone两凸优化问题的收敛性进行了分析(30.]。他们证明了连续可微的目标函数的条件下,两个凸优化算法不需要收敛的每个子问题有一个独特的解决方案,和任何极限点序列的两个子问题的最优解是一个静止的点。显然,PCDDL是这样两个凸优化算法,这样我们可以分析其收敛性的基础上,采用的事实30.]。在迭代期间,PCDDL可以获得一个序列的极限点,能保证目标函数的减少。此外,在术语的定义规范,惩罚项在(6)可以分解成自。因此,条件下目标函数(6)是可微的对和,分别。极限的存在点和目标函数的可微性(6)暗示Grippo的假设和Sciandrone的推论30.]感到满意,这样我们可以建立两个最小化PCDDL收敛的过程。

4所示。数值实验

在本节中,我们首先使用PCDDL呈现两个实验的结果与合成信号。这些实验的目的测试是否PCDDL算法可以恢复真正的字典,用于生成测试数据;和与其他算法比较结果,如NNSC(在线可用:http://www.cs.helsinki.fi/u/phoyer/)[18),NN-KSVD(在线可用:http://www.cs.technion.ac.il/ ~兰德/)[15),NMFSC(在线可用:http://www.cs.helsinki.fi/u/phoyer/)[21],NMF- h(在线可用:http://www.spsc.tugraz.at/tools/nmf-l0-sparseness-constraints)[25]。接下来,我们应用PCDDL传统数字图像处理问题,图像去噪,以验证该算法的适用性在真实的环境。最后,我们进行一个实验学习一个脸上global-based表示数据集,以证明该算法的实用性进一步大规模数据分析。在实验中,所有程序都是用Matlab编写的,在PC上运行在Matlab 7.8 (R2009a) 3.2 GHz的英特尔酷睿i5处理器和4 G的内存。

4.1。复苏实验随机字典

评估算法的学习能力为负的字典,我们做了一个实验合成观测信号中随机字典从随机生成字典。通过比较字典的回收率,适应性,运行时,等等,我们评估算法在考虑(见上图)。的过程如下。我们生成一个随机的非负矩阵的大小20×50 i.i.d.均匀分布条目,如[11]。每一个向量归一化单元规范。随机非负矩阵被称为真正的字典不习惯在学习,但仅用于评估。然后,我们合成了1500个测试信号每个维度20日是由三个不同的原子的线性组合真正的字典,和三个相应的系数随机独立的立场。我们执行的NNSC NMFSC NN-KSVD, NMF- h, PCDDL测试信号。5算法,初始化字典矩阵的大小20×50的随机选择部分组成的测试信号。NNSC, NMFSC PCDDL,相应的系数矩阵初始化i.i.d.均匀分布随机非负条目。NN-KSVD和NMF- h不需要指定的系数矩阵,可以生成相应的系数矩阵的稀疏编码。

接下来,我们将学习字典与真正的字典。这些比较被横扫的列进行真正的学习字典和找到最接近(在列范数距离)之间的两个字典。的距离小于0.01被认为是成功的。实验进行的类似于一个(11),除了非负的条件。显然,上述五个迭代算法收敛特性也不相同。提供公平限制各自的迭代的数量,我们执行这些算法相同的迭代尽可能多地和确定相应的迭代数的结果如图1,2,3。NNSC NMFSC,分别花了3000次迭代达到收敛,而NMF- h只花了几十个迭代。此外,我们还考虑了每个算法的运行时显示在图2。因此,我们为NNSC设置的最大数量的迭代,NMFSC, NN-KSVD, NMF- h, PCDDL 3000年、3000年、300年和500年,分别。当然,任何算法的迭代可以提前终止,如果学会了100%的原子到达最大迭代次数。

除了无噪声的条件下,我们还通过实验中均匀分布的噪声不同信噪比(信噪比)是损坏的测试信号,以评估抗噪声的性能和鲁棒性。所有的实验都重复15次不同的字典初始化。图4显示了噪音水平的实验结果,20日和30 dB和无噪声情况。显然,NMFSC NN-KSVD表现糟糕,特别是在低信噪比条件下。NMF- h表现好于NNSC、NMFSC NN-KSVD在各种条件下。拟议中的PCDDL表现最好的字典学习,尽管它仅略优于NMF执行在各种条件下- h。这些算法的平均每个试验运行时是35年代,146年代,244年代,24岁的人群,和4 s,分别。显然,在计算消费PCDDL有显著的优势。注意,在这个实验中,NN-KSVD NMF- h需要指定,系数矩阵中的非零元素的确切数量(3/50 = 0.06),如图3,NMFSC被处决的稀疏系数0.8系数。NNSC和PCDDL的稀疏系数矩阵是通过正则化参数调整。在实验中,相应的参数被设置为0.2的情况下,这是通过几个校准离线试验。这两个参数被固定在迭代期间为了减少迭代次数和计算成本。

4.2。复苏实验的小数位数字典

进一步调查潜在的实用性提出PCDDL算法,我们认为10小数位数的数据集15]。数据集是由90的图像大小88、代表10小数位数与各种立场的转变。注意,一个错误存在于原始的数据集,有些原子重复。在原始的数据集,例如,第一列的原子一样的第五纵队。在实验之前,我们纠正问题,使所有的原子不同。

在开始实验之前,我们首先生成64×3000的训练信号大小是一个随机的5种不同的原子的线性组合与随机积极的系数。即有统一5非零元素的每个向量对应的系数矩阵。以原始字典学习,训练信号被输入到5算法,NNSC, NMFSC, NN-KSVD, NMF- h, PCDDL。我们还增加了均匀分布的噪声不同信噪比的训练信号以评估抗噪声的鲁棒性。结果如图所示5。

实验的结果在上面的分段,PCDDL表现好于其他四个算法在三个噪音水平和在无噪声的情况下。NN-KSVD结果不如中描述(15),因为我们纠正上述错误(即在原始数据集。、删除重复的原子)。原始数据集复制原子导致了更好,但是错了,导致(15相比之下,我们的实验的结果。令人惊讶的是,NNSC表现最差的在这个实验中,它几乎可以不学任何正确的原子无论如何被选择的参数。在一个典型的运行,运行时平均每个审判是412年代,473年代,822年代,136年代和23个年代,分别。这一事实进一步表明,在计算消费PCDDL有显著的优势。在图6实验,我们举个例子在无噪声的情况下,四个除了NNSC算法恢复的77年,72年,86年和89年90原子,原子分别。NNSC的结果并没有显示在图6因为它几乎可以不学任何正确的原子。图6(一)我们显示了数据集修正的。图6 (f)显示了结果PCDDL获得的,只有一个数字8无法恢复正常。当然,PCDDL可以恢复100%的原子在相当多的情况下。

4.3。自然图像的去噪图像

图像去噪问题是很重要的,不仅因为它显而易见的应用程序。最简单的反问题,它提供了一个方便的平台,通过它可以评估图像处理技术和管理理念。在这个意义上,我们打算负的字典学习应用于图像去噪问题。利用冗余表示和稀疏的驱动力去噪的信号构成重大进展(31日,32]。在这些研究中,一个典型的噪声模型,在那里是干净的形象,被假定为高斯白噪声与一个固定的标准偏差(不均匀的情况办理(33)),是吵闹的观察图像。这里的噪音被认为是均匀分布与负的值,而不是零均值白和齐次高斯噪声,因为本文是研究非负稀疏表示的信号。为解决去噪问题,我们采用了提出的算法31日),这是基于稀疏和冗余表示模型在小图像补丁。过程中,原始字典学习算法是我们提出PCDDL取而代之。

在这组实验中,使用的字典大小为64×256,被设计来处理图像补丁的大小8×8像素。所有报告结果给出了平均三个实验,有噪声的不同实现。一些标准测试图像包括芭芭拉(512×512),(256×256),船(512×512),丽娜(512×512),辣椒(256×256)被用于实验。我们添加了不同层次的噪音测试图像。我们使用两个质量度量,峰值信噪比(PSNR)和结构相似度(SSIM)来评估图像去噪。让和分别表示理想的形象和形象恶化。我们计算的PSNR值通过PSNR值。SSIM,其值范围在0和1之间,它的值等于1。关于SSIM指标的更多信息,请参阅引用(34]。

在实验中,我们专注于高噪音水平测试,因为它可能更重要。我们选择了传统的小波去噪算法(35)和已知的外地意味着(NL-means)算法(36)作为比较对象。此外,我们也选择了NMF- h因为它的更好的性能在以前的实验。值得注意的是,NMF- h是非常耗时的字典学习过程,正如上面所描述的两个实验。表1总结了去噪的实验结果。我们得出的结论是,去噪算法使用PCDDL字典实现高度竞争的PSNR和SSIM性能结果的小波相比,NL-means, NMF- h算法。当比较PSNR,去噪算法使用PCDDL字典比NL-means范围约为0.7分贝2 dB,比小波和NMF执行的- h算法。比较SSIM指标时,使用PCDDL字典的去噪算法返回的结果可比性的NL-means算法。两个典型的测试图像主观质量比较(船和房子)数据所示7和8。PCDDL字典从吵闹的房子的形象图8如图9。

4.4。人脸图像分析

在本节中,我们描述我们的实验学习[global-based表示21)使用一个数据集。学习的过程可以被认为是一种主成分分析。我们曾经面临的ORL数据库(在线可用:http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html)。自400年ORL数据库包括面部图像大小为92×112像素,可以认为是大型数据集。使用数据集,我们可以评估的计算性能PCDDL和相比其他算法。评估实验相当,我们开车比较算法来获取相应的系数矩阵,并迫使他们达到尽可能类似水平的稀疏(基于规范)。通过使用霍耶的稀疏测量向量,定义为 我们比较了平均所有列向量的稀疏系数矩阵。此外,我们下面的各自的相对误差定义,计算各自的运行时计算

在实验中,我们进行了global-based特性的学习等级和约束矩阵的稀疏系数约为0.08;即,每个面部图像需要用三个面部特征(表示)。除了NMFSC和NMF- h,我们选择另一个稀疏NMF算法(表示SNMF) (20.相比)的目标。注意,NN-KSVD没有包括在这个实验中,由于其具有极高的计算消耗。每种算法都需要初始化的参数和数量限制的迭代。对于SNMF,我们允许3000次迭代;和参数,用于调整稀疏,我们选择100。对于NMFSC,我们只约束的稀疏系数的因素0.9的(13)和执行最多3000次迭代,收敛的必要条件。对NMF- h,我们设置的最大数量的非零元素向量的因素3 (,接近0.08)并允许30迭代,考虑NMF的高计算消费- h。PCDDL提议,我们最多允许200次迭代,被设为10,校准通过一些试验。所有四个算法运行三次相同的初始随机矩阵(NMF- h,它不是必要的初始化系数)。平均的结果被发表在表2。

通过表2,它可以观察到,SNMF似乎无法获得实际的稀疏表示,尽管它的目的是提高稀疏的介绍规范。其他三个算法获得类似的结果和产生稀疏的解决方案,即更global-based表示。NMFSC和NMF- h产生较低的相对误差,但比PCDDL运行时。NMFSC和NMF的运行时- h是14和PCDDL的23倍。鉴于其效率高、PCDDL更适合大规模数据分析。在图10,我们将展示一个插图global-based功能学的四个算法在典型的运行。

5。结论

在本文中,我们提出了一种新颖、高效的学习方法非负稀疏表示字典的非负信号。在这种方法中,我们广义坐标下降优化策略能够被应用到多变量情况下,所以它可以处理并行的方式。通过这一战略,我们开发了一个有效的算法,它被命名为平行坐标下降字典学习(即。PCDDL)算法。列的方式算法更新字典一点和系数矩阵行操作方式。一点在每个列或行操作更新PCDDL顺序优化一系列最优问题,每一个都是一个二次函数的优化。此外,明确此类优化问题可以解决,所以该算法可以处理非常精确和快速从全球角度根据一元二次方程的性质问题。由于这个原因,该算法可以有效地解决非负字典学习问题具有很高的准确性。

字典恢复试验结果表明,PCDDL可以学习一个非负的正确,overcomplete字典,无论是否目标信号合成数据或者是自然图像。此外,进一步的实验支持PCDDL的潜在应用领域的图像处理,如图像去噪、图像分类、和大规模数据处理由于其低计算消费。我们正在致力于将这种方法应用于图像处理一些实际问题,例如,大规模的图像分类。这些正在进行的研究的结果将在未来。