模式表达式非负矩阵分解:盲源分离算法和应用程序

文摘

独立分量分析(ICA)是一种广泛适用的和有效的方法在盲源分离(BSS),来源是统计独立的局限性。然而,更常见的情况是盲源分离的非负线性模型(NNLM)观测都是非负的,非负的线性组合的来源,和来源可能是统计相关的。我们提出一个模式表达非负矩阵分解(PE-NMF)方法最有效使用基向量观点的表达模式。介绍了两个正则化或处罚条款添加到标准的原始损失函数非负矩阵分解(NMF)有效的表达模式与PE-NMF基向量。学习算法,从理论上证明了算法的收敛性。盲源分离三个说明性的例子包括异质性修正基因微阵列数据表明提出的来源可以成功恢复PE-NMF当两个参数可以适当选择从问题的先验知识。

1。介绍

盲源分离(BSS)是一个非常活跃的话题最近在信号处理和神经网络领域(1,2]。这是一个方法来恢复源的组合(观测)没有任何的理解如何混合来源。对于一个线性模型,观测源的线性组合,也就是说,,在那里是一个矩阵表示各源信号维空间,是一个矩阵显示观察维空间,是一个混合矩阵。BSS问题是矩阵分解,因此,也就是说,因式分解观测矩阵在混合矩阵和源矩阵。

独立分量分析(ICA)被发现非常有效的BSS的情况是统计独立的来源。事实上,它因式分解观测矩阵在混合矩阵和源矩阵通过搜索最nongaussianity散点图的方向观察,和有一个很好的估计性能的恢复来源时,来源是统计独立的。这是基于中心极限定理,即分布(观察)的独立随机变量之和的(来源)倾向在一定条件下高斯分布。这引发的两个严重约束ICA BSS的应用:(1)来源应该相互统计独立;(2)来源不应该遵循高斯分布。ICA方法的恢复源的性能取决于这两个约束的满意,迅速,减少当他们中的任何一个不满意。然而在现实世界中,有许多的应用盲源分离观测都是非负的,非负的线性组合的来源,和来源统计在某种程度上的依赖。这个模型被称为非负线性模型(NNLM),也就是说,元素在两个和负的,而行(来源)可能在某种程度上依赖于统计。这个模型的应用之一是基因表达谱,在每一个配置文件,这是只有在非负价值,代表了一种复合的多个不同但部分依赖来源(3),概要文件从正常组织和癌组织。什么是需要开发一个算法恢复依赖资源的综合观测。

很容易认识到,BSS NNLM是一个非负矩阵分解,也就是说,因式分解为非负和非负,非负矩阵分解(NMF)技术是适用的。几种方法已经开发应用NMF-based NNLM BSS技术。例如,我们提出了一种分解方法基于BSS的分子特征的非负相关的来源与直接使用标准NMF [3];Chichocki和他的同事们提出了一种新的非负矩阵分解算法应用盲源分离(4)通过添加两个合适的合法化或者罚款条款的原始目标函数NMF增加稀疏和/或平滑估计的组件。此外,提出了多层NMF Cichocki和Zdunek盲源分离(5),而非光滑非负矩阵分解提出了针对寻找本地化,非负的部分原因表示多变量数据项(6]。其他研究包括Zdunek工作和Cichocki,提出利用成本函数的二阶项克服的缺点梯度(乘法)对NMF算法解决标准NMF学习算法的收敛速度慢问题[7];现年Kopriva和他的同事们的工作,他提出了一个单盲图像反褶积方法与非负稀疏矩阵分解的盲图像反褶积(8];和工作由刘和郑提出非负矩阵为对象识别该方法(9]。

在本文中,我们扩展NMF模式表达式NMF (PE-NMF)基向量的观点想要的可以表达最有效的数据。其成功应用扩展酒吧的盲源分离问题,非负信号恢复问题,异构性校正问题真正的基因微阵列数据表明它是依赖于盲分离的巨大潜力的来源NNLM模型。PE-NMF提出的损失函数是一种特殊情况,提出了(4),这里的学习算法不仅提出PE-NMF方法提供,但也证明了学习算法的收敛引入一些辅助功能。加快学习过程,基于独立分量分析(ICA)技术,提出了和被验证是有效的学习算法收敛到期望的解决方案。

2。模式表达式NMF和BSS NNLM模型

NMF问题是给定一个负的矩阵,发现非负和矩阵的因素和这样测量之间的区别和至少根据代价函数,也就是说, NMF方法获得使用非负约束的表示数据。这些约束导致部分原因表示因为他们只允许添加剂,没有减去,原始数据的组合。为th列(1),也就是说,,在那里和是th列和的th基准面(观察)是一个非负的线性组合的列,而组合系数的元素因此,的列,也就是说,的基础,可以看作是数据当最优估计的因素。

2.1。模式的基础上

让是线性无关的维向量。我们将由任意张成的空间非负的线性组合向量张成的积极的子空间。然后,在这个子空间数据的模式表达式,和被称为子空间的基础。显然,根据来自NMF的模式表达式列的观测数据,但这个表达式可能不是独一无二的。图1(一)显示了一个示例数据这有两个模式的表情和。因此,我们有以下几个问题:基础是更有效的表达模式的观察吗?为了表达模式的基础实际上,在我们看来,应该满足以下三个要求:

(1)向量之间的夹角的基础上应尽可能大,这样每个数据是一个非负的向量的线性组合;(2)向量之间的角度的基础上应尽可能小,使向量夹数据尽可能紧密,这样没有空间留给不包括的表达式V;(3)每个向量的基础应该是最有效的表达式中数据的V,同样的效率相比,这个表达式与其他向量的基础。向量定义了上述三个需求是我们所说的模式基础数据,和向量的个数的基础上,,称为模式数据的维度。数据1(一),1 (b),1 (c)分别显示太大between-angle, between-angles太小,太不平等的重要基础情况在数据作为基础,数据1(一)和1 (b)认为是均匀分布在灰色地带,而在图吗1 (c)假定为非均匀分布(数据在黑暗中灰色区域的密度与浅灰色区域)。对于这三个情况,是一个更好的基础来表达数据。

注意,第二需求模式的定义的基础上随时有约束的NMF的元素是负的。然后,我们可以得到三个约束如下:(1)由于要求between-angle每一对向量之间的基础应尽可能大,,在那里W_我是我矩阵的列W;(2)由于要求每个向量的基础应该同样效率表达式中数据的V这个表达式,而矢量的效率是衡量的总和所有数据的投影坐标V这个向量,即样本如果用向量表示的矢量的效率的表达式是,我们有。因此,我们制定PE-NMF问题最小化损失函数在下列方程nonnegativity约束。

PE-NMF问题
给定一个n通过米观察非负矩阵V,找到一个n通过r和一个r通过米非负矩阵因子W和H,这样 在哪里表明两个W和H非负矩阵,分别W_我是我th列的矩阵W,h_ijtheelement在我th行和j矩阵的列H。
这个问题是一个约束优化问题的特殊情况提出了(4]:

2.2。PE-NMF算法及其收敛性

学习算法的推导过程W和H,我们首先提出并证明下面的引理。

引理1。对于任何由r对称非负矩阵对于任何r-dimensional负的行向量,r, r矩阵 总是semipositive明确的,在哪里是一个对角矩阵的对角元素ath行和ath列。

证明。被注意到w_一个和w_b矩阵的定义,非负吗F矩阵的一样吗年代在这一一个th行和bth列元素。因此,我们认为证明的semipositive定义矩阵年代在接下来的上下文。
对于任何r维向量V,我们有以下公式: 在哪里一个表示第一项B第二项表示在上面的公式。被注意到问是一个对称矩阵,我们有什么,因此第一项一个就变成了 我们用上面的一个到公式(5),并获得 由于这一事实w和问分别是一个行向量和一个非负矩阵,因此对于任何r维行向量V,我们有 因此,矩阵年代因此是一个semipositive定矩阵。
现在在定理1,我们得到学习算法,并证明其收敛更新每一行w在W当H将一个固定的非负矩阵。更新每一列的学习算法h在H当W将一个固定的非负矩阵定理描述了2,同样可以证明但跳过由于空间的限制。

定理1。二次优化问题, 在哪里w是一个r维行向量,v是一个给定的米维非负行向量,H是一个r通过米固定的非负矩阵,米是一个r通过r常数矩阵所有元素是除了对角元素是零,和是一个固定的非负参数。以下更新算法 收敛到最优解的非负初始化向量。

证明。收敛性的证明将通过引入合适的辅助函数满足 如果能找到这样的一个函数,那么更新的w通过设置 将会使 它总是使目标函数减少对迭代的算法,说明该算法是收敛的更新公式(13)。
现在我们构造辅助函数 在哪里是一个对角矩阵
很明显,,所以公式(11)持有。
损失函数的泰勒展开当w方法,可以写 通过减去在(8)- (16)在(7)- (17),我们有 在哪里。由于这一事实问是一个非负对称矩阵自H的非负因素吗V,永远是一个非负参数,和这一事实吗是一个非负向量,我们从引理1的矩阵是semipositive明确的,因此我们总是有吗。因此,更新w根据总是导致迭代过程收敛。
我们采用最陡下降搜索最优的策略w。为了这个目的,我们有为了满足,我们得到同样,或者 损失函数的定义,我们有 自是一个对角矩阵,我们只需要计算每个对角元素在J反转。因此,我们有以下更新公式th元素:

定理2。二次优化问题。 h是r-dimensional列向量,v是一个给定的n维负的列向量,W是一个n×r固定的非负矩阵,一个是我矩阵的所有元素是1 s,是一个固定的非负参数。下面的规则 收敛到最优解的非负初始化向量。

这个定理可以证明同样作为定理的证明1。

代表(10)和(23)在(elementwise)阿达玛的产品,一个具有以下学习算法更新两个W和H (PE-NMF优化问题的1)。

定理3。所示的优化问题(1),上面的学习算法收敛于局部最优解的非负初始化向量和。

很明显,部分相关行w的目标函数在(1)是在(9),部分有关目标函数列h在(1)是在(22)。因此,使用公式来更新w和h或者将学习过程收敛于目标函数的解决方案。因此,上面的定理可以很容易地证明定理的基础上1和2。

的更新W和H用MatLab命令也可以表达的和

2.3。初始化算法的

据我们所知,似乎有两个主要原因NMF收敛到不受欢迎的解决方案。一个是空间的基础理论上可能不是唯一的,因此单独的NMF运行可能导致不同的结果。另一个原因可能来自于算法本身的损失函数有时会股票到局部最小值在其迭代。通过回顾PE-NMF提出的损失函数,它是类似于NMF看到,上述PE-NMF仍然有时会股票到局部最小值在其迭代,和/或获得所需的解决方案所需的迭代次数非常大。为了这些,ICA)技术,提出了初始化源矩阵而不是设置是一个非负矩阵随机:我们对观测信号进行ICA,组ICA中获得绝对的独立组件的初始化源矩阵。事实上,是有原因的,结果从ICA获得独立的组件通常不是最初的来源。原因之一是原始来源的nonnegativity但定心ICA的预处理使每个独立的组件是正面和负面的元素:每个独立分量的意思是零。另一个原因可能是依赖或部分独立的原始来源不遵循的独立要求在ICA研究来源。因此,合成独立组件ICA无法被视为经济复苏的原始来源。即便如此,他们仍然提供线索的原始来源:他们可以被认为是非常粗略的估计最初的来源。从这个角度看,注意到源的初始化矩阵应该是负的,我们组ICA中获得绝对的独立组件的初始化的源矩阵提出PE-NMF算法。我们的实验表明这种初始化技术是非常有效的加速学习过程中获得所需的解决方案。

3所示。实验和结果

拟议的许多PE-NMF算法都进行了广泛的测试困难的基准信号和各种统计分布图像。三个例子将在以下环境演示了该方法的有效性与标准相比NMF方法和/或ICA方法。在ICA方法,我们decenteralize恢复信号/图像/微阵列的nonnegativity财产补偿定心ICA方法的预处理。NMF算法仅仅是一个提议在10)和ICA算法只是FastICA算法通常用于许多应用程序在11]。扩展酒吧的例子包括盲源分离问题,混合信号,和真正的微阵列基因表达数据的异质性效应发生。

3.1。延长杆的问题

线性杆问题[12)是一种盲分离的酒吧的组合。8负的特征图像大小(来源)包括4垂直和水平薄条图像,如图2(一个)1000,是随机混合形成观察图片,第一个20如图2 (b)。从ICA和NMF获得的解决方案如数据所示2 (c)和2 (d)分别表明NMF相比ICA可以很好地完成任务。然而,当我们这条问题扩展到一个由两种类型的酒吧,一个厚一个薄,NMF未能估计原始来源。例如,十四源图像大小有四个薄的垂直条,四个薄单杠,三宽垂直酒吧,和三个广泛的单杠,如图3(一个)显然,都是非负的,统计相关的。这些源图像被随机混合混合矩阵元素的任意选择在1000年[0,1]形成混合图像,第一个20如图2 (b)。PE-NMF与参数和进行这些混合图像。合成图像,如图2 (c),表明来源与拟议中的PE-NMF恢复成功。相比之下,很多时候我们在这个问题上试图利用ICA和NMF避免获得当地最低的解决方案,但一直未能恢复最初的来源。如图4(一)和4 (b)的例子是用这两种方法恢复图像。注意到恢复的ICA和NMF都很远从原始来源,甚至来源的数量从ICA估计只有6,而不是14。值得注意的是,从PE-NMF恢复图像与其他参数等和相媲美的如图3 (c),表明该方法不是很敏感的参数选择的例子。

3.2。复苏的混合信号

我们在恢复执行实验5非负信号9 5非负相关的源信号的混合,这是一个在4]。9混合观测信号来自任意非负的线性组合如图5负的源信号5(一个)。难以恢复的来源是一个非常小的数量的观察与来源的数量。我们提议PE-NMF (NMF和和是0.001和17.6,分别地)被用于恢复的来源。相比之下的合成信号通过NMF如图5 (c)这些通过PE-NMF如图5 (d)很明显,PE-NMF可以恢复源与更高的恢复性能。事实上,恢复的信号干扰比率(SIRs)记者从NMF只有22.17,11.13,10.98,14.91,和14.15,从PE-NMF增加到47.10,28.89,26.67,83.44,28.75,5源信号。

3.3。异质性Micrroarrys修正基因

基因表达微阵列承诺强大的新工具大规模的基因表达分析。使用这种技术,相对mRNA表达水平来源于组织样本可以同时为成千上万的基因化验。这样的全球观点可能会揭示先前不为人知的基因调控模式,生成新的假设需要进一步研究(例如,新的诊断或治疗性生物标记)。然而,随着微阵列中的一个常见的特性分析,基因表达谱代表组成的多个不同的但部分依赖(即来源。,观察到的信号强度的加权和的活动将包括各种来源)。更具体地说,在实体肿瘤的情况下,相关的问题被称为部分体积效应(牛皮纸),也就是说,异质性肿瘤样本中的基质所造成的污染。盲目的应用微阵列分析可能导致提取签名反映基质样品中污染的比例,而不是潜在的肿瘤生物学。这样的“构件”将是真实的,可再生的,和潜在的误导,但不会是生物或临床利益,而会严重降低测量的敏感性和特异性的分子特征与不同的疾病过程。尽管几乎所有的后续分析至关重要的步骤,这个问题,称为局部体积校正(PVC),通常是不强调或至少没有严格处理相比绝大兴趣和努力把/ gene-clustering和类的预测。

PE-NMF提出方法的有效性进行了测试与现实世界的数据集,微阵列基因表达数据集,PVC。数据集由2308名有效的两个样本的基因表达神经母细胞瘤和非霍奇金淋巴瘤细胞肿瘤(13]。两个观察微阵列、微阵列从PE-NMF恢复,两个纯源微阵列数据所示6(一),6 (b),6 (c),分别。注意,真正的来源确定,在我们目前的情况下,通过分别分析纯细胞系提供地面真理每个细胞的基因表达谱的人口。在我们的临床病例中,我们使用laser-capture显微解剖(LCM)技术分离细胞群的活检样本。比较的数据6 (b)和6 (c)PE-NMF的盲源分离方法成功恢复纯微阵列。数据7(一)和7 (b)的散点图恢复微阵列PE-NMF和NMF相比,这些纯微阵列。这些散点图和56.79和31.73的众位PE-NMF方法,只是21.20和32.81的NMF方法还表明该PE-NMF成功有效地恢复源。许多其他独立试验使用其他基因集达到类似的结果。

4所示。结论

提出了一种模式表达式非负矩阵分解(PE-NMF)方法高效的模式表达式和它适用于盲源分离的非负线性模型(NNLM)。其成功应用扩展酒吧的盲源分离问题,非负信号恢复问题,异构性校正问题真正的基因微阵列数据表明它是盲源分离问题的巨大潜力NNLM模型。PE-NMF提出的损失函数实际上是一个扩展的乘法更新算法(10),两个方面介绍了参数和分别为,矩阵更新规则吗,这是类似于一些稀疏的NMF算法(14),而正则化项添加到在更新规则矩阵。PE-NMF的损失函数是一种特殊的情况下提出的4]。然而,在这种方法中,不仅学习算法是出于表达模式更有效和更有效率,并尝试成功在范围广泛的应用程序,但也学习算法的收敛性证明了通过引入一些辅助功能。此外,基于独立分量分析(ICA)技术提出了加快学习过程,并已被证实是有效的学习算法收敛到期望的解决方案。

所提到的一样(4),PE-NMF参数的最优选择取决于分布的数据和先验知识隐藏的(潜在的)组件。然而,我们的实验结果扩展巴德问题表明,参数的选择对一些问题不那么敏感。

承认

这项工作是由美国国家科学基金的中国批准号。60574039,60371044,和中意合资合作基金,和美国国立卫生研究院的资助下EB000830 CA109872。

引用

1. a . Hyvarinen j . Karhunen,大肠Oja独立分量分析约翰·威利& Sons,纽约,纽约,美国,2001年。
2. p·o·霍耶和a . Hyvarinen”独立分量分析应用于从色彩和立体影像特征提取,”网络:在神经系统中计算,11卷,不。3、191 - 210年,2000页。视图:出版商的网站|谷歌学术搜索
3. l . j . Zhang Wei, y王”计算分解的分子签名基于盲源分离的非负相关与NMF来源,”学报13 IEEE车间对神经网络信号处理(NNSP ' 03)图卢兹,页409 - 418年,法国,2003年9月。视图:谷歌学术搜索
4. a . Cichocki r . Zdunek和美国,“新的非负矩阵分解算法应用盲源分离,”《IEEE国际会议音响、演讲和信号处理(ICASSP 06年)5卷,第624 - 621页,2006年5月,法国图卢兹。视图:出版商的网站|谷歌学术搜索
5. a . Cichocki和r . Zdunek“多层非负矩阵分解,”电子信件,42卷,不。6,947 - 948年,2006页。视图:出版商的网站|谷歌学术搜索
6. a . Pascual-Montano j . m . Carazo k .科钦d·莱曼和r·d·Pascual-Marqui“非光滑非负矩阵分解(nsNMF)”IEEE模式分析与机器智能,28卷,不。3、403 - 415年,2006页。视图:出版商的网站|谷歌学术搜索
7. r . Zdunek和a . Cichocki”与约束非负矩阵分解二阶优化”,信号处理,卷87,不。8,1904 - 1916年,2007页。视图:出版商的网站|谷歌学术搜索
8. Kopriva, d . j . Garrood诉Borjanović,“单帧盲图像反褶积非负稀疏矩阵分解,“光学通信,卷266,不。2、456 - 464年,2006页。视图:出版商的网站|谷歌学术搜索
9. •刘(george w . bush)和n .郑”对象识别的基于非负矩阵分解方法,”模式识别的字母,25卷,不。8,893 - 897年,2004页。视图:出版商的网站|谷歌学术搜索
10. d·d·李和h . s . Seung“学习对象的部分非负矩阵分解,“自然,卷401,不。6755年,第791 - 788页,1999年。视图:出版商的网站|谷歌学术搜索
11. http://www.cis.hut.fi/projects/ica/fastica。
12. p . Foldiak”,由当地anti-Hebbian形成稀疏表示学习”,生物控制论,卷64,不。2、165 - 170年,1990页。视图:出版商的网站|谷歌学术搜索
13. j .汗j·s·魏、m . Ringner et al .,“分类和诊断预测癌症使用基因表达分析和人工神经网络,”自然医学,7卷,不。6,673 - 679年,2001页。视图:出版商的网站|谷歌学术搜索
14. m . Mørup l·k·汉森,s m . Arnfred”算法稀疏非负塔克(也叫HONMF),“技术代表、丹麦技术大学,丹麦,2007年,http://www2.imm.dtu.dk/pubdb/views/edoc_download.php/4658/pdf/imm4658.pdf。视图:谷歌学术搜索

版权

版权©2008 junie Zhang et al。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。