非负矩阵分解与高斯过程先验

文摘

我们提出的一般方法包括先验知识在一个非负矩阵分解(NMF),基于高斯过程先验。我们假设NMF的负的因素都与一种严格递增函数指定一个潜在的高斯过程的协方差函数。这使我们能够找到NMF分解,同意我们的先验知识分布的因素,如稀疏,平滑度和对称性。演示的方法是用一个例子从大脑化学位移成像。

1。介绍

非负矩阵分解(NMF) [1,2是最近的一个方法,一个矩阵分解为两个矩阵的乘积,所有元素都是非负的。NMF发现广泛的应用在许多不同的领域包括模式识别(3),聚类(4,降维5),和光谱分析6,7]。许多物理信号,如像素强度、振幅谱,和发生数量,自然由非负数字表示。等混合物的分析数据,nonnegativity单个组件的一个合理的约束。最近,一个非常简单的算法(8介绍了NMF)计算。这已开始研究旨在开发更加健壮和高效的算法。

一直在努力提高NMF的质量通过添加进一步约束分解,如稀疏(9)、空间定位(10,11),和平滑度(11,12),或通过扩展模型convolutive [13,14]。许多扩展NMF方法推导通过添加适当的约束和惩罚条款成本函数。另外,NMF方法可以推导出一个概率设置,根据数据的分布(6,15- - - - - -17]。这些方法有优势,模型中的基本假设是明确的。

在本文中,我们提出一个通用的方法,来利用先验知识在NMF提高解决方案的质量。概率的方法导出设置,它是基于定义NMF模型先验概率分布的因素在高斯过程框架。我们假设NMF的负的因素都与一种严格递增函数一个潜在的高斯过程,规定其协方差函数。通过指定的协方差的过程中,我们可以计算NMF分解,同意我们的先验知识的因素,如稀疏、平滑度和对称性。我们将该方法称为非负矩阵分解与高斯过程先验,简称GPP-NMF。

2。NMF与高斯过程先验

在下面,我们获得的NMF方法包括前信息分解通过假设高斯过程先验(一般介绍高斯过程,看到的,例如,拉斯穆森和威廉姆斯(18]。)在我们的方法中,高斯过程先验与非负因素NMF通过合适的链接功能。设置的符号,我们首先推导标准NMF方法最大似然(ML)估计,然后转移到最大后验(MAP)估计量。然后,我们讨论高斯过程先验,引入变量的改变给了更好的优化性能。最后,我们讨论的选择链接功能。

2.1。最大似然NMF

NMF的问题可以表示为在哪里映像是一个数据矩阵,作为两个element-wise非负矩阵的乘积,和,在那里表示非负实数。矩阵是残留噪声。

存在许多不同的算法(8,15- - - - - -17,19,20.,21)本分解计算,其中一些可以被视为最大似然方法在某些假设的分布数据。例如,最小二乘NMF对应于先验知识。高斯噪声(17],Kullback-Leibler NMF对应于一个泊松过程(6]。

的ML估计和是由在哪里负对数似然的因素。示例1(最小二乘NMF)。最大似然NMF的一个例子是最小二乘估计。如果噪声先验知识。高斯方差,可能的因素和可以写成作为成本的负对数似然函数优化,然后我们使用比例符号表示平等受一个积分常数。计算的最大似然估计和的梯度负对数似然是有用的:和梯度很容易得到,因为类似NMF的对称性问题。

ML估计可以用乘法计算更新规则基于梯度(8],投影梯度下降[19),交替最小二乘(20.[],牛顿型方法21),或任何其他适当的约束优化方法。

2.2。最大后验NMF

在本文中,我们提出一个方法来构建先验知识NMF的解决问题。我们选择一个先验分布因素模型中,之前,吸引了我们的信念和我们所寻求的解决方案的不确定性。然后我们计算出最大后验(MAP)估计的因素。使用贝叶斯规则,后是由由于分子是常数,负对数后的总和是一个术语,惩罚可能性模型不适应环境的人,和之前的术语,惩罚的解决方案之前,不太可能在:地图的估计和是它又可以计算使用任何合适的优化算法。例2(非负稀疏编码)。地图NMF的例子非负稀疏编码(NNSC) [9,22),之前i.i.d.指数,之前是平的,每一列约束单位规范在哪里欧几里得范数的吗列的。这对应于以下惩罚项的成本函数:梯度对之前的负对数然后和梯度是零,进一步规范化约束了(9)。

2.3。高斯过程先验

在下面,我们推导出地图估计在非负矩阵的假设下和独立是由高斯过程(18)通过一个链接功能。高斯过程框架提供了原则和实践的规范方法的先验概率分布因素NMF模型。事先指定的两个函数:(i)的协方差函数,描述corellations因素和(2)一个链接功能,将之前的高斯过程转换成所需的分布在非负实数。

我们假设和是独立的,这样我们可以写吗在下面,我们只考虑前,因为治疗相当于由于NMF的对称性问题。我们假设有一个潜在变量向量,,这是为多元高斯协方差矩阵:,与通过一个链接功能,:作为运营element-wise输入。的函数表达式中操作数栈的矩阵列的列。应该严格增加链接功能,确保了逆的存在。之后,我们将进一步假设的衍生品和存在。在这些假设下,之前结束是由(使用变量的变化定理)在哪里表示雅可比矩阵和行列式是链接的函数的导数。然后之前的负对数这个表达式可以加上适当的似然函数,如最小二乘(可能性4),可以优化产量地图解决方案;然而,在我们的实验中,我们发现一个更简单的和健壮的算法可以获得通过改变变量,下面将对此进行说明。

2.4。优化变量的变化

而在非负因素优化和我们介绍了变量和,这是相关的和通过在哪里函数映射的向量输入到一个矩阵适当大小。的矩阵和是矩阵的平方根(柯列斯基分解)的协方差矩阵和,这样和是标准的高斯先验知识。

这种变化的变量有两个目的。首先,我们发现在转换变量优化是更快、更健壮,不易陷入局部最小值。第二,转换后的变量是不受限非负的,它允许我们使用现有的无约束最优化方法计算其地图估计。

改变变量的先验分布是和之前的负对数计算估计的地图转换变量,之前,我们必须把这个表达式(和之前的类似的表达式与似然函数),相同的变量然后,可以找到地图解决方案通过优化和作为最后,估计的和可以计算使用(17)。例3(最小二乘非负矩阵分解与高斯过程先验(GPP-NMF))。如果我们使用最小二乘(可能性4),后验分布(20.)是由地图的估计和发现通过最小化这个表达式,导数是有用的吗在哪里表示阿达玛(element-wise)产品。的导数由于对称NMF类似问题。

2.5。链接功能

任何严格增加链接功能,地图的非负实数实线可用于拟议的框架;然而,为了有一个更好的先验分布的概率解释,我们提出一个简单的原则选择链接功能。我们选择这样的链接功能地图元素的边缘分布的高斯过程向量到一个特别选择元素的边缘分布。可以找到这样一个逆函数,在那里表示边际累积分布函数(CDFs)。

因为高斯过程的人是高斯分布,是高斯(CDF),使用(13)的反向链接功能在哪里是th对角元素的和误差函数。示例4 (exponential-to-Gaussian链接功能)。如果我们选择指数的人,如NNSC中描述的例子2,我们选择随着指数提供。反向链接功能在哪里是一个逆尺度参数。反向链接函数的导数,所需的参数估计,给出了示例5 (rectified-Gaussian-to-Gaussian链接功能)。另一个有趣的非负分布的修正高斯使用这个pdf (24),反向链接功能和反向链接函数的导数

2.6。摘要GPP-NMF方法

GPP-NMF方法可以归纳为如下步骤。

(我)选择一个合适的负对数似函数基于知识的分布数据或剩余。(2)每个非负的因素和,选择合适的链接和协方差函数根据你之前的信仰。如果有必要,把样本先验分布调查其属性。(3)计算估计的地图和由(21)使用任何合适的无约束优化算法。(iv)计算和使用(17)。我们的Matlab实现GPP-NMF方法是网上的23]。

3所示。实验结果

我们将演示该方法对两个例子,第一一个玩具的例子,和第二一个例子来自大脑化学位移成像文学。

在我们的实验中,我们使用最小二乘GPP-NMF中描述的例子3和链接功能描述的例子4- - - - - -5。具体优化方法用于计算GPP-NMF地图估计不是本文的主题,和任何原则上可以无约束最优化算法。在我们的实验中,我们使用一个简单的梯度下降法与线搜索执行1000交替更新的和后,该算法融合了。实现的细节,请参阅相应的Matlab代码(23]。

3.1。玩具的例子

我们生成一个数据矩阵,从GPP-NMF模型,通过随机抽样与两个因素。我们选择了生成的协方差函数和作为一个高斯径向基函数(RBF)在哪里和两个样本指标,长度尺度参数,决定了平滑度的因素,是吗。我们将两个因素之间的协方差为零,这样的因素是不相关的。的矩阵我们使用了rectified-Gaussian-to-Gaussian链接功能;和我们使用了exponential-to-Gaussian链接功能。最后,我们添加了独立高斯噪声方差,导致信噪比约为dB。生成的数据矩阵如图1。

我们然后分解生成的数据矩阵使用以下四种不同的方法:

(我)LS-NMF:标准最小二乘NMF [8]。该算法不允许负的数据点,所以这是在实验设置为0。(2)CNMF:限制NMF [6,7),这是一个最小二乘NMF算法,允许负面观察。(3)GPP-NMF:正确的之前:该方法与正确的链接功能,协方差矩阵和参数值。(iv)GPP-NMF:不正确的之前:为了说明方法的敏感性之前的假设,我们评估该方法之前错误的假设:我们交换链接功能,这样的我们使用了exponential-to-Gaussian,我们使用了rectified-Gaussian-to-Gaussian。我们使用了一个RBF协方差函数和为和分别。

结果分解重构数据矩阵,如图所示1。所有四个方法找到视觉似乎适合底层数据的解决方案。LS-NMF和CNMF找到非光滑的解决方案,而这两个GPP-NMF结果顺利按照先知先觉。在GPP-NMF错误之前,黑暗的地区(高像素强度)出现在第一轴方向和太宽太窄部分轴方向,由于不正确的协方差函数的设置。纠正之前的GPP-NMF是视觉上几乎等于真正的底层数据。

块估计因素是显示在图2。的因素估计LS-NMF和CNMF方法出现噪声和非光滑,而光滑GPP-NMF估计的因素。LS-NMF方法估计的因素有积极的偏见,因为负面数据的截断。GPP-NMF与不正确的之前有太多地方极值因素和太少因素由于不正确的协方差函数。只有微小差别的结果GPP-NMF之前使用正确的和潜在的因素。

措施的根均方误差(RMSE)的四个分解图3。所有四个方法适应嘈杂的数据几乎同样。(注意,由于添加剂噪声方差25岁,一个完美的适合会导致的RMSE的潜在因素对噪声数据。)LS-NMF适合数据糟糕的负面数据点,由于截断和CNMF最适合的数据,由于过度拟合。对于无噪声的数据和潜在因素,RMSE是LS-NMF最差和最好的GPP-NMF正确的之前。之前错误的GPP-NMF是比LS-NMF和CNMF在这种情况下。这表明在这种情况下最好是使用之前这不是完全正确的,相比使用没有之前LS-NMF和CNMF方法,(对应于一个非负实数平之前,没有相关性)。

3.2。化学位移Srain成像的例子

接下来,我们将演示GPP-NMF方法¹H解耦^31日人类大脑的P化学位移成像数据。我们使用的数据集Ochs et al。24),还分析了Sajda et al。6,7]。数据集,如图4,包括光谱测量在一个网格在大脑中。

Ochs et al。24)使用主成分分析来确定数据集的充分描述的两个来源(对应于大脑和肌肉组织)。他们提出了一个双线性贝叶斯方法,他们使用一个光滑的前成分谱,和力为零的振幅谱形状对应于肌肉组织在12个位置在内心深处。他们的方法产生的身体似是而非的结果,但这是计算非常昂贵,需要几个小时来计算。

Sajda et al。6,7)提出一个NMF方法报道也产生身体似是而非的结果。他们的方法是快几个数量级,不到一秒来计算。Sajda等人的方法的缺点相比,贝叶斯方法Ochs等人的是,它没有提供使用先验知识来提高解决方案的机制。

GPP-NMF方法本文提出桥梁之间的差距前两个方法,在某种意义上,它是一个相对快NMF方法,先知先觉的因素可以被指定。这些先验选择指定的链接和协方差函数。我们使用之前预测的抽样找到合理的设置函数参数:我们把随机样本的先验分布和检查属性因素和重建数据。然后手动调整之前的参数匹配我们的之前的信仰。一个随机的例子从先验分布如图5,参数设置如下所述。

我们假设的因素是不相关的,所以因素之间的协方差为零。我们使用高斯RBF组分光谱的协方差函数的长度尺度ppm(百万分之),我们使用了exponential-to-Gaussian链接功能。这给了之前的光谱与狭窄的稀疏光滑的山峰。的振幅在512年压头,我们使用高斯RBF协方差函数的三维体素指标,与长度尺度。此外,我们集中在从左到右坐标轴的大脑,并计算了RBF内核在这个坐标的绝对值,所以之前的介绍了从左到右对称分布。再一次,我们使用了exponential-to-Gaussian链接功能,我们选择匹配数据的整体大小。这给了之前的振幅分布稀疏,光滑,对称的。噪声方差被设定对应于噪声级的数据集。

然后我们分解的数据集使用提出GPP-NMF算法,相比之下,复制的结果Sajda et al。7使用他们的CNMF方法)。实验结果如图所示4。一个随机的例子从先验分布如图5。CNMF结果如图6,结果GPP-NMF如图7。数据显示,组分光谱和第五轴向片光谱的空间分布。的空间分布平滑的例子,类似的方法在文献中结果可视化。

结果表明,两种方法给身体上看似合理的结果。主要的区别在于,相对应的光谱空间分布的肌肉和大脑组织更GPP-NMF分离的结果,这是由于指数,光滑,对称的先验分布。包括之前的信息,我们得到一个解决方案,对应于肌肉组织的因素显然是位于边缘的头骨。

4所示。结论

我们引入了一个通用的方法,来利用先验知识在非负矩阵分解,基于高斯过程先验,通过一个链接函数非负相关因素。可以结合任何现有的NMF方法成本函数,概率解释,和任何现有的无约束优化算法可以用来计算最大后验估计。

玩具实验数据显示,与一个合适的选择先验分布的负的因素,GPP-NMF方法给出更好的结果估计真正的潜在因素,相比传统的NMF和CNMF。

化学位移脑成像实验数据显示,GPP-NMF方法可以成功地用于包括光谱和空间分布的先验知识,从而更好的空间分离光谱对应的肌肉和大脑组织。

确认

我们要感谢保罗布朗Sajda和杜鲁门的脑成像数据提供给我们。本研究项目智能支持的声音,丹麦技术研究委员会批准号26-02-0092,部分支持欧盟委员会还通过第六框架是网络卓越:模式分析、统计建模和计算学习(PASCAL),合同编号。506778年。

引用

1. p . Paatero,攻丝机,“积极的矩阵分解:一个非负的因素模型与误差估计的数据值的优化利用,”Environmetrics,5卷,不。2、111 - 126年,1994页。视图:出版商的网站|谷歌学术搜索
2. d·d·李和h . s . Seung“学习对象的部分非负矩阵分解,“自然,卷401,不。6755年,第791 - 788页,1999年。视图:出版商的网站|谷歌学术搜索
3. l . Weixiang z南宁,y曲波“非负矩阵分解及其在模式识别中的应用,”科学通报,51卷,不。1、7 - 18,2006页。视图:出版商的网站|谷歌学术搜索
4. c .叮,x,他和h·d·西蒙,”等价的非负矩阵分解和谱聚类”第五暹罗学报》国际会议数据挖掘纽波特海滩,页606 - 610年,加州,美国,2005年4月。视图:谷歌学术搜索
5. s . Tsuge m . Shishibori美国小智,k .北城,“降维使用非负矩阵分解为信息检索,”学报IEEE国际会议系统,人与控制论,卷2,页960 - 965,图森,亚利桑那州,美国,2001年10月。视图:谷歌学术搜索
6. p . Sajda s Du, l . c . Parra“恢复使用非负矩阵分解成分的光谱,”小波:应用在信号和图像处理卷,5207学报学报,页321 - 331,圣地亚哥,加利福尼亚州,美国,2003年8月。视图:出版商的网站|谷歌学术搜索
7. p . Sajda Du, t·r·布朗et al .,“非负矩阵分解成分光谱快速复苏的核磁共振化学位移成像的大脑,”IEEE医学成像,23卷,不。12日,第1465 - 1453页,2004年。视图:出版商的网站|谷歌学术搜索
8. d·d·李和h . s . Seung“非负矩阵分解算法,”《第13届会议上神经信息处理系统(捏' 00)科罗拉多州丹佛,页556 - 562,美国2000年11 - 12月刊。视图:谷歌学术搜索
9. p·霍耶,“非负稀疏编码,”学报》第12届IEEE车间对神经网络信号处理(NNSP ' 02)Martigny,页557 - 565年,瑞士,2002年9月。视图:出版商的网站|谷歌学术搜索
10. s . z李x w·侯h . j . Zhang和程问:美国,“学习空间本地化、器件表征”IEEE计算机学会学报计算机视觉与模式识别会议(CVPR ' 01),1卷,页207 - 212,考艾岛,夏威夷,美国,2001年12月。视图:出版商的网站|谷歌学术搜索
11. z陈和a . Cichocki“非负矩阵分解与时间平滑和/或空间解相关约束,“技术报告,实验室先进的大脑信号处理,日本,东京,日本,2005。视图:谷歌学术搜索
12. t·维尔塔宁,”声源分离使用稀疏编码和时间连续性目标,”国际计算机音乐研讨会论文集(ICMC ' 03),页231 - 234,新加坡,2003年9 ~ 10月。视图:谷歌学术搜索
13. p . Smaragdis“非负矩阵因子反褶积;从单声道输入提取多个声音来源,”学报》第五届国际会议上独立分量分析和盲信号分离(ICA的04)卷,3195在计算机科学的课堂讲稿施普林格,页494 - 499年,格拉纳达,西班牙,2004年9月。视图:谷歌学术搜索
14. m·n·施密特和m . Mørup“非负矩阵因子二维反褶积对盲源分离单通道,”学报第六届国际会议上独立分量分析和盲信号分离(ICA 06年)卷,3889在计算机科学的课堂讲稿施普林格,页700 - 707年,查尔斯顿SC,美国,2006年3月。视图:出版商的网站|谷歌学术搜索
15. o . Winther和k·b·彼得森,”贝叶斯独立分量分析:变分方法和非负分解,“数字信号处理,17卷,不。5,858 - 872年,2007页。视图:出版商的网站|谷歌学术搜索
16. t·霍夫曼“概率潜在语义索引”《第22届国际市立图书馆研究与发展会议在信息检索(99年")美国加州伯克利,页50-57,1999年8月。视图:出版商的网站|谷歌学术搜索
17. a . Cichocki r . Zdunek和siv。、“Csiszar差异的非负矩阵分解:家庭的新算法,”学报第六届国际会议上独立分量分析和盲信号分离(ICA 06年)卷,3889在计算机科学的课堂讲稿页32-39 Springer,查尔斯顿SC,美国,2006年3月。视图:出版商的网站|谷歌学术搜索
18. c·e·拉斯穆森和c k·威廉姆斯,高斯过程机器学习美国剑桥,麻省理工学院出版社,质量,2006年。
19. C.-J。林,“为非负矩阵分解投影梯度方法,”神经计算,19卷,不。10日,2756 - 2779年,2007页。视图:出版商的网站|谷歌学术搜索
20. m·w·贝瑞·m·布朗,a . n . Langville v . p . Pauca和r . j . Plemmons”近似的非负矩阵分解算法和应用程序”,计算统计和数据分析,52卷,不。1,第173 - 155页,2007。视图:出版商的网站|谷歌学术搜索
21. d·金,美国Sra, i s Dhillon”快速牛顿型方法最小二乘非负矩阵近似问题,”第七届暹罗学报》国际会议数据挖掘,页343 - 354,明尼阿波利斯,明尼苏达州,美国,2007年4月。视图:谷歌学术搜索
22. j·艾格特和e . Korner“稀疏编码、NMF”学报IEEE国际联合会议上神经网络(IJCNN ' 04)4卷,第2533 - 2529页,布达佩斯,匈牙利,2004年7月。视图:出版商的网站|谷歌学术搜索
23. m·n·施密特和h . Laurberg”,非负矩阵分解与高斯过程先验,”计算智能和神经科学。在出版社。视图:出版商的网站|谷歌学术搜索
24. m·f·Ochs r s Stoyanova f . Arias-Mendoza和t·r·布朗”一种新的频谱分解方法使用双线性贝叶斯方法,”磁共振杂志,卷137,不。1,第176 - 161页,1999。视图:谷歌学术搜索

版权

版权©2008麦克尔- n·施密特和汉斯Laurberg。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。