CIN 计算智能和神经科学 1687 - 5273<我年代年代npub-type="ppub"> 1687 - 5265 Hindawi出版公司 764206年 10.1155 / 2008/764206 764206年 研究文章 定理在积极数据:NMF的独特性 Laurberg 汉斯 1 克里斯坦森 马德斯Græsbøll 1 Plumbley 马克D。 2 汉森 拉尔斯凯 3 詹森 Søren Holdt 1 王 文武 1 的电子系统 Aalborg大学 尼尔斯·jern Vej 12 9220 Aalborg 丹麦 es.aau.dk 2 电子工程系 玛丽女王 伦敦大学 英里路结束 伦敦E1 4 ns 英国 qmul.ac.uk 3 部门信息和数学建模 丹麦技术大学 理查德·彼得森申请 321年建筑 2800年Lyngby 丹麦 imm.dtu.dk 2008年 25<米onth> 03 2008年 2008年 01<米onth> 11 2007年 13<米onth> 03 2008年 2008年 版权©2008 这是一个开放的文章在知识共享归属许可下发布的,它允许无限制的使用,分布和繁殖在任何媒介,提供最初的工作是正确的引用。

我们调查的条件,非负矩阵分解(NMF)是独一无二的,介绍几个定理可以决定是否分解实际上是独特的。定理是通过几个例子来说明定理的使用及其局限性。我们已经表明,腐败的一个独特的NMF矩阵相加噪声导致的噪声估计无噪声的唯一解。最后,我们使用一个随机的NMF分析底层模型的特性将导致NMF小估计错误。

 1。介绍

大量的积极的数据出现在音乐分析等研究领域,文本分析,图像分析和概率论。之前演绎科学应用于大量的数据,通常是适当的减少数据预处理,例如,通过矩阵秩减少或特征提取。主成分分析是一种这样的预处理。当原始数据是负的,通常需要保存这个属性的预处理。例如,元素在功率谱图,概率,像素强度仍应负的处理后才有意义。这导致了建筑等级减少矩阵和特征提取的算法产生负的输出。许多算法与非负矩阵分解(NMF)算法提出的李和Seung [ 1, 2]。NMF算法因式分解一个非负矩阵<我nline-formula> V ∈ ℝ + n × 米 或<我nline-formula> R ∈ ℝ + n × 米 为两个非负矩阵<我nline-formula> W ∈ ℝ + n × r 和<我nline-formula> H ∈ ℝ + r × 米 : V ≈ R = W H 。 没有封闭的问题找到解决方案<我nline-formula> W 和<我nline-formula> H 给定一个<我nline-formula> V ,但李和Seung ( 1, 2)提出了两种计算高效算法最小化之间的区别<我nline-formula> V 和<我nline-formula> W H 两种不同的错误的功能。之后,提出了很多其他算法(见[ 3])。

一个有趣的问题是,一个特定的矩阵的NMF是独一无二的。这个问题的重要性取决于NMF的特定应用程序。当使用一个模型可以有两个不同的观点像NMF-either可以认为模型描述自然和变量<我nline-formula> W 和<我nline-formula> H 有一个物理意义或可以认为模型可以捕获感兴趣的一部分,即使没有参数和模型之间的一对一的映射,以及物理系统。当使用NMF时,人可以怀疑<我nline-formula> V 一些潜在的干扰版本吗<我nline-formula> W H 还是另一个模型构造的数据,或者换句话说,一个地面真理<我nline-formula> W 和<我nline-formula> H 确实存在。这些问题是很重要的在评估是否这是一个问题,还有一个NMF的解决方案,<我nline-formula> W ′ H ′ 相同的数据,也就是说, V ≈ R = W H = W ′ H ′ 。 如果使用NMF尽管数据并不认为是由( 1),它可能不是一个问题,有几个其他的解决方案。另一方面,如果一个假定地面真理存在,它可能是一个问题如果模型不检测,也就是说,如果它是不可能的<我nline-formula> W 和<我nline-formula> H 从数据矩阵<我nline-formula> V 。

第一篇文章的主题是两个伯曼之间的通讯和托马斯。在[ 4伯曼]要求相当于一个简单的非负矩阵的类的描述<我nline-formula> R 一个NMF的存在。我们应当看到,由托马斯·[答案 5可以转移到一个NMF唯一性定理。

第一篇文章调查NMF的独特性是Donoho Stodden [ 6]。他们用凸二元性得出这样的结论:在某些情况下,那里的列向量<我nline-formula> W “描述部分,因此是不重叠的,从而正交,NMF的解决方案是独一无二的。

同时随着NMF的发展,Plumbley [ 7)与非负独立分量分析,其中一个问题是估计一个旋转矩阵<我nline-formula> 问 从观察的形式<我nline-formula> 问 年代 ,在那里<我nline-formula> 年代 是一个非负向量。在此设置中,Plumbley调查一个属性为非负独立同分布(先验知识)向量<我nline-formula> 年代 这样<我nline-formula> 问 可以被估计。他表明,如果元素<我nline-formula> 年代 接地和足够大的观察,然后呢<我nline-formula> 问 可以被估计。唯一性约束( 7)是一个统计的条件<我nline-formula> 年代 。

的结果( 7]NMF高度关联的独特性是由于一个事实:在大多数情况下,新的NMF解决方案的形式<我nline-formula> W 问 和<我nline-formula> 问 − 1 H 节中描述 3。通过使用Plumbley两次的结果,可以构造NMF的受限制的唯一性定理。

在本文中,我们研究在何种情况下NMF的观察到非负矩阵是独一无二的。我们提出独特新颖的必要和充分条件。几个例子说明这些条件和他们的解释。此外,我们表明,NMF健壮的加性噪声。更具体地说,我们表明,可以获得准确的估计<我nline-formula> W 和<我nline-formula> H 从嘈杂的数据时产生NMF是独一无二的。最后,我们考虑到生成NMF作为随机过程,显示特定类的这些过程几乎肯定导致NMFs独特。

本文的结构如下。部分 2介绍了符号,一些定义和基本结果。一个精确的定义和一个独特的NMF的两大特征给出了部分 3。的最小限制<我nline-formula> W 和<我nline-formula> H 为一个独特的NMF进行部分 4。条件和独特的NMF的例子给出了部分 5。节 6,结果表明,在噪声的情况下被添加到一个数据矩阵与一个独特的NMF,可以绑定错误的估计<我nline-formula> W 和<我nline-formula> H 。概率视图的独特性被认为是部分 7。讨论了定理的含义 8,部分 9总结了纸。

2。基本面

这里我们将介绍凸二元性,将论文的框架,但首先我们要定义要使用的符号。非负实数表示为<我nline-formula> ℝ + , ∥ ⋅ ∥ F 弗罗贝尼乌斯范数表示,<我nline-formula> 跨度 ( ⋅ ) 是由一组向量张成的空间。每种类型的变量有自己的字体。例如,一个标量来标示<我nline-formula> x ,一个列向量表示<我nline-formula> x ,用一个行向量<我nline-formula> x ¯ ,用一个矩阵<我nline-formula> X ,一组是用<我nline-formula> ,用一个随机变量<我nline-formula> 。此外,<我nline-formula> x 我 j 是<我nline-formula> 我 指数向量<我nline-formula> x j 。当一个条件一组用于描述一个矩阵,它指的是列向量的矩阵。NMF是对称的<我nline-formula> W T 和<我nline-formula> H ,所以一个矩阵的定理也可以用于其他。

在本文中,我们做一个几何解释的NMF类似用于 5, 6]。为此,我们需要下面的定义。

<年代tatement id="deff1"> 定义1。

的<我talic> 积极的跨是由<我nline-formula> 跨度 + ( b 1 , … , b d ) = { v = ∑ 我 b 我 一个 我 ∣ 一个 ∈ ℝ + d } 。

在一些文献,积极跨叫做圆锥壳。

<年代tatement id="deff2"> 定义2。

一组<我nline-formula> 被称为<我talic> 单形锥如果有一组<我nline-formula> ℬ 这样<我nline-formula> = 跨度 + ( ℬ ) 。的<我talic> 订单单纯的锥<我nline-formula> 最小数量的元素吗<我nline-formula> ℬ 。

定义3。

的<我talic> 双到一组<我nline-formula> ,表示<我nline-formula> * 的话,是<我nline-formula> * = { v ∣ v T 一个 ≥ 0 对所有 一个 ∈ } 。

下面的引理很容易证明,随后将使用。对于更一般的介绍凸二元性,看到[ 8]。

<年代tatement id="lem4"> 引理1。

(一)如果<我nline-formula> = 跨度 + ( b 1 … , b d ) ,然后<我nline-formula> y ∈ * 当且仅当<我nline-formula> y T b n ≥ 0 对所有<我nline-formula> n 。

(b)如果<我nline-formula> = 跨度 + ( B T ) 和<我nline-formula> B T = ( b 1 , … , b d ] 是可逆的,然后<我nline-formula> * = 跨度 + ( B − 1 ) 。

(c)如果<我nline-formula> ⊆ ,然后<我nline-formula> * ⊆ * 。

(d)如果<我nline-formula> 和<我nline-formula> 单形锥和关闭吗<我nline-formula> ⊂ ,然后<我nline-formula> * ⊂ * 。

 3所示。对偶空间和NMF

在本节中,我们定义独特的NMF和一些独特的NMF一般条件。作为一个起点,让我们假设<我nline-formula> W 和<我nline-formula> H 有满秩,<我nline-formula> r = 排名 ( R ) 。

让<我nline-formula> W ′ 和<我nline-formula> H ′ 是任何实现的矩阵,<我nline-formula> R = W H = W ′ H ′ 。然后,<我nline-formula> 跨度 ( W ) = 跨度 ( R ) = 跨度 ( W ′ ) 。的列向量<我nline-formula> W 和<我nline-formula> W ′ 因此依据相同的空间,因此存在一个基础转移矩阵<我nline-formula> 问 ∈ ℝ r × r 这样<我nline-formula> W ′ = W 问 。由此可见,<我nline-formula> H ′ = 问 − 1 H 。因此,所有NMF的解决方案<我nline-formula> r = 排名 ( R ) 的形式<我nline-formula> R = W 问 问 − 1 H 。在这些情况下,NMF的模棱两可的<我nline-formula> 问 矩阵。注意,如果<我nline-formula> r > 排名 ( R ) 以上参数是无效的,因为<我nline-formula> 排名 ( W ) 可以不同<我nline-formula> 排名 ( W ′ ) ,从而<我nline-formula> 跨度 ( W ) ≠ 跨度 ( W ′ ) 。

<年代tatement id="ex1"> 例1。

下面的一个例子<我nline-formula> R + 4 × 4 矩阵的秩<我nline-formula> 3 但是没有,NMF有两种解决方案<我nline-formula> 问 矩阵连接解决方案 ( 1 1 0 0 1 0 1 0 0 1 0 1 0 0 1 1 ] = R = R ︸ W 我 ︸ H = 我 ︸ W ′ R ︸ H ′ 。 我们顺便提及,托马斯( 5)使用这个矩阵来说明一个相关的问题。这就完成了。

引理2 (Minc [< xref ref-type =“bibr”掉= " B10 " > < / xref >,引理2 1.1])。

一个非负矩阵的逆非负当且仅当它是一个按比例缩小的排列。

引理 2显示所有NMF解形式<我nline-formula> W 问 和<我nline-formula> 问 − 1 H ,在那里<我nline-formula> 问 是一个按比例缩小的排列,是有效的,从而,NMF只能是唯一的排列和扩展。这将导致以下本文独特的NMF的定义。

<年代tatement id="deff6"> 定义4。

一个矩阵<我nline-formula> R 有一个<我talic> 独特的NMF如果歧义是排列和扩展的列<我nline-formula> W 和行<我nline-formula> H 。

独特性的缩放和排列歧义的定义是一个著名的模棱两可,发生在许多盲源分离问题。这种独特的NMF的定义,可以进行以下两个独特的NMF的性格特征。<年代tatement id="thm7"> 定理1。

如果<我nline-formula> r = 排名 ( R ) ,NMF独特当且仅当积极的象限是唯一<我nline-formula> r 订购单形锥<我nline-formula> 这样<我nline-formula> 跨度 + ( W T ) ⊆ ⊆ 跨度 + ( H ) * 。

<年代tatement id="proof001"> 证明。

证明之前的分析<我nline-formula> 问 矩阵结合以上引理 1(b)。也可以证明这个定理的证明步骤后( 5]。

定理2(见[< xref ref-type =“bibr”掉= " B7 " > < / xref > 6])。

NMF独特当且仅当只有一个<我nline-formula> r 订购单形锥<我nline-formula> 这样<我nline-formula> 跨度 + ( R ) ⊆ ⊆ ,在那里<我nline-formula> 是积极的象限。

证明。

证明是直接从定义。

第一个特征是激励, 5和介绍的第二个特征是隐式的 6]。注意,这两个特征的独特NMF分析问题从两个不同的观点。定理 1需要一个已知的<我nline-formula> W 和<我nline-formula> H 对作为起点,看着“里面”的解决方案,<我nline-formula> r 维行向量空间<我nline-formula> W 和列向量<我nline-formula> H 。定理 2看问题从“外”,也就是说,<我nline-formula> n 维列空间<我nline-formula> R 。

4所示。矩阵的条件

如果<我nline-formula> R = W H 是独一无二的,那么这两个<我nline-formula> W 和<我nline-formula> H 分别必须是唯一的,只有一个NMF的<我nline-formula> W 其中一个<我nline-formula> H ,即<我nline-formula> W = W 我 和<我nline-formula> H = 我 H 。在本节中,一个必要条件<我nline-formula> W 和<我nline-formula> H 给出一个充分条件。

下面的定义将被证明是必要条件的行向量<我nline-formula> W 和列向量<我nline-formula> H 。

<年代tatement id="deff9"> 定义5。

一组<我nline-formula> 向量的<我nline-formula> ℝ + d 被称为<我talic> 边界附近如果对所有<我nline-formula> j ≠ 我 和<我nline-formula> k > 0 有一个元素<我nline-formula> 年代 ∈ 这样 年代 j < k 年代 我 。

在闭集的情况下,边界条件是密切<我nline-formula> 年代 j = 0 和<我nline-formula> 年代 我 ≠ 0 。在本节中,集将有限的(因此关闭了),但在部分 7上面的一般定义是必要的。

<年代tatement id="thm10"> 定理3。

行向量的集合<我nline-formula> W 必须边界关闭相应的NMF是唯一的。

证明。

如果行向量的集合<我nline-formula> W 不是边界附近,存在索引<我nline-formula> j ≠ 我 和<我nline-formula> k > 0 这样<我nline-formula> j 总是超过th元素<我nline-formula> k 倍的<我nline-formula> 我 行向量的元素<我nline-formula> W 。让<我nline-formula> = 跨度 + ( 问 1 , … , 问 r ) ,在那里 问 n = { e 我 + k e j 如果 n = 我 , e n 否则 , 和<我nline-formula> e n 表示<我nline-formula> n 标准的基向量。这组满足条件<我nline-formula> 跨度 + ( W T ) ⊆ ⊂ 因此,我们使用定理 1,得出结论,NMF不能是唯一的。

的行向量<我nline-formula> W 小元素确定独特性可以从下面的例子。

<年代tatement id="ex2"> 例2。

下面是一个例子<我nline-formula> W ¯ 并不是唯一的但<我nline-formula> W = ( W ¯ 3 1 1 ] 是多少。

让 W ¯ = ( 0 1 1 1 0 1 1 1 0 ] 。 在这里<我nline-formula> W ¯ 边界接近但不是唯一的吗<我nline-formula> W ¯ = W ¯ 我 = 我 W ¯ 。的独特性<我nline-formula> W = ( W ¯ 3 1 1 ] 可以验证通过策划矩阵如图 1,观察定理的条件 1是能够实现的。这就完成了。

一个三维空间扩展,这样在超平面上的向量:<我nline-formula> { p ∣ ( 1 1 1 ] p = 1 } 。通过映射的超平面,平面<我nline-formula> ℝ 3 被映射到一个线和单形锥映射到一个区域。在图中,可以观察到,冲三角形(期望的解决方案)是唯一三角形(三阶单形锥)包含阴影区域(积极的<我nline-formula> W ),而在固体边界(双<我nline-formula> H )。NMF可以得出独特的定理 1。

在三维空间中,如示例 2,很容易调查边界是否关闭<我nline-formula> W 是unique-if<我nline-formula> W = W ′ H ′ ,然后<我nline-formula> H ′ 只能有两种结构类型:要么是微不足道的(理想的)解决方案在哪里<我nline-formula> H ′ = 我 或解决方案的对角线<我nline-formula> H ′ 是零。在更高的维度,所有非平凡解组合数量的增加和调查所有可能的重要的结构变得更加复杂。例如,如果<我nline-formula> W ¯ 是矩阵的例子吗 2,那么矩阵 W ˜ = ( W ¯ 0 0 W ¯ ] 边界接近,可以从几个方面来分解,例如, W ˜ = ( 我 0 0 W ¯ ] ( W ¯ 0 0 我 ] = ( W ¯ 0 0 我 ] ( 我 0 0 W ¯ ] = ( 我 0 0 我 ] ( W ¯ 0 0 W ¯ ] 。 而不是寻求一个独特的必要和充分条件<我nline-formula> W ,没什么比必要的充分条件。在这个充分条件,我们只关注的行向量<我nline-formula> W 以零(或很小)元素。<年代tatement id="deff11"> 定义6。

一组向量<我nline-formula> 在<我nline-formula> ℝ + d 被称为<我talic> 强烈边界附近如果是边界附近,存在一个<我nline-formula> z > 0 和一个编号的向量中的元素<我nline-formula> k > 0 和<我nline-formula> n ∈ { 1 , … , d − 1 } 有<我nline-formula> d − n 向量的<我nline-formula> , { 年代 1 , … , 年代 d − n } 完成以下:

年代 n j < k ∑ 我 > n 年代 我 j 对所有<我nline-formula> j ;和

κ 2 ( ( b 1 , … , b d − n ] ) ≤ z ,在那里<我nline-formula> κ 2 ( ⋅ ) 是矩阵的条件数”定义为最大和最小奇异值之间的比例 10,81页),<我nline-formula> b j = P n 年代 j 和<我nline-formula> P n ∈ ℝ d − n × d 是一个投影矩阵,选择<我nline-formula> d − n 最后一个元素的一个向量<我nline-formula> ℝ d 。

定理4。

如果<我nline-formula> 跨度 + ( W T ) 强烈边界关闭呢<我nline-formula> W 是独一无二的。

证明是相当的技术,因此在附录中给出。最重要的是要注意到定理的必要条件 3和定理的充分条件 4是非常相似的。第一项强烈边界附近定义中指出,有几个向量小值。第二项确保与小值是线性无关的向量元素。

5。R的独特性

在本节中,独特的条件<我nline-formula> V 进行了分析。首先,示例 3用于调查当强烈边界关闭<我nline-formula> W 和<我nline-formula> H 一对是独一无二的。结尾部分的约束<我nline-formula> W 和<我nline-formula> H 结果在一个独特的NMF。

<年代tatement id="ex3"> 例3。

这是一个调查的独特性<我nline-formula> R 当<我nline-formula> W 和<我nline-formula> H 给出了作为 H = ( α 1 1 α 0 0 1 α 0 0 α 1 0 0 α 1 1 α ] , W = H T , 在哪里<我nline-formula> 0 < α < 1 。这两个<我nline-formula> W 和<我nline-formula> H 强烈边界密切,吗<我nline-formula> z 参数可以计算 z = κ 2 ( ( b 1 , … , b d − n ] ) = κ 2 ( ( α 1 1 α ] ) = 1 + α 1 − α 。 上面的方程表明,小<我nline-formula> α 将导致<我nline-formula> z 接近一个和一个<我nline-formula> α 在一个大接近一个结果<我nline-formula> z 。在图 2,矩阵<我nline-formula> R = W H 是策划<我nline-formula> α ∈ { 0.1 , 0.3, 0.5, 0.7 } 。虚线是理想的解决方案,并在所有数据重复。这是看到阴影区域<我nline-formula> 跨度 + ( W T ) 时减少<我nline-formula> α 增加,固体边界<我nline-formula> 跨度 + ( H ) * 增加的时候<我nline-formula> α 增加。对所有<我nline-formula> α 值,阴影区域和固体边界与冲三角形相交。因此,它是不可能得到另一个解决方案通过增加/减少所需的解决方案。图中显示,NMF是独一无二的<我nline-formula> α ∈ { 0.1 , 0.3 } 并不是唯一的<我nline-formula> α ∈ { 0.5 , 0.7 } 可选择的解决方案是虚线所示。的NMF并非独一无二<我nline-formula> α ∈ { 0.5 , 0.7 } 还可以通过选择来验证吗<我nline-formula> 问 的对称正交矩阵 问 = 问 T = 问 − 1 = 1 3 ( − 1 2 2 2 − 1 2 2 2 − 1 ] , 看看这两个<我nline-formula> W 问 和<我nline-formula> 问 − 1 H 是负的。如果<我nline-formula> α = 0.3 ,那么矩阵<我nline-formula> R 是由 R = 1 One hundred. ( 109年 60 30. 9 30. One hundred. 60 109年 One hundred. 30. 9 30. 30. One hundred. 109年 60 30. 9 9 30. 60 109年 One hundred. 30. 30. 9 30. One hundred. 109年 60 One hundred. 30. 9 30. 60 109年 ] 。 这表明<我nline-formula> R 不需要零NMF的独一无二的。这就完成了。

图中显示的数据构造成在的例子 3和相同的方式绘制如图 1,即冲三角形是理想的解决方案,实线是双重的边界<我nline-formula> H ,阴影部分的面积是积极的<我nline-formula> W 。时可以看出NMF是独一无二的<我nline-formula> α =<我nline-formula> 0.1 或<我nline-formula> 0.3 但当<我nline-formula> α =<我nline-formula> 0.5 或<我nline-formula> 0.7 。NMF的情况并不是独一无二的,另一种解决方案是用虚线显示。

α = 0.1

α = 0.3

α = 0.5

α = 0.7

在上面的示例中,<我nline-formula> W =<我nline-formula> H T 从而实现相同的约束。在许多应用程序中,的意思<我nline-formula> W 和<我nline-formula> H 不同,例如,在音乐分析的列向量<我nline-formula> W 光谱的笔记和吗<我nline-formula> H 是一个注意活动矩阵( 11]。

其次,是研究如何使一个不对称的唯一性约束。

<年代tatement id="deff13"> 定义7。

一组向量<我nline-formula> ℝ d 被称为<我talic> 足够的传播如果对所有<我nline-formula> j 和<我nline-formula> k > 0 ,有一个元素<我nline-formula> 年代 ∈ 这样 年代 j > k ∑ 我 ≠ j 年代 我 。

注意,在充分的定义设置传播<我nline-formula> j th元素大于之和与强烈边界定义的<我nline-formula> j th元素小于之和。

<年代tatement id="lem14"> 引理3。

一套充分传播的双重空间是积极的象限。

证明。

一套充分传播非负,因此积极的象限的一部分双重任何足够传播集合。让<我nline-formula> b 是一个向量的负面元素<我nline-formula> j th元素和选择 k = ∑ 我 ≠ j | b 我 | − b j 。 在任何足够传播集,一个<我nline-formula> 年代 存在,这样<我nline-formula> 年代 j > k ∑ 我 ≠ j 年代 我 因此 年代 T b = 年代 j b j + ∑ 我 ≠ j 年代 我 b 我 ≤ 年代 j b j + ( ∑ 我 ≠ j 年代 我 ) ( ∑ 我 ≠ j | b 我 | ) = − b j ( − 年代 j + k ∑ 我 ≠ j 年代 我 ) < 0。 的<我nline-formula> b 因此不是在任何足够双重传播。

在有限集的情况下,充分传播条件是一样的要求按比例缩小的版本的所有标准基向量充分传播组的一部分。很容易确认一套充分扩散边界附近,也强烈<我nline-formula> z 参数是一个。

<年代tatement id="thm15"> 定理5。

如果一对<我nline-formula> ( W T , H ] 充分扩散和强烈边界,NMF的<我nline-formula> R = W H 是独一无二的。

证明。

引理 3州双组一套充分传播积极的象限, 跨度 + ( H ) * = = 跨度 + ( 我 ) * 。 定理 4州<我nline-formula> W 我 是独一无二的,通过使用( 16)和定理 1我们得出这样的结论:<我nline-formula> R = W H 是独一无二的。

定理 5结果是一个更强大的版本Donoho和Stodden 6定理1]。定理 1在[ 6)还假设<我nline-formula> H 充分扩散,但条件<我nline-formula> W T 比强烈边界接近的假设。

6。摄动分析

在前面的部分中,我们分析了情况与一个独特的解决方案。在本节中,结果表明,在某些情况下可以视为非唯一性估计噪声<我nline-formula> W 和<我nline-formula> H 。描述了如何关闭估计的误差函数<我nline-formula> ( W ′ , H ] ′ 两人是真实的<我nline-formula> ( W , H ] 一对是 J ( W , H ) ( W ′ , H ′ ) = 最小值 P , D ( ∥ W − W ′ ( D P ) ∥ F + ∥ H − ( D P ) − 1 H ′ ∥ F ) , 在哪里<我nline-formula> P 是一个置换矩阵和<我nline-formula> D 是一个对角矩阵。

<年代tatement id="thm16"> 定理6。

让<我nline-formula> R = W H 是一个独特的NMF。给出一些<我nline-formula> ϵ > 0 ,存在一个<我nline-formula> δ > 0 这样,任何非负<我nline-formula> V = R + N ,在那里<我nline-formula> ∥ N ∥ F < δ 满足 J ( W , H ) ( W ′ , H ′ ) < ϵ , 在哪里 ( W ′ , H ′ ] = 参数分 W ′ ∈ ℝ + n × r , H ′ ∈ ℝ + r × 米 ∥ V − W ′ H ′ ∥ F 。

证明在附录中给出。这个定理指出,如果观察被加性噪声,然后它会导致噪声估计<我nline-formula> W 和<我nline-formula> H 。此外,定理 6表明,如果噪音小,这将导致小估计错误。在本节中,弗罗贝尼乌斯规范中使用( 17)和( 19)定理 6混凝土。定理 6也是相同的有效证明如果使用任何连续度量而不是弗罗贝尼乌斯的规范在这些方程。<年代tatement id="ex4"> 例4。

这个例子调查中的加性噪声之间的关系<我nline-formula> V 和估计误差<我nline-formula> W 和<我nline-formula> H 。的列向量<我nline-formula> W 是依据一个人的照片,一只狗,和太阳如图 3(一个), 3 (b), 3 (c)。在图 3 (d),图片显示的三个基础。矩阵<我nline-formula> H 所有的图片组合的集合,也就是说, H = ( 1 0 0 0 1 1 1 0 1 0 1 0 1 1 0 0 1 1 1 0 1 ] 。 定理 5可以得出结论,NMF的吗<我nline-formula> R = W H 是独特的因为<我nline-formula> W T 和<我nline-formula> H 充分扩散,从而也强烈边界附近。

这三个基础图片:(a)一只狗,人(b)和(c)太阳从例子 4(d),单独和总结。

在这个例子中,两个不同的噪声矩阵,<我nline-formula> N N 和<我nline-formula> N 米 ,使用。的<我nline-formula> N N 矩阵模型的观察和元素随机均匀先验知识。<我nline-formula> N 米 矩阵元素包含- 1的位置<我nline-formula> R 元素有两个零,也就是说,<我nline-formula> N 米 是- 1在狗的位置和这个男人是重叠的。在这种情况下,误差矩阵<我nline-formula> N 米 模拟模型不匹配,出现在以下两种类型的真实数据。如果数据集组成的图片,根据图片会重叠,一个像素<我nline-formula> V 将包括一个基础图片而不是重叠的照片的混合物。如果数据是一组振幅谱,真正的模型是一个复杂的值并不是一个加法的振幅。

分解的估计误差<我nline-formula> J ( W , H ) ( W ′ , H ′ ) 绘制在图 4当错误的标准矩阵<我nline-formula> μ ,也就是说,<我nline-formula> V = W H + ( N / ∥ N ∥ F ) μ 。估计的<我nline-formula> ( W ′ , H ′ ] 使用迭代算法对计算Lee Seung[弗罗贝尼乌斯范数最小化的 2]。该算法运行500次迭代,从100个不同的位置。最小化的分解<我nline-formula> ∥ V − W ′ H ′ ∥ F 是选择,<我nline-formula> J ( W , H ) ( W ′ , H ′ ) 数值计算。图 4显示,当添加误差很小,可以估计底层参数。当添加噪声矩阵的规范增加时,两个噪声矩阵的行为,<我nline-formula> N N 和<我nline-formula> N 米 ,是不同的。为<我nline-formula> N N ,估计误差的增加慢慢添加了规范的矩阵的估计误差<我nline-formula> N 米 增加显著大于规范时<我nline-formula> 2.5 。在仿真中,我们进行了以下的观察可以解释这一差别在两种类型的噪声的性能。当<我nline-formula> N N 基础,图片仍然吵闹的版本的人,狗和太阳。当<我nline-formula> N 米 使用和规范比吗<我nline-formula> 2.5 ,根据照片是男人不包括重叠,狗不重叠,重叠的男人和狗。另一种方法来描述不同的等级<我nline-formula> N 米 是一个扰动是在一维,在哪里<我nline-formula> N N 满秩和扰动在许多维度。这就完成了。

图表显示了添加剂的标准误差之间的联系<我nline-formula> ∥ N ∥ F 和底层模型的估计误差<我nline-formula> J ( W , H ) ( W ′ , H ′ ) 。两个噪声矩阵的例子 4,<我nline-formula> N N 和<我nline-formula> N 米 绘制。在这个例子中,曲线是一致的小错误,和更大的错误,模型误差<我nline-formula> N 米 导致更大的估计错误。

推论1。

让<我nline-formula> R = W H 是一个独特的NMF和<我nline-formula> V = W ˜ H ˜ ,在那里<我nline-formula> W ˜ = W + N W 和<我nline-formula> H ˜ = H + N H 。鉴于<我nline-formula> R 和<我nline-formula> ϵ > 0 存在一个<我nline-formula> δ > 0 这样,如果双方的最大绝对值<我nline-formula> N W 和<我nline-formula> N H 小于<我nline-formula> δ ,然后 J ( W ˜ , H ˜ ) ( W ′ , H ′ ) < ϵ , 在哪里<我nline-formula> W ′ , H ′ 是任何NMF的<我nline-formula> V 。

证明。

这是直接从定理 6。

的情况下可以使用推论有小的元素<我nline-formula> W 和<我nline-formula> H 但没有(或不够)零元素下面的例子。

<年代tatement id="ex5"> 例5。

让<我nline-formula> R = W H ,在那里<我nline-formula> W , H 生成的例子吗 3。让所有在这两个元素<我nline-formula> N W 和<我nline-formula> N H 等于<我nline-formula> η 。在图 5,<我nline-formula> V 是策划<我nline-formula> α = 0.3 和<我nline-formula> η = { 0.01 , 0.05, 0.10, 0.15 } 。在这个例子中,阴影区域和固体边界相交与所需的解决方案。因此,它可以被简单地增加/减少其他解决方案所需的解决方案。为<我nline-formula> η = { 0.01 , 0.05 } 的解决方案接近所需的解决方案的角落。当<我nline-formula> η = 0.1 ,大多数角落可以放置在固体边界和仍然形成一个三角形包含阴影区域。当<我nline-formula> η = 0.15 ,角落可以在固体边界。这就完成了。

数据构造成的例子 5和相同的方式绘制如图 1,即冲三角形是理想的解决方案,实线是双重的边界<我nline-formula> H ,阴影部分的面积是积极的<我nline-formula> W 。在所有的情节,<我nline-formula> α =<我nline-formula> 0.3 和<我nline-formula> η = 0.01,0.05,0.1和0.15。

η = 0.01

η = 0.05

η = 0.10

η = 0.15

7所示。概率和独特性

在本节中,行向量<我nline-formula> W 的列<我nline-formula> H 被视为两个随机变量的结果。样本空间的特征(一个随机变量的可能结果)导致独特的NMF将调查。

<年代tatement id="thm18"> 定理7。

我们的行向量<我nline-formula> W 生成的随机变量<我nline-formula> W 我们的列向量<我nline-formula> H 生成由一个随机变量<我nline-formula> H 。如果样本空间<我nline-formula> W 强烈边界附近的样本空间<我nline-formula> H 是充分扩散,那么所有<我nline-formula> ϵ > 0 和<我nline-formula> k < 1 ,存在<我nline-formula> N ϵ 和<我nline-formula> 米 ϵ 这样 p ( 最小值 D , P ( ∥ D P 问 − 我 ∥ F ) < ϵ ) > k , 在哪里<我nline-formula> 问 是矩阵,这样吗<我nline-formula> W 问 和<我nline-formula> 问 − 1 H 非负和数据大小吗<我nline-formula> R ∈ ℝ + n × 米 是这样的,<我nline-formula> n > N ϵ 和<我nline-formula> 米 > 米 ϵ 。

证明。

如果数据是按比例缩小的,<我nline-formula> D 1 R D 2 ,它不改变测量时解的非唯一性<我nline-formula> 问 矩阵。因此证明了规范化的版本<我nline-formula> W 和<我nline-formula> H 。让<我nline-formula> W 和<我nline-formula> H 归一化的版本<我nline-formula> W 和<我nline-formula> H 。存在有限集<我nline-formula> W ¯ 和<我nline-formula> H ¯ 向量的关闭<我nline-formula> W 和<我nline-formula> H 强烈边界附近和充分扩散。由定理 5众所周知,<我nline-formula> V ¯ = W ¯ H ¯ 是独一无二的。通过增加向量的个数从采样<我nline-formula> W 和<我nline-formula> H ,对于任何<我nline-formula> ϵ ′ > 0 ,将会有两个向量的子集,<我nline-formula> W ′ 和<我nline-formula> H ′ ,的概率更大<我nline-formula> k < 1 将会实现 ϵ ′ > ∥ W ¯ − W ′ ∥ F + ∥ H ¯ − H ′ ∥ F 。 可以使用推论 1在这个子集。事实上,限制<我nline-formula> 最小值 D , P ( ∥ D P 问 − 我 ∥ F ) 相当于限制( 21)当向量规范化总结了证据。

例6。

让所有的元素<我nline-formula> H 指数i.i.d.因此产生足够的样本空间传播。此外,让每一行<我nline-formula> W 是指数i.i.d.加上一个随机向量样本空间<我nline-formula> { ( 0 1 1 ) , ( 1 0 1 ) , ( 1 1 0 ) } 因此强烈边界附近。在图 6,上面的变量显示以下四个矩阵大小<我nline-formula> R ∈ { ℝ 10 × 10 , ℝ 40 × 40 , ℝ One hundred. × One hundred. , ℝ 500年 × 500年 } 。这就完成了。

图中显示的数据构造成在的例子 6策划以同样的方式与前面图除了每一行向量的<我nline-formula> W 是策划,而不是积极的向量张成的空间。的大小<我nline-formula> R 显示在每个情节。

R ( 10 × 10 ]

R ( 40 × 40 ]

R ( One hundred. × One hundred. ]

R ( 500年 × 500年 ]

8。讨论

本文的方法是调查当nonnegativity导致独特性与NMF连接,<我nline-formula> V ≈ R = W H 。Nonnegativity是唯一的假设的定理,定理所以不能用作一个NMF论点nonunique如果有额外的信息<我nline-formula> W 或<我nline-formula> H 。一个例子与强唯一性结果是稀疏NMF算法霍耶( 12)建立在假设的行向量<我nline-formula> H 知道之间的比率<我nline-formula> l 1 规范和<我nline-formula> l 2 规范。赛思et al。 13)研究独特性强唯一性结果在这种情况下,列示。另一个例子是数据矩阵每一行添加了一个常数。在这种情况下,仿射NMF算法( 14)可以使NMF独特即使设置违反定理 3在这篇文章中。

如图 4,类型的噪声大大影响误差曲线。介绍了应用噪声由于添加剂模型并不持有,例如,当<我nline-formula> V 图片或光谱,是可能影响噪声通过一个非线性函数的元素<我nline-formula> V 。介绍了这样一个非线性函数( 15),实验表明,它能改善结果。寻找良好的非线性函数理论框架将有趣的调查。

节中定义的充分传播条件 5有一个独特的NMF由于引理重要作用吗 3。充分扩散假设是间接在相关领域也会导致独特的解决方案,例如,在[ 7]在groundedness假设会导致变量与一个足够样本空间传播。如果矩阵<我nline-formula> H 充分扩散,那么列<我nline-formula> W 会发生(几乎)单独列<我nline-formula> V 。德维尔( 16)使用“发生”的假设,从而充分扩散假设,使盲源分离成为可能。

9。结论

我们已经调查了NMF的独特性从三个不同的观点如下:

独特性在噪声免费的情况下;

底层模型的估计误差矩阵具有独特的NMF时添加噪声;和

潜在的导致矩阵的随机过程模型可以估计小错误。

通过这样做,我们已经表明,它可以使许多新颖有用的特征,可以作为理论支撑使用大量NMF算法。几个开放问题可以发现在所有的三个观点,如果解决,会给一个更好的理解的非负矩阵因子分解。

附录 定理的证明< xref ref-type =“声明”掉= " thm12 " > < / xref >。

这个定理,<我nline-formula> W = W 我 是一个独特的NMF。为了证明这一点,结果表明,条件定理 1满足了。积极的象限是自对偶(<我nline-formula> 我 = 我 − 1 ),从而<我nline-formula> ⊆ ,在那里<我nline-formula> 是一个<我nline-formula> r 订购单形锥包含<我nline-formula> 跨度 + ( W T ) 。让的行向量<我nline-formula> W 是用<我nline-formula> 。一个<我nline-formula> r 订购单形锥,<我nline-formula> ,是一个闭集,因此它需要包含关闭<我nline-formula> 用<我nline-formula> ¯ 。两个项目的定义 6强烈的边界可以新配方<我nline-formula> ¯ 包含边界:

年代 n j = 0 对所有<我nline-formula> j ,

向量<我nline-formula> ( b 1 , … , b d − n ] 是线性无关的。

其余的遵循用归纳法证明。如果<我nline-formula> r = 2 ,然后<我nline-formula> ¯ = 因此是独一无二的。因此,让<我nline-formula> r > 2 。然后<我nline-formula> r − 1 线性无关的向量<我nline-formula> ¯ 0是第一个元素,然后呢<我nline-formula> r − 1 因此需要零基向量的第一个元素。换句话说,只有一个基向量的第一个元素非零。我们称这个向量<我nline-formula> b 1 。对所有<我nline-formula> j > 1 有一个向量<我nline-formula> ¯ 在第一个元素非负和零<我nline-formula> j th元素,所以所有的元素<我nline-formula> b 1 除了第一个零。证明完成后通过观察,如果向量的第一个元素被删除<我nline-formula> ¯ ,它仍然是强烈边界问题是因此关闭<我nline-formula> r − 1 维问题。

定理的证明< xref ref-type =“声明”掉= " thm16 " > < / xref >。

让<我nline-formula> 是开放的<我nline-formula> W ′ , H ′ 对接近<我nline-formula> W 和<我nline-formula> H , = { ( W ′ , H ′ ] ∣ J ( W , H ) ( W ′ , H ′ ) < ϵ } 。 让<我nline-formula> ¯ 所有非负的集合<我nline-formula> W ⌣ , H ⌣ 对不<我nline-formula> 在哪里<我nline-formula> 马克斯 ( W ⌣ , H ⌣ ) ≤ 1 + 马克斯 ( R ) 。的独特性<我nline-formula> R 确保 ∥ R − W ⌣ H ⌣ ∥ F > 0 , 对所有<我nline-formula> ( W ⌣ , H ⌣ ] ∈ ¯ 。弗罗贝尼乌斯规范是连续的,<我nline-formula> ¯ 是一个封闭的有界集,上面的声明是积极的保证吗 最小值 ( W ⌣ , H ⌣ ] ∈ ¯ ( ∥ R − W ⌣ H ⌣ ∥ F ) = δ ′ > 0 , 从一个连续函数达到其限制在一个封闭的有界集 17定理4.28)。的<我nline-formula> W ⌣ , H ⌣ 对不<我nline-formula> 在哪里<我nline-formula> 马克斯 ( W ⌣ , H ⌣ ) > 1 + 马克斯 ( R ) 可以是由一个对角矩阵转变成一个矩阵对的<我nline-formula> ¯ ,<我nline-formula> ( W ⌣ D , D − 1 H ⌣ ] ∈ ¯ ,拥有相同的产品<我nline-formula> ( W ⌣ H ⌣ ) 也可以转换成一对,<我nline-formula> W ⌣ 和<我nline-formula> H ⌣ 有大的元素,即 马克斯 ( W ⌣ H ⌣ ) > 1 + 马克斯 ( R ) 2 = 1 + 马克斯 ( R ) , ,从而<我nline-formula> ∥ R − W ⌣ H ⌣ ∥ F > 1 。

选择<我nline-formula> δ 是<我nline-formula> δ = 最小值 ( 1 , δ ′ ) / 2。 错误所需的解决方案<我nline-formula> R = W H 可以有界<我nline-formula> ∥ V − R ∥ F = ∥ N ∥ F < δ 。让<我nline-formula> V ⌣ 是任何矩阵由一对非负矩阵不是<我nline-formula> 。因为<我nline-formula> δ 被选中时,<我nline-formula> ∥ V ⌣ − R ∥ F ≥ 2 δ 。通过三角不等式,我们得到的 ∥ V ⌣ − V ∥ F + ∥ V − R ∥ F ≥ ∥ V ⌣ − R ∥ F ∥ V ⌣ − V ∥ F ≥ ∥ V ⌣ − R ∥ F − ∥ V − R ∥ F > 2 δ − δ = δ > ∥ V − R ∥ F 。 不是所有的解决方案<我nline-formula> 因此有一个更大的错误<我nline-formula> W H 并将不会错误的最小值。

 确认

本研究项目智能支持的声音,丹麦技术研究委员会批准号26-02-0092。支持m·g·克里斯坦森的工作参数音频处理项目,丹麦研究委员会对技术和生产科学批准号274-06-0521。这部分工作是之前的一次会议上提出了( 18]。

李 D D。 Seung h·S。 学习对象的部分非负矩阵因子分解 自然 1999年 401年 6755年 788年 791年 10.1038/44565 李 D D。 Seung h·S。 非负矩阵分解算法 先进的神经信息处理系统13 2000年 美国马萨诸塞州剑桥市 麻省理工学院出版社 556年 562年 浆果 m·W。 berry@cs.utk.edu 布朗 M。 mbrowne@cs.utk.edu Langville a . N。 langvillea@cofc.edu Pauca 诉P。 paucavp@wfu.edu Plemmons r . J。 plemmons@wfu.edu 近似的非负矩阵分解算法和应用程序 计算统计和数据分析 2007年 52 1 155年 173年 10.1016 / j.csda.2006.11.006 伯曼 一个。 问题73 - 14,非负矩阵的秩分解 暹罗审查 1973年 15 3 655年 10.1137 / 1015076 托马斯。 l 解决问题73 - 14,非负矩阵的秩分解 暹罗审查 1974年 16 3 393年 394年 10.1137 / 1016064 Donoho D。 Stodden V。 什么时候非负矩阵分解给正确分解为部分吗? 神经信息处理系统的进步16 2004年 美国马萨诸塞州剑桥市 麻省理工学院出版社 1141年 1148年 Plumbley M。 mark.plumbley@elec.qmul.ac.uk 非负独立分量分析条件 IEEE信号处理信件 2002年 9 6 177年 180年 10.1109 / LSP.2002.800502 Rockafellar r·T。 凸分析 1970年 1日 普林斯顿,纽约,美国 普林斯顿大学出版社 明克 H。 非负矩阵 1988年 1日 纽约,纽约,美国 约翰威利& Sons Golub g . H。 贷款 c·f·V。 矩阵计算 1996年 3日 美国马里兰州巴尔的摩 约翰·霍普金斯大学出版社 Smaragdis P。 布朗 J。 非负矩阵分解为复调音乐转录 《IEEE音频和声学信号处理应用的研讨会上发表(WASPAA ' 03) 2003年10月 美国纽约(纽柏兹 177年 180年 霍耶 p . O。 与稀疏约束非负矩阵分解 机器学习的研究》杂志上 2004年 5 1457年 1469年 赛思 F。 Stadlthanner K。 田中 T。 第一个结果稀疏非负矩阵分解的唯一性 13日欧洲信号处理研讨会论文集(EUSIPCO ' 05) 2005年9月 土耳其安塔利亚 Laurberg H。 hla@kom.aau.dk 汉森 l·K。 lkh@imm.dtu.dk 在仿射非负矩阵因子分解 2 《IEEE国际会议音响、演讲和信号处理(ICASSP ' 07) 2007年4月 美国夏威夷火奴鲁鲁 653年 656年 10.1109 / ICASSP.2007.366320 施密特 m . N。 拉森 J。 萧 这。 使用非负稀疏编码风降噪 《IEEE车间对机器学习信号处理(MLSP ' 07) 2007年8月 希腊塞萨洛尼基 431年 436年 10.1109 / MLSP.2007.4414345 德维尔 Y。 时间和时频correlation-based盲源分离方法 诉讼的第四届国际研讨会上独立分量分析和盲目的信号分离(ICA ' 03) 2003年4月 日本奈良 1059年 1064年 很有 t M。 数学分析 1974年 2日 美国大众阅读 addison - wesley Laurberg H。 非负矩阵分解的唯一性 学报14 IEEE / SP车间在统计信号处理(SSP ' 07) 2007年8月 美国威斯康星州麦迪逊 44 48 10.1109 / SSP.2007.4301215