NMF问题是给定一个负的
n
×
米矩阵
V,发现非负
n
×
r和
r
×
米矩阵的因素
W和
H这样测量之间的区别
V和
W
H至少根据代价函数,也就是说,
V
≈
W
H
。NMF方法获得使用非负约束的表示数据。这些约束导致部分原因表示因为他们只允许添加剂,没有减去,原始数据的组合。为
我th列(
1),也就是说,
v
我
=
W
h
我,在那里
v
我和
h
我是
我th列
V和
H
,的
我th基准面(观察)是一个非负的线性组合的列
W
=
(
W
1
,
W
2
,
…
,
W
r
),而组合系数的元素
h
我
。因此,的列
W,也就是说,
{
W
1
,
W
2
,
…
,
W
r
}的基础,可以看作是数据
V当
V最优估计的因素。
2.1。模式的基础上
让
W
1
,
W
2
,
…
,
W
r是线性无关的
n维向量。我们将由任意张成的空间非负的线性组合
r向量张成的积极的子空间
W
1
,
W
2
,
…
,
W
r。然后,
W
1
,
W
2
,
…
,
W
r在这个子空间数据的模式表达式,和被称为子空间的基础。显然,根据
W
1
,
W
2
,
…
,
W
r来自NMF的模式表达式列的观测数据
V,但这个表达式可能不是独一无二的。图
1(一)显示了一个示例数据
V这有两个模式的表情
{
W
1
,
W
2
}和
{
W
1
′
,
W
2
′
}。因此,我们有以下几个问题:基础是更有效的表达模式的观察
V吗?为了表达模式的基础
V实际上,在我们看来,应该满足以下三个要求:
的基础
{
W
1
,
W
2
}
/
{
W
1
′
,
W
2
′
}遵守/违反(一)第一点;(b)第二点;(c)的第三点的定义模式的基础。
向量之间的夹角的基础上应尽可能大,这样每个数据
V是一个非负的向量的线性组合;
向量之间的角度的基础上应尽可能小,使向量夹数据尽可能紧密,这样没有空间留给不包括的表达式
V;
每个向量的基础应该是最有效的表达式中数据的
V,同样的效率相比,这个表达式与其他向量的基础。
向量定义了上述三个需求是我们所说的模式基础数据,和向量的个数的基础上,
r,称为模式数据的维度。数据
1(一),
1 (b),
1 (c)分别显示太大between-angle, between-angles太小,太不平等的重要基础情况
{
W
1
′
,
W
2
′
}在数据作为基础,数据
1(一)和
1 (b)认为是均匀分布在灰色地带,而在图吗
1 (c)假定为非均匀分布(数据在黑暗中灰色区域的密度与浅灰色区域)。对于这三个情况,
{
W
1
,
W
2
}是一个更好的基础来表达数据。
注意,第二需求模式的定义的基础上随时有约束的NMF的元素
H是负的。然后,我们可以得到三个约束如下:(1)由于要求between-angle每一对向量之间的基础应尽可能大,
W
我
T
W
j
→
最小值
,
f
o
r
我
≠
j,在那里
W我是
我矩阵的列
W;(2)由于要求每个向量的基础应该同样效率表达式中数据的
V这个表达式,而矢量的效率是衡量的总和所有数据的投影坐标
V这个向量,即样本
v
j
,
j
=
1
,
2
,
…
,
n如果用向量表示的
W
我矢量的效率
W
我的表达式
v
j
,
j
=
1
,
2
,
…
,
n是
∑
j
=
1
n
h
j
我,我们有
∑
我
=
1
r
∑
j
=
1
n
h
j
我
→
最小值。因此,我们制定PE-NMF问题最小化损失函数
E
(
W
,
H
;
α
,
β
)在下列方程nonnegativity约束。
PE-NMF问题
给定一个
n通过
米观察非负矩阵
V,找到一个
n通过
r和一个
r通过
米非负矩阵因子
W和
H,这样
最小值
W
,
H
E
(
W
,
H
;
α
,
β
)
=
1
2
∥
V
−
W
H
∥
2
+
α
∑
我
,
j
,
j
≠
我
W
我
T
W
j
+
β
∑
我
,
j
h
我
j
,
年代
。
t
。
W
≥
0
,
H
≥
0
,在哪里
W
≥
0
,
H
≥
0表明两个
W和
H非负矩阵,分别
W我是
我th列的矩阵
W,
hijtheelement在
我th行和
j矩阵的列
H。
这个问题是一个约束优化问题的特殊情况提出了(
4]:
最小值
W
,
H
E
(
W
,
H
;
α
,
β
)
=
1
2
∥
V
−
W
H
∥
2
+
α
J
W
(
W
)
+
β
J
H
(
H
)
,
年代
。
t
。
W
≥
0
,
H
≥
0。
2.2。PE-NMF算法及其收敛性
学习算法的推导过程
W和
H,我们首先提出并证明下面的引理。
引理1。
对于任何由r对称非负矩阵
问对于任何r-dimensional负的行向量
w,r, r矩阵
F
=
δ
一个
b
(
问
w
T
)
一个
w
一个
−
问
总是semipositive明确的,在哪里
δ
一个
b
(
(
问
w
T
)
一个
/
w
一个
)是一个对角矩阵的对角元素ath行和ath列
(
问
w
T
)
一个
/
w
一个。
证明。
被注意到
w一个和
wb矩阵的定义,非负吗
F矩阵的一样吗
年代在这一
一个th行和
bth列元素
年代
一个
b
=
w
一个
F
w
b。因此,我们认为证明的semipositive定义矩阵
年代在接下来的上下文。
对于任何
r维向量
V,我们有以下公式:
V
T
年代
V
=
∑
一个
b
V
一个
年代
一个
b
V
b
=
∑
一个
b
V
一个
w
一个
F
w
b
V
b
=
∑
一个
b
(
V
一个
w
一个
δ
一个
b
(
问
w
T
)
一个
w
一个
w
b
V
b
−
V
一个
w
一个
问
一个
b
w
b
V
b
]
=
∑
一个
b
(
V
一个
w
一个
δ
一个
b
(
问
w
T
)
一个
w
一个
w
b
V
b
]
−
∑
一个
b
V
一个
w
一个
问
一个
b
w
b
V
b
=
一个
−
B
,在哪里
一个表示第一项
B第二项表示在上面的公式。被注意到
问是一个对称矩阵,我们有什么
(
问
w
T
)
一个
=
(
w
问
)
一个,因此第一项
一个就变成了
一个
=
∑
一个
V
一个
w
一个
(
w
问
)
一个
w
一个
w
一个
V
一个
=
∑
一个
(
w
问
)
一个
w
一个
V
一个
2
=
∑
一个
(
∑
b
w
b
问
b
一个
)
w
一个
V
一个
2
=
∑
b
(
∑
一个
w
一个
问
一个
b
)
w
b
V
一个
2
=
∑
一个
b
w
一个
问
一个
b
w
b
V
一个
2
,我们用上面的
一个到公式(
5),并获得
V
T
年代
V
=
∑
一个
b
(
w
一个
问
一个
b
w
b
V
一个
−
w
一个
问
一个
b
w
b
V
一个
V
b
)
=
∑
一个
b
w
一个
问
一个
b
w
b
(
V
一个
2
−
V
一个
V
b
]
=
∑
一个
b
w
一个
问
一个
b
w
b
(
1
2
V
一个
2
+
1
2
V
b
2
−
V
一个
V
b
]
=
1
2
∑
一个
b
w
一个
问
一个
b
w
b
(
V
一个
−
V
b
)
2
。由于这一事实
w和
问分别是一个行向量和一个非负矩阵,因此对于任何
r维行向量
V,我们有
V
T
年代
V
=
1
2
∑
一个
b
w
一个
问
一个
b
w
b
(
V
一个
−
V
b
)
2
≥
0
。因此,矩阵
年代因此
F
=
δ
一个
b
(
(
问
w
T
)
一个
/
w
一个
)
−
问是一个semipositive定矩阵。
二次优化问题,
最小值
w
E
(
w
;
H
,
α
)
=
1
2
∥
v
−
w
H
∥
2
+
1
2
α
w
米
w
T
,
年代
。
t
。
w
≥
0
,在哪里
w是一个
r维行向量,
v是一个给定的
米维非负行向量,
H是一个
r通过
米固定的非负矩阵,
米是一个
r通过
r常数矩阵所有元素是除了对角元素是零,和
α是一个固定的非负参数。以下更新算法
w
一个
t
+
1
=
w
一个
t
(
v
H
T
)
一个
(
w
t
H
H
T
+
α
w
t
米
)
一个
收敛到最优解的非负初始化向量
w
0。
证明。
收敛性的证明将通过引入合适的辅助函数
F
(
w
,
w
t
)满足
F
(
w
t
,
w
t
)
=
E
(
w
t
)
,
F
(
w
,
w
t
)
≥
E
(
w
)
。如果能找到这样的一个函数,那么更新的
w通过设置
w
t
+
1
=
参数
最小值
w
F
(
w
,
w
t
)将会使
E
(
w
t
+
1
)
≤
F
(
w
t
+
1
,
w
t
)
≤
F
(
w
t
,
w
t
)
=
E
(
w
t
)它总是使目标函数
E
(
w
)减少对迭代的算法,说明该算法是收敛的更新公式(
13)。
现在我们构造辅助函数
F
(
w
,
w
t
)
=
E
(
w
t
)
+
(
w
−
w
t
)
∇
E
(
w
t
)
+
1
2
(
w
−
w
t
)
J
(
w
t
)
(
w
−
w
t
)
T
,在哪里
J
(
w
t
)是一个对角矩阵
J
(
w
t
)
=
δ
一个
b
(
H
H
T
w
t
T
+
α
米
w
t
T
)
一个
(
w
t
T
)
一个
。
很明显,
F
(
w
t
,
w
t
)
=
E
(
w
t
),所以公式(
11)持有。
损失函数的泰勒展开
E
(
w
)
,当
w方法
w
t,可以写
E
(
w
)
=
E
(
w
t
)
+
(
w
−
w
t
)
∇
E
(
w
t
)
+
1
2
(
w
−
w
t
)
(
H
H
T
+
α
米
)
(
w
−
w
t
)
T
。通过减去
F
(
w
,
w
t
)在(
8)- (
16)
E
(
w
)在(
7)- (
17),我们有
F
(
w
,
w
t
)
−
E
(
w
)
=
1
2
(
w
−
w
t
)
(
δ
一个
b
(
H
H
T
w
t
T
+
α
米
w
t
T
)
一个
(
w
t
T
)
一个
−
H
H
T
−
α
米
]
(
w
−
w
t
)
T
=
1
2
(
w
−
w
t
)
(
δ
一个
b
(
问
w
t
T
)
一个
(
w
t
T
)
一个
−
问
]
(
w
−
w
t
)
T
,在哪里
问
=
H
H
T
+
α
米。由于这一事实
问是一个非负对称矩阵自
H的非负因素吗
V,
α永远是一个非负参数,和这一事实吗
w
t是一个非负向量,我们从引理
1的矩阵
δ
一个
b
(
(
问
w
t
T
)
一个
/
(
w
t
T
)
一个
)
−
问是semipositive明确的,因此我们总是有吗
F
(
w
,
w
t
)
−
E
(
w
)
≥
0。因此,更新
w根据
w
t
+
1
=
参数
最小值
w
F
(
w
,
w
t
)总是导致迭代过程收敛。
我们采用最陡下降搜索最优的策略
w。为了这个目的,我们有
w
t
+
1为了满足
(
∂
F
(
w
,
w
t
)
)
/
∂
w
|
w
=
w
t
+
1
=
0,我们得到
∇
E
(
w
t
)
+
J
(
w
t
)
(
w
t
+
1
−
w
t
)
T
=
0同样,或者
w
t
+
1
T
=
w
t
T
−
J
−
1
(
w
t
)
∇
E
(
w
t
)
。损失函数的定义
E
(
w
),我们有
∇
E
(
w
t
)
=
H
(
H
T
w
t
−
v
T
)
+
α
米
w
t
T
=
(
H
H
T
+
α
米
)
w
t
T
−
H
v
T
。自
J
(
w
t
)是一个对角矩阵,我们只需要计算每个对角元素在J反转
J
−
1。因此,我们有以下更新公式
一个th元素
w:
w
一个
t
+
1
=
w
一个
t
−
(
w
t
T
)
一个
(
H
H
T
w
t
T
+
α
米
w
t
T
)
一个
⋅
(
H
H
T
w
t
T
+
α
米
w
t
T
−
H
v
T
)
一个
=
w
一个
t
(
H
v
T
)
一个
(
H
H
T
w
t
T
+
α
米
w
t
T
)
一个
=
w
一个
t
(
v
H
T
)
一个
(
w
t
H
H
T
+
α
w
t
米
)
一个
。
定理2。
二次优化问题。
最小值
h
E
(
h
;
W
,
β
)
=
1
2
∥
v
−
W
h
∥
2
+
β
我
T
h
,
年代
。
t
。
h
≥
0,
h是r-dimensional列向量,v是一个给定的n维负的列向量,W是一个n×r固定的非负矩阵,一个是我
r
×
米矩阵的所有元素是1 s,
β是一个固定的非负参数。下面的规则
h
一个
t
+
1
=
h
一个
t
(
W
T
v
)
一个
(
W
T
W
h
t
+
β
我
)
一个
收敛到最优解的非负初始化向量
h
0。
很明显,部分相关行w的目标函数
E
(
W
,
H
;
α
,
β
)在(
1)是
E
(
w
;
H
,
α
)在(
9),部分有关目标函数列h
E
(
W
,
H
;
α
,
β
)在(
1)是
E
(
h
;
W
,
β
)在(
22)。因此,使用公式来更新w和h或者将学习过程收敛于目标函数的解决方案
E
(
W
,
H
;
α
,
β
)。因此,上面的定理可以很容易地证明定理的基础上
1和
2。
的更新
W和
H用MatLab命令也可以表达的
W
=
W
。
∗
(
V
∗
H
′
)
。
/
(
W
∗
H
∗
H
′
+
一个
l
f
一个
∗
W
∗
米
)和
H
=
H
。
∗
(
W
′
∗
V
)
。
/
(
W
′
∗
W
∗
H
+
b
e
t
一个
)
。