2.4。广义最大熵方法沃豪分公司(加工工厂)
根据这一方法,我们执行reparameterization和再形成的线性回归模型(
6)的形式通过编写它的参数期望值<我nl我ne-formula>
θ米米l:mi>
j米米l:mi>
0米米l:mn>
,<我t一个l我c>j我t一个l我c>=1、2、3、4和随机错误<我nl我ne-formula>
ε米米l:mi>
我米米l:mi>
,<我t一个l我c>我我t一个l我c>=1,2,…,n凸组合的形式在一个有限的支持变量的维度通常范围从2到7根据Ciavolino [
6]。因此,五个变量被确定为每个参数的支持<我t一个l我c>d我t一个l我c><年代ub><我talic>
j我t一个l我c>年代ub>= (<我t一个l我c>d我t一个l我c><年代ub><我talic>
j我t一个l我c>1年代ub>,<我t一个l我c>d我t一个l我c><年代ub><我talic>
j我t一个l我c>2年代ub>,<我t一个l我c>d我t一个l我c><年代ub><我talic>
j我t一个l我c>3年代ub>,<我t一个l我c>d我t一个l我c><年代ub><我talic>
j我t一个l我c>4年代ub>,<我t一个l我c>d我t一个l我c><年代ub><我talic>
j我t一个l我c>5年代ub>),为每一个误差项<我t一个l我c>r我t一个l我c><年代ub><我talic>
我我t一个l我c>年代ub>= (<我t一个l我c>r我t一个l我c><年代ub><我talic>
我我t一个l我c>1年代ub>,<我t一个l我c>r我t一个l我c><年代ub><我talic>
我我t一个l我c>2年代ub>,<我t一个l我c>r我t一个l我c><年代ub><我talic>
我我t一个l我c>3年代ub>,<我t一个l我c>r我t一个l我c><年代ub><我talic>
我我t一个l我c>4年代ub>,<我t一个l我c>r我t一个l我c><年代ub><我talic>
我我t一个l我c>5年代ub>)。注意,支持变量的参数并不一定等于随机错误。
的凸组合(
6)可以定义如下:
(20)米米l:mtext>
θ米米l:mi>
j米米l:mi>
0米米l:mn>
=米米l:mo>
d米米l:mi>
j米米l:mi>
1米米l:mn>
P米米l:mi>
j米米l:mi>
1米米l:mn>
+米米l:mo>
d米米l:mi>
j米米l:mi>
2米米l:mn>
P米米l:mi>
j米米l:mi>
2米米l:mn>
+米米l:mo>
d米米l:mi>
j米米l:mi>
3米米l:mn>
P米米l:mi>
j米米l:mi>
3米米l:mn>
+米米l:mo>
d米米l:mi>
j米米l:mi>
4米米l:mn>
P米米l:mi>
j米米l:mi>
4米米l:mn>
+米米l:mo>
d米米l:mi>
j米米l:mi>
5米米l:mn>
P米米l:mi>
j米米l:mi>
5米米l:mn>
=米米l:mo>
∑米米l:mo>
年代米米l:mi>
=米米l:mo>
1米米l:mn>
5米米l:mn>
d米米l:mi>
j米米l:mi>
年代米米l:mi>
P米米l:mi>
j米米l:mi>
年代米米l:mi>
=米米l:mo>
d米米l:mi>
j米米l:mi>
′米米l:mo>
P米米l:mi>
j米米l:mi>
,米米l:mo>
j米米l:mi>
=米米l:mo>
1、2、3、4米米l:mn>
,米米l:mo>
的概率<我nl我ne-formula>
0米米l:mn>
≤米米l:mo>
P米米l:mi>
j米米l:mi>
年代米米l:mi>
≤米米l:mo>
1米米l:mn>
和<我nl我ne-formula>
∑米米l:mo>
年代米米l:mi>
=米米l:mo>
1米米l:mn>
5米米l:mn>
P米米l:mi>
j米米l:mi>
年代米米l:mi>
=米米l:mo>
1米米l:mn>
,然后根据香农熵最大化的函数,我们可以估计<我nl我ne-formula>
P米米l:mi>
j米米l:mi>
年代米米l:mi>
。
方程(
20.)可以重写的矩阵如下:
(21)米米l:mtext>
θ米米l:mi>
0米米l:mn>
=米米l:mo>
D米米l:mi>
。米米l:mo>
P米米l:mi>
=米米l:mo>
d米米l:mi>
¯米米l:mo>
´米米l:mo>
1米米l:mn>
0米米l:mn>
0米米l:mn>
0米米l:mn>
0米米l:mn>
d米米l:mi>
¯米米l:mo>
´米米l:mo>
2米米l:mn>
0米米l:mn>
0米米l:mn>
0米米l:mn>
0米米l:mn>
d米米l:mi>
¯米米l:mo>
´米米l:mo>
3米米l:mn>
0米米l:mn>
0米米l:mn>
0米米l:mn>
0米米l:mn>
d米米l:mi>
¯米米l:mo>
´米米l:mo>
4米米l:mn>
P米米l:mi>
P米米l:mi>
2米米l:mn>
P米米l:mi>
3米米l:mn>
P米米l:mi>
4米米l:mn>
,米米l:mo>
在哪里<我t一个l我c>D我t一个l我c>,对角矩阵秩4×20的支持变量定义为方程(
20.)。<我t一个l我c>P我t一个l我c>是排名20×1的向量的概率定义为方程(
20.)。
同时,
(22)米米l:mtext>
d米米l:mi>
´米米l:mo>
j米米l:mi>
=米米l:mo>
−米米l:mo>
c米米l:mi>
,米米l:mo>
−米米l:mo>
c米米l:mi>
2米米l:mn>
,米米l:mo>
0米米l:mn>
,米米l:mo>
c米米l:mi>
2米米l:mn>
,米米l:mo>
c米米l:mi>
,米米l:mo>
在哪里<我t一个l我c>c我t一个l我c>是一个常数对称在零附近,增加在哪里<我t一个l我c>c我t一个l我c>导致增加的平均平方误差(MSE) [
5),所以<我t一个l我c>c我t一个l我c>选为1。
同样,相同的步骤可以应用随机错误如下:
(23)米米l:mtext>
ε米米l:mi>
我米米l:mi>
=米米l:mo>
r米米l:mi>
我米米l:mi>
1米米l:mn>
米米米l:mi>
我米米l:mi>
1米米l:mn>
+米米l:mo>
r米米l:mi>
我米米l:mi>
2米米l:mn>
米米米l:mi>
我米米l:mi>
2米米l:mn>
+米米l:mo>
r米米l:mi>
我米米l:mi>
3米米l:mn>
米米米l:mi>
我米米l:mi>
3米米l:mn>
+米米l:mo>
r米米l:mi>
我米米l:mi>
4米米l:mn>
米米米l:mi>
我米米l:mi>
4米米l:mn>
+米米l:mo>
r米米l:mi>
我米米l:mi>
5米米l:mn>
米米米l:mi>
我米米l:mi>
5米米l:mn>
=米米l:mo>
=米米l:mo>
∑米米l:mo>
n米米l:mi>
=米米l:mo>
1米米l:mn>
5米米l:mn>
r米米l:mi>
我米米l:mi>
n米米l:mi>
米米米l:mi>
我米米l:mi>
n米米l:mi>
=米米l:mo>
r米米l:mi>
我米米l:mi>
′米米l:mo>
米米米l:mi>
我米米l:mi>
,米米l:mo>
的概率<我nl我ne-formula>
0米米l:mn>
≤米米l:mo>
米米米l:mi>
我米米l:mi>
n米米l:mi>
≤米米l:mo>
1米米l:mn>
和<我nl我ne-formula>
∑米米l:mo>
n米米l:mi>
=米米l:mo>
1米米l:mn>
5米米l:mn>
米米米l:mi>
我米米l:mi>
n米米l:mi>
=米米l:mo>
1米米l:mn>
,然后根据香农熵最大化的函数,我们可以估计<我nl我ne-formula>
米米米l:mi>
我米米l:mi>
n米米l:mi>
。
方程(
23)可以重写的矩阵如下:
(24)米米l:mtext>
ε米米l:mi>
=米米l:mo>
R米米l:mtext>
。米米l:mo>
米米米l:mtext>
=米米l:mo>
r米米l:mi>
¯米米l:mo>
´米米l:mo>
1米米l:mn>
0米米l:mn>
…米米l:mo>
0米米l:mn>
0米米l:mn>
r米米l:mi>
¯米米l:mo>
´米米l:mo>
2米米l:mn>
…米米l:mo>
0米米l:mn>
⋮米米l:mo>
⋮米米l:mo>
⋱米米l:mo>
⋮米米l:mo>
0米米l:mn>
0米米l:mn>
…米米l:mo>
r米米l:mi>
´米米l:mo>
米米米l:mi>
1米米l:mn>
米米米l:mi>
2米米l:mn>
⋮米米l:mo>
米米米l:mi>
n米米l:mi>
,米米l:mo>
在哪里<我t一个l我c>R我t一个l我c>,对角矩阵秩<我t一个l我c>n我t一个l我c>×5<我t一个l我c>n我t一个l我c>支持定义的变量的方程(
23)。<我t一个l我c>米我t一个l我c>向量和等级5吗<我t一个l我c>n我t一个l我c>×1的概率定义为方程(
23)。同时,
(25)米米l:mtext>
r米米l:mi>
´米米l:mo>
我米米l:mi>
=米米l:mo>
−米米l:mo>
c米米l:mi>
,米米l:mo>
−米米l:mo>
c米米l:mi>
2米米l:mn>
,米米l:mo>
0米米l:mn>
,米米l:mo>
c米米l:mi>
2米米l:mn>
,米米l:mo>
c米米l:mi>
。米米l:mo>
使用方程(
21)和(
24威布尔增长模式)(
6),我们可以改写如下:
(26)米米l:mtext>
ω米米l:mi>
∗米米l:mi>
t米米l:mi>
=米米l:mo>
Z米米l:mi>
0米米l:mn>
⋅米米l:mo>
D米米l:mtext>
。米米l:mo>
P米米l:mtext>
+米米l:mo>
R米米l:mtext>
。米米l:mo>
米米米l:mtext>
。米米l:mo>
注意,向量的概率值参数和随机误差模型(
26)是未知的,所以我们必须估计参数(的值<我nl我ne-formula>
θ米米l:mi>
j米米l:mi>
0米米l:mn>
估计是基于离散随机变量的数学期望法<我nl我ne-formula>
E米米l:mi>
x米米l:mi>
我米米l:mi>
=米米l:mo>
∑米米l:mo>
我米米l:mi>
=米米l:mo>
1米米l:mn>
∞米米l:mi>
X米米l:mi>
p米米l:mi>
x米米l:mi>
我米米l:mi>
。估计向量<我t一个l我c>米我t一个l我c>和<我t一个l我c>P我t一个l我c>,我们最大化的香农熵函数通过使用拉格朗日乘子后确定约束条件如下:
(27)米米l:mtext>
F米米l:mi>
P米米l:mi>
,米米l:mo>
米米米l:mi>
=米米l:mo>
−米米l:mo>
P米米l:mi>
′米米l:mo>
ln米米l:mi>
P米米l:mi>
−米米l:mo>
米米米l:mi>
′米米l:mo>
ln米米l:mi>
米米米l:mi>
,米米l:mo>
在哪里<我nl我ne-formula>
F米米l:mi>
P米米l:mi>
,米米l:mo>
米米米l:mi>
是香农熵函数。
同时,
(28)米米l:mtext>
∑米米l:mo>
年代米米l:mi>
=米米l:mo>
1米米l:mn>
5米米l:mn>
P米米l:mi>
1米米l:mn>
年代米米l:mi>
∑米米l:mo>
年代米米l:mi>
=米米l:mo>
1米米l:mn>
5米米l:mn>
P米米l:mi>
2米米l:mn>
年代米米l:mi>
∑米米l:mo>
年代米米l:mi>
=米米l:mo>
1米米l:mn>
5米米l:mn>
P米米l:mi>
3米米l:mn>
年代米米l:mi>
∑米米l:mo>
年代米米l:mi>
=米米l:mo>
1米米l:mn>
5米米l:mn>
P米米l:mi>
4米米l:mn>
年代米米l:mi>
=米米l:mo>
1米米l:mn>
´米米l:mo>
⋅米米l:mo>
P米米l:mi>
1米米l:mn>
´米米l:mo>
⋅米米l:mo>
P米米l:mi>
2米米l:mn>
1米米l:mn>
´米米l:mo>
⋅米米l:mo>
P米米l:mi>
3米米l:mn>
1米米l:mn>
´米米l:mo>
⋅米米l:mo>
P米米l:mi>
4米米l:mn>
=米米l:mo>
1米米l:mn>
´米米l:mo>
0米米l:mn>
0米米l:mn>
0米米l:mn>
0米米l:mn>
1米米l:mn>
´米米l:mo>
0米米l:mn>
0米米l:mn>
0米米l:mn>
0米米l:mn>
1米米l:mn>
´米米l:mo>
0米米l:mn>
0米米l:mn>
0米米l:mn>
0米米l:mn>
1米米l:mn>
´米米l:mo>
P米米l:mi>
P米米l:mi>
2米米l:mn>
P米米l:mi>
3米米l:mn>
P米米l:mi>
4米米l:mn>
=米米l:mo>
1米米l:mn>
1米米l:mn>
1米米l:mn>
1米米l:mn>
,米米l:mo>
(29)米米l:mtext>
=米米l:mo>
我米米l:mi>
4、20米米l:mn>
∗米米l:mi>
⋅米米l:mo>
P米米l:mi>
=米米l:mo>
1米米l:mn>
4、20米米l:mn>
,米米l:mo>
在哪里<我nl我ne-formula>
1米米l:mn>
´米米l:mo>
,一个向量(1 1 1 1 1)<我nl我ne-formula>
P米米l:mi>
j米米l:mi>
,定义为(
20.)。
使用矩阵的克罗内克积<我nl我ne-formula>
我米米l:mi>
4、20米米l:mn>
∗米米l:mi>
在方程(
29日),我们得到的最终形式参数约束如下:
(30)米米l:mtext>
我米米l:mi>
4、20米米l:mn>
∗米米l:mi>
=米米l:mo>
我米米l:mi>
4米米l:mn>
⊗米米l:mo>
1米米l:mn>
¯米米l:mo>
´米米l:mo>
1、5米米l:mn>
,米米l:mo>
我米米l:mi>
4米米l:mn>
单位矩阵的秩米米l:mtext>
4米米l:mn>
×米米l:mo>
4所示。米米l:mn>
以及增长威布尔模型的随机误差约束使用前面的步骤(
28)- (
30.),我们得到的最终价值随机误差约束如下:
(31)米米l:mtext>
J米米l:mi>
n米米l:mi>
,米米l:mo>
5米米l:mn>
n米米l:mi>
∗米米l:mi>
⋅米米l:mo>
米米米l:mi>
=米米l:mo>
1米米l:mn>
¯米米l:mo>
´米米l:mo>
n米米l:mi>
,米米l:mo>
1米米l:mn>
,米米l:mo>
J米米l:mi>
n米米l:mi>
,米米l:mo>
5米米l:mn>
n米米l:mi>
∗米米l:mi>
=米米l:mo>
我米米l:mi>
n米米l:mi>
⊗米米l:mo>
1米米l:mn>
¯米米l:mo>
´米米l:mo>
1、5米米l:mn>
。米米l:mo>
同时,最后一个约束是威布尔增长模型中定义的约束(
26)。
香农熵函数可以写成拉格朗日函数:
(32)米米l:mtext>
l米米l:mi>
=米米l:mo>
F米米l:mi>
P米米l:mi>
,米米l:mo>
米米米l:mi>
+米米l:mo>
λ米米l:mi>
ω米米l:mi>
∗米米l:mi>
t米米l:mi>
−米米l:mo>
Z米米l:mi>
0米米l:mn>
⋅米米l:mo>
D米米l:mtext>
。米米l:mo>
P米米l:mtext>
−米米l:mo>
R米米l:mtext>
。米米l:mo>
米米米l:mtext>
+米米l:mo>
Θ米米l:mi>
1米米l:mn>
4米米l:mn>
−米米l:mo>
1米米l:mn>
4米米l:mn>
⊗米米l:mo>
1米米l:mn>
¯米米l:mo>
1、5米米l:mn>
P米米l:mi>
+米米l:mo>
Γ米米l:mi>
´米米l:mo>
1米米l:mn>
¯米米l:mo>
n米米l:mi>
−米米l:mo>
1米米l:mn>
¯米米l:mo>
n米米l:mi>
⊗米米l:mo>
1米米l:mn>
¯米米l:mo>
1、5米米l:mn>
米米米l:mi>
,米米l:mo>
λ,<我t一个l我c>T我t一个l我c>,Γ拉格朗日系数。
的梯度<我t一个l我c>l我t一个l我c>,可以获得(
32)对(ΓΘ,λ,<我t一个l我c>米P我t一个l我c>)和等于零,应该使用数值方法计算估计(
7]。注意,这个方法是困难的和更复杂的偏导数,所以Ciavolino
6),直接处理方程(
27),改写如下:
(33)米米l:mtext>
F米米l:mi>
P米米l:mi>
,米米l:mo>
米米米l:mi>
=米米l:mo>
−米米l:mo>
P米米l:mi>
1、20米米l:mn>
′米米l:mo>
米米米l:mi>
1、5米米l:mn>
n米米l:mi>
′米米l:mo>
ln米米l:mi>
P米米l:mi>
20日,1米米l:mn>
ln米米l:mi>
米米米l:mi>
5米米l:mn>
n米米l:mi>
,米米l:mo>
1米米l:mn>
,米米l:mo>
F米米l:mi>
P米米l:mi>
∗米米l:mi>
=米米l:mo>
−米米l:mo>
P米米l:mi>
1、20米米l:mn>
+米米l:mo>
5米米l:mn>
n米米l:mi>
∗米米l:mi>
′米米l:mo>
⋅米米l:mo>
ln米米l:mi>
P米米l:mi>
20.米米l:mn>
+米米l:mo>
5米米l:mn>
n米米l:mi>
,米米l:mo>
1米米l:mn>
∗米米l:mi>
。米米l:mo>
根据在Matlab函数之后,
(34)米米l:mtext>
P米米l:mi>
∗米米l:mi>
,米米l:mo>
f米米l:mi>
v米米l:mi>
一个米米l:mi>
l米米l:mi>
=米米l:mo>
f米米l:mi>
最小值米米l:mi>
反对米米l:mtext>
f米米l:mi>
,米米l:mo>
p米米l:mi>
0米米l:mn>
,米米l:mo>
,米米l:mo>
,米米l:mo>
一个米米l:mi>
,米米l:mo>
b米米l:mi>
,米米l:mo>
l米米l:mi>
b米米l:mi>
,米米l:mo>
u米米l:mi>
b米米l:mi>
,米米l:mo>
,米米l:mo>
在哪里<我t一个l我c>磅我t一个l我c>和<我t一个l我c>乌兰巴托我t一个l我c>分别是低和上限吗<我t一个l我c>p我t一个l我c><年代ub>0年代ub>是初始化值的向量,它的元素是在0和1之间,然后呢
(35)米米l:mtext>
一个米米l:mi>
=米米l:mo>
我米米l:mi>
4、20米米l:mn>
∗米米l:mi>
0米米l:mn>
n米米l:mi>
,米米l:mo>
20.米米l:mn>
Z米米l:mi>
0米米l:mn>
⋅米米l:mo>
D米米l:mi>
n米米l:mi>
,米米l:mo>
20.米米l:mn>
0米米l:mn>
4、5米米l:mn>
n米米l:mi>
J米米l:mi>
n米米l:mi>
,米米l:mo>
5米米l:mn>
n米米l:mi>
∗米米l:mi>
V米米l:mi>
n米米l:mi>
,米米l:mo>
5米米l:mn>
n米米l:mi>
,米米l:mo>
b米米l:mi>
4米米l:mn>
+米米l:mo>
2米米l:mn>
n米米l:mi>
,米米l:mo>
1米米l:mn>
=米米l:mo>
1米米l:mn>
n米米l:mi>
+米米l:mo>
4、1米米l:mn>
ω米米l:mi>
∗米米l:mi>
t米米l:mi>
。米米l:mo>
函数(
34)使用迭代法来达到最终的值时是连续两个估计量的收敛。评估后的向量<我t一个l我c>米我t一个l我c>和<我t一个l我c>P我t一个l我c>的输出函数(
34在方程(),我们必须代表
26)获得的预测价值<我nl我ne-formula>
W米米l:mi>
t米米l:mi>
∗米米l:mi>
。
年代ec>