3.2。序列二次规划算法结合梯度采样非光滑约束优化类似于QP模型用于GS算法计算一个搜索方向,序列二次规划算法(SQP)框架是由围绕QP子问题来确定搜索方向的非光滑约束优化问题。一般来说,广泛运用的局限性SQP算法在于它只能解决光滑优化问题但非光滑优化问题的失败。然而,结合GS算法,SQP-GS算法可用于在许多非光滑问题即使目标函数不是局部李普希兹连续,这基本上是在以下形式:
(13)米米l:米text>米ml:mtd>
最小值米米l:米text>米ml:mrow>
x米米l:米我>米米l:mrow>
f米米l:米我><米米l:mfenced open="(" close=")" separators="|">
x米米l:米我>米米l:mrow>
,米米l:米o>米米l:mtd>
年代米米l:米text><米米l:mo>
。米米l:米o><米米l:米text>
t米米l:米text><米米l:mo>
。米米l:米o>米米l:mrow>
h米米l:米我><米米l:mfenced open="(" close=")" separators="|">
x米米l:米我>米米l:mrow>
=米米l:米o><米米l:米n>
0米米l:米n>米米l:mrow>
,米米l:米o>米米l:mtd>
g米米l:米我><米米l:mfenced open="(" close=")" separators="|">
x米米l:米我>米米l:mrow>
≤米米l:米o><米米l:米n>
0。米米l:米n>米米l:mrow>
SQP-GS算法解决了上述模型在每个迭代中主要通过确定搜索方向<我n行-formula>
d米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
围绕解决正规化QP子问题双重用以下形式:
(14)米米l:米text>米ml:mtd>
最小值米米l:米text>米ml:mrow>
d米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ub>
y米米l:米我>米米l:mrow>
o米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ub>
y米米l:米我>米米l:mrow>
h米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ub>
y米米l:米我>米米l:mrow>
g米米l:米我>米米l:mrow>
−米米l:米o><米米l:米i mathvariant="bold">
f米米l:米我><米米l:mfenced open="(" close=")" separators="|">
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
−米米l:米o><米米l:米i mathvariant="bold">
h米米l:米我><米米l:mfenced open="(" close=")" separators="|">
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
h米米l:米我><米米l:mfenced open="(" close=")" separators="|">
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
−米米l:米o><米米l:米i mathvariant="bold">
g米米l:米我><米米l:mfenced open="(" close=")" separators="|">
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
⊤米米l:米我>米米l:mrow>
y米米l:米我>米米l:mrow>
f米米l:米我>米米l:mrow>
y米米l:米我>米米l:mrow>
h米米l:米我>米米l:mrow>
y米米l:米我>米米l:mrow>
g米米l:米我>米米l:mrow>
+米米l:米o><米米l:米fenced open="[" close="]" separators="|">
d米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
⊤米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ubsup>
y米米l:米我>米米l:mrow>
f米米l:米我>米米l:mrow>
⊤米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ubsup>
y米米l:米我>米米l:mrow>
h米米l:米我>米米l:mrow>
⊤米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ubsup>
y米米l:米我>米米l:mrow>
g米米l:米我>米米l:mrow>
⊤米米l:米我>米米l:mrow>
H米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
d米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
y米米l:米我>米米l:mrow>
f米米l:米我>米米l:mrow>
y米米l:米我>米米l:mrow>
h米米l:米我>米米l:mrow>
y米米l:米我>米米l:mrow>
g米米l:米我>米米l:mrow>
,米米l:米o>米米l:mtd>
(15)米米l:米text>米ml:mtd>
年代米米l:米text><米米l:mo>
。米米l:米o><米米l:米text>
t米米l:米text><米米l:mo>
。米米l:米o><米米l:米text>
H米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
d米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
+米米l:米o><米米l:米o>
∇米米l:米o><米米l:米i>
f米米l:米我><米米l:msup>
x米米l:米我>米米l:mrow>
f米米l:米我>米米l:mrow>
T米米l:米我>米米l:mrow>
y米米l:米我>米米l:mrow>
f米米l:米我>米米l:mrow>
+米米l:米o><米米l:米年代up>
∇米米l:米o><米米l:米i mathvariant="bold">
h米米l:米我><米米l:mfenced open="(" close=")" separators="|">
x米米l:米我>米米l:mrow>
h米米l:米我>米米l:mrow>
−米米l:米o><米米l:米o>
∇米米l:米o><米米l:米i mathvariant="bold">
h米米l:米我><米米l:mfenced open="(" close=")" separators="|">
x米米l:米我>米米l:mrow>
h米米l:米我>米米l:mrow>
∇米米l:米o><米米l:米i mathvariant="bold">
g米米l:米我><米米l:mfenced open="(" close=")" separators="|">
x米米l:米我>米米l:mrow>
g米米l:米我>米米l:mrow>
⊤米米l:米我>米米l:mrow>
y米米l:米我>米米l:mrow>
h米米l:米我>米米l:mrow>
y米米l:米我>米米l:mrow>
g米米l:米我>米米l:mrow>
=米米l:米o><米米l:米n>
0米米l:米n><米米l:米o>
,米米l:米o><米米l:米i class="cond">
∀米米l:米o><米米l:米年代up>
x米米l:米我>米米l:mrow>
f米米l:米我>米米l:mrow>
∈米米l:米o><米米l:米年代ubsup>
ℬ米米l:米我>米米l:mrow>
ϵ米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
k米米l:米我>米米l:mrow>
f米米l:米我>米米l:mrow>
,米米l:米o><米米l:米o>
∀米米l:米o><米米l:米年代up>
x米米l:米我>米米l:mrow>
h米米l:米我>米米l:mrow>
∈米米l:米o><米米l:米年代ubsup>
ℬ米米l:米我>米米l:mrow>
ϵ米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
k米米l:米我>米米l:mrow>
h米米l:米我>米米l:mrow>
,米米l:米o><米米l:米o>
∀米米l:米o><米米l:米年代up>
x米米l:米我>米米l:mrow>
g米米l:米我>米米l:mrow>
∈米米l:米o><米米l:米年代ubsup>
ℬ米米l:米我>米米l:mrow>
ϵ米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
k米米l:米我>米米l:mrow>
g米米l:米我>米米l:mrow>
,米米l:米o>米米l:mtd>
(16)米米l:米text>米ml:mtd>
e米米l:米我>米米l:mrow>
T米米l:米我>米米l:mrow>
y米米l:米我>米米l:mrow>
f米米l:米我>米米l:mrow>
=米米l:米o><米米l:米i>
ρ米米l:米我><米米l:mo>
,米米l:米o>米米l:mtd>
(17)米米l:米text>米ml:mtd>
e米米l:米我>米米l:mrow>
T米米l:米我>米米l:mrow>
y米米l:米我>米米l:mrow>
h米米l:米我>米米l:mrow>
=米米l:米o><米米l:米n>
1米米l:米n><米米l:米o>
,米米l:米o>米米l:mtd>
(18)米米l:米text>米ml:mtd>
e米米l:米我>米米l:mrow>
T米米l:米我>米米l:mrow>
y米米l:米我>米米l:mrow>
g米米l:米我>米米l:mrow>
=米米l:米o><米米l:米n>
1米米l:米n><米米l:米o>
,米米l:米o>米米l:mtd>
(19)米米l:米text>米ml:mtd>
y米米l:米我>米米l:mrow>
f米米l:米我>米米l:mrow>
≥米米l:米o><米米l:米n>
0米米l:米n><米米l:米o>
,米米l:米o>米米l:mtd>
(20)米米l:米text>米ml:mtd>
y米米l:米我>米米l:mrow>
h米米l:米我>米米l:mrow>
≥米米l:米o><米米l:米n>
0米米l:米n><米米l:米o>
,米米l:米o>米米l:mtd>
(21)米米l:米text>米ml:mtd>
y米米l:米我>米米l:mrow>
g米米l:米我>米米l:mrow>
≥米米l:米o><米米l:米n>
0米米l:米n><米米l:米o>
,米米l:米o>米米l:mtd>
在哪里<我talic>
ρ我talic>是惩罚参数和<我n行-formula>
H米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
是拉格朗日优化模型的近似黑森。从GS算法结合的思想,<我n行-formula>
ℬ米米l:米我>米米l:mrow>
ϵ米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
k米米l:米我>米米l:mrow>
f米米l:米我>米米l:mrow>
,<我n行-formula>
ℬ米米l:米我>米米l:mrow>
ϵ米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
k米米l:米我>米米l:mrow>
h米米l:米我>米米l:mrow>
,<我n行-formula>
ℬ米米l:米我>米米l:mrow>
ϵ米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
k米米l:米我>米米l:mrow>
g米米l:米我>米米l:mrow>
套独立同分布随机均匀采样点(
10gydF4y2Ba)的样本大小<我talic>
p我talic>:
(22)米米l:米text>米ml:mtd>
ℬ米米l:米我>米米l:mrow>
ϵ米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
k米米l:米我>米米l:mrow>
f米米l:米我>米米l:mrow>
≔米米l:米o><米米l:米fenced open="{" close="}" separators="|">
x米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米n>
0米米l:米n>米米l:mrow>
f米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ubsup>
x米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
f米米l:米我>米米l:mrow>
,米米l:米o><米米l:米o>
…米米l:米o><米米l:米o>
,米米l:米o><米米l:米年代ubsup>
x米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
p米米l:米我>米米l:mrow>
f米米l:米我>米米l:mrow>
,米米l:米o><米米l:米i class="cond">
在哪里米米l:米我><米米l:mtext>
x米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米n>
0米米l:米n>米米l:mrow>
f米米l:米我>米米l:mrow>
≔米米l:米o><米米l:米年代ub>
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
,米米l:米o>米米l:mtd>
(23)米米l:米text>米ml:mtd>
ℬ米米l:米我>米米l:mrow>
ϵ米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
k米米l:米我>米米l:mrow>
h米米l:米我>米米l:mrow>
我米米l:米我>米米l:mrow>
≔米米l:米o><米米l:米fenced open="{" close="}" separators="|">
x米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米n>
0米米l:米n>米米l:mrow>
h米米l:米我>米米l:mrow>
我米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ubsup>
x米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
h米米l:米我>米米l:mrow>
我米米l:米我>米米l:mrow>
,米米l:米o><米米l:米o>
…米米l:米o><米米l:米o>
,米米l:米o><米米l:米年代ubsup>
x米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
p米米l:米我>米米l:mrow>
h米米l:米我>米米l:mrow>
我米米l:米我>米米l:mrow>
,米米l:米o><米米l:米i class="cond">
在哪里米米l:米我><米米l:mtext>
x米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米n>
0米米l:米n>米米l:mrow>
h米米l:米我>米米l:mrow>
我米米l:米我>米米l:mrow>
≔米米l:米o><米米l:米年代ub>
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
,米米l:米o>米米l:mtd>
(24)米米l:米text>米ml:mtd>
ℬ米米l:米我>米米l:mrow>
ϵ米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
k米米l:米我>米米l:mrow>
g米米l:米我>米米l:mrow>
j米米l:米我>米米l:mrow>
≔米米l:米o><米米l:米fenced open="{" close="}" separators="|">
x米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米n>
0米米l:米n>米米l:mrow>
g米米l:米我>米米l:mrow>
j米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ubsup>
x米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
g米米l:米我>米米l:mrow>
j米米l:米我>米米l:mrow>
,米米l:米o><米米l:米o>
…米米l:米o><米米l:米o>
,米米l:米o><米米l:米年代ubsup>
x米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
p米米l:米我>米米l:mrow>
g米米l:米我>米米l:mrow>
j米米l:米我>米米l:mrow>
,米米l:米o><米米l:米i class="cond">
在哪里米米l:米我><米米l:mtext>
x米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米n>
0米米l:米n>米米l:mrow>
g米米l:米我>米米l:mrow>
j米米l:米我>米米l:mrow>
≔米米l:米o><米米l:米年代ub>
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
。米米l:米o>米米l:mtd>
与GS策略一致,<我n行-formula>
y米米l:米我>米米l:mrow>
f米米l:米我>米米l:mrow>
=米米l:米o><米米l:米fenced open="(" close=")" separators="|">
y米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米n>
0米米l:米n>米米l:mrow>
f米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ubsup>
y米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
f米米l:米我>米米l:mrow>
,米米l:米o><米米l:米text>
…米米l:米o><米米l:米o>
,米米l:米o><米米l:米text>
y米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
p米米l:米我>米米l:mrow>
f米米l:米我>米米l:mrow>
,<我n行-formula>
y米米l:米我>米米l:mrow>
h米米l:米我>米米l:mrow>
=米米l:米o><米米l:米fenced open="(" close=")" separators="|">
y米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米n>
0米米l:米n>米米l:mrow>
h米米l:米我>米米l:mrow>
我米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ubsup>
y米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
h米米l:米我>米米l:mrow>
我米米l:米我>米米l:mrow>
,米米l:米o><米米l:米text>
…米米l:米o><米米l:米o>
,米米l:米o><米米l:米text>
y米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
p米米l:米我>米米l:mrow>
h米米l:米我>米米l:mrow>
我米米l:米我>米米l:mrow>
,<我n行-formula>
y米米l:米我>米米l:mrow>
g米米l:米我>米米l:mrow>
=米米l:米o><米米l:米fenced open="(" close=")" separators="|">
y米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米n>
0米米l:米n>米米l:mrow>
g米米l:米我>米米l:mrow>
j米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ubsup>
y米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
g米米l:米我>米米l:mrow>
j米米l:米我>米米l:mrow>
,米米l:米o><米米l:米text>
…米米l:米o><米米l:米o>
,米米l:米o><米米l:米text>
y米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
p米米l:米我>米米l:mrow>
g米米l:米我>米米l:mrow>
j米米l:米我>米米l:mrow>
是目标函数的次微分近似minimum-norm元素,平等和不等式约束,分别获得通过求解子问题(
14gydF4y2Ba)- (
21gydF4y2Ba)<我n行-formula>
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
。
gydF4y2Ba作为一个重要的步骤来更新<我n行-formula>
H米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
在每个迭代中,我们介绍了内存有限Broyden-Fletcher-Goldfrab-Shanno (L-BFGS)方法这是一个试图实现快速收敛。我们定义
(25)米米l:米text>米ml:mtd>
G米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
≔米米l:米o><米米l:米年代tyle>
∑米米l:米o>米米l:mrow>
n米米l:米我><米米l:mo>
=米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
p米米l:米我>米米l:mrow>
y米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
n米米l:米我>米米l:mrow>
f米米l:米我>米米l:mrow>
∇米米l:米o><米米l:米i>
f米米l:米我><米米l:mfenced open="(" close=")" separators="|">
x米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
n米米l:米我>米米l:mrow>
f米米l:米我>米米l:mrow>
+米米l:米o><米米l:米年代tyle>
∑米米l:米o>米米l:mrow>
米米米l:米我><米米l:mo>
=米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
j米米l:米我>米米l:mrow>
∑米米l:米o>米米l:mrow>
n米米l:米我><米米l:mo>
=米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
p米米l:米我>米米l:mrow>
y米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
n米米l:米我>米米l:mrow>
h米米l:米我>米米l:mrow>
米米米l:米我>米米l:mrow>
∇米米l:米o><米米l:米i>
h米米l:米我><米米l:mfenced open="(" close=")" separators="|">
x米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
n米米l:米我>米米l:mrow>
h米米l:米我>米米l:mrow>
米米米l:米我>米米l:mrow>
+米米l:米o><米米l:米年代tyle>
∑米米l:米o>米米l:mrow>
米米米l:米我><米米l:mo>
=米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
j米米l:米我>米米l:mrow>
∑米米l:米o>米米l:mrow>
n米米l:米我><米米l:mo>
=米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
p米米l:米我>米米l:mrow>
y米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
n米米l:米我>米米l:mrow>
g米米l:米我>米米l:mrow>
米米米l:米我>米米l:mrow>
∇米米l:米o><米米l:米i>
g米米l:米我><米米l:mfenced open="(" close=")" separators="|">
x米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
n米米l:米我>米米l:mrow>
g米米l:米我>米米l:mrow>
米米米l:米我>米米l:mrow>
,米米l:米o>米米l:mtd>
的近似微分的minimum-norm元素(
13gydF4y2Ba拉格朗日函数,有关的选择<我n行-formula>
H米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
在每一次迭代。我们初始化<我n行-formula>
H米米l:米我>米米l:mrow>
1米米l:米n>米米l:mrow>
⟵米米l:米o><米米l:米i mathvariant="bold">
我米米l:米我>米米l:mrow>
在迭代1日生效并执行更新
(26)米米l:米text>米ml:mtd>
H米米l:米我>米米l:mrow>
l米米l:米我>米米l:mrow>
⟵米米l:米o><米米l:米年代ub>
H米米l:米我>米米l:mrow>
l米米l:米我><米米l:mo>
−米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
−米米l:米o><米米l:米frac>
H米米l:米我>米米l:mrow>
l米米l:米我><米米l:mo>
−米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
年代米米l:米我>米米l:mrow>
l米米l:米我>米米l:mrow>
年代米米l:米我>米米l:mrow>
l米米l:米我>米米l:mrow>
⊤米米l:米我>米米l:mrow>
H米米l:米我>米米l:mrow>
l米米l:米我><米米l:mo>
−米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
⊤米米l:米我>米米l:mrow>
年代米米l:米我>米米l:mrow>
l米米l:米我>米米l:mrow>
⊤米米l:米我>米米l:mrow>
H米米l:米我>米米l:mrow>
l米米l:米我><米米l:mo>
−米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
年代米米l:米我>米米l:mrow>
l米米l:米我>米米l:mrow>
+米米l:米o><米米l:米frac>
y米米l:米我>米米l:mrow>
l米米l:米我>米米l:mrow>
y米米l:米我>米米l:mrow>
l米米l:米我>米米l:mrow>
⊤米米l:米我>米米l:mrow>
年代米米l:米我>米米l:mrow>
l米米l:米我>米米l:mrow>
⊤米米l:米我>米米l:mrow>
y米米l:米我>米米l:mrow>
l米米l:米我>米米l:mrow>
,米米l:米o>米米l:mtd>
为<我n行-formula>
l米米l:米我><米米l:mo>
=米米l:米o><米米l:米n>
2米米l:米n><米米l:米o>
,米米l:米o><米米l:米text>
…米米l:米o><米米l:米o>
,米米l:米o><米米l:米text>
k米米l:米我>米米l:mrow>
。在这里,<我n行-formula>
年代米米l:米我>米米l:mrow>
l米米l:米我>米米l:mrow>
≔米米l:米o><米米l:米年代ub>
x米米l:米我>米米l:mrow>
l米米l:米我>米米l:mrow>
−米米l:米o><米米l:米年代ub>
x米米l:米我>米米l:mrow>
l米米l:米我><米米l:mo>
−米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
和<我n行-formula>
y米米l:米我>米米l:mrow>
l米米l:米我>米米l:mrow>
≔米米l:米o><米米l:米年代ub>
G米米l:米我>米米l:mrow>
l米米l:米我>米米l:mrow>
−米米l:米o><米米l:米年代ub>
G米米l:米我>米米l:mrow>
l米米l:米我><米米l:mo>
−米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
的位移<我n行-formula>
x米米l:米我>米米l:math>
和minimum-norm元素的近似的微分(
13gydF4y2Ba拉格朗日函数。
gydF4y2Ba为了反映了迭代过程,考虑处罚的罚函数参数<我talic>
ρ我talic>为以下形式:
(27)米米l:米text>米ml:mtd>
ϕ米米l:米我>米米l:mrow>
ρ米米l:米我>米米l:mrow>
x米米l:米我>米米l:mrow>
≔米米l:米o><米米l:米i>
ρ米米l:米我><米米l:mi>
f米米l:米我><米米l:mfenced open="(" close=")" separators="|">
x米米l:米我>米米l:mrow>
+米米l:米o><米米l:米i>
σ米米l:米我><米米l:mfenced open="(" close=")" separators="|">
x米米l:米我>米米l:mrow>
,米米l:米o>米米l:mtd>
在哪里<我n行-formula>
σ米米l:米我><米米l:mfenced open="(" close=")" separators="|">
x米米l:米我>米米l:mrow>
是一个不可能实行向量的<我talic>
k我talic>th迭代定义为
(28)米米l:米text>米ml:mtd>
σ米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
≔米米l:米o><米米l:米fenced open="(" close=")" separators="|">
h米米l:米我><米米l:mfenced open="(" close=")" separators="|">
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
马克斯米米l:米text><米米l:mfenced open="(" close=")" separators="|">
g米米l:米我><米米l:mfenced open="(" close=")" separators="|">
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
,米米l:米o><米米l:米n>
0米米l:米n>米米l:mrow>
,米米l:米o>米米l:mtd>
这也是一个指标的步骤参数更新。
gydF4y2Ba此外,让我们定义本地模型
(29)米米l:米text>米ml:mtd>
问米米l:米我>米米l:mrow>
ρ米米l:米我>米米l:mrow>
d米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
;米米l:米o><米米l:米年代ub>
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ub>
ℬ米米l:米我>米米l:mrow>
ϵ米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
k米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ub>
H米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
≔米米l:米o><米米l:米i>
ρ米米l:米我><米米l:mtext>
马克斯米米l:米text>米ml:mrow>
x米米l:米我><米米l:mo>
∈米米l:米o><米米l:米年代ubsup>
ℬ米米l:米我>米米l:mrow>
ϵ米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
k米米l:米我>米米l:mrow>
f米米l:米我>米米l:mrow>
f米米l:米我><米米l:mfenced open="(" close=")" separators="|">
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
+米米l:米o><米米l:米o>
∇米米l:米o><米米l:米i>
f米米l:米我><米米l:msup>
x米米l:米我>米米l:mrow>
⊤米米l:米我>米米l:mrow>
d米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
+米米l:米o><米米l:米row>
∑米米l:米o>米米l:mstyle>
我米米l:米我><米米l:mo>
=米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
米米米l:米我>米米l:mrow>
h米米l:米我>米米l:mrow>
马克斯米米l:米text>米ml:mrow>
x米米l:米我><米米l:mo>
∈米米l:米o><米米l:米年代ubsup>
ℬ米米l:米我>米米l:mrow>
ϵ米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
k米米l:米我>米米l:mrow>
h米米l:米我>米米l:mrow>
我米米l:米我>米米l:mrow>
h米米l:米我>米米l:mrow>
我米米l:米我>米米l:mrow>
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
+米米l:米o><米米l:米o>
∇米米l:米o><米米l:米年代up>
h米米l:米我>米米l:mrow>
我米米l:米我>米米l:mrow>
x米米l:米我>米米l:mrow>
⊤米米l:米我>米米l:mrow>
d米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
+米米l:米o><米米l:米row>
∑米米l:米o>米米l:mstyle>
我米米l:米我><米米l:mo>
=米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
米米米l:米我>米米l:mrow>
g米米l:米我>米米l:mrow>
马克斯米米l:米text>米ml:mrow>
x米米l:米我><米米l:mo>
∈米米l:米o><米米l:米年代ubsup>
ℬ米米l:米我>米米l:mrow>
ϵ米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
k米米l:米我>米米l:mrow>
g米米l:米我>米米l:mrow>
我米米l:米我>米米l:mrow>
马克斯米米l:米text><米米l:mfenced open="{" close="}" separators="|">
g米米l:米我>米米l:mrow>
我米米l:米我>米米l:mrow>
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
+米米l:米o><米米l:米o>
∇米米l:米o><米米l:米年代up>
g米米l:米我>米米l:mrow>
我米米l:米我>米米l:mrow>
x米米l:米我>米米l:mrow>
⊤米米l:米我>米米l:mrow>
d米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
,米米l:米o><米米l:米n>
0米米l:米n>米米l:mrow>
+米米l:米o><米米l:米frac>
1米米l:米n><米米l:米n>
2米米l:米n>米米l:mfrac>
d米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
⊤米米l:米我>米米l:mrow>
H米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
d米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
。米米l:米o>米米l:mtd>
一个计算<我n行-formula>
d米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
减少,模型定义<我n行-formula>
△米米l:米我><米米l:msub>
问米米l:米我>米米l:mrow>
ρ米米l:米我>米米l:mrow>
d米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
;米米l:米o><米米l:米年代ub>
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ub>
ℬ米米l:米我>米米l:mrow>
ϵ米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
k米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ub>
H米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
≔米米l:米o><米米l:米年代ub>
问米米l:米我>米米l:mrow>
ρ米米l:米我>米米l:mrow>
0米米l:米n><米米l:米o>
;米米l:米o><米米l:米年代ub>
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ub>
ℬ米米l:米我>米米l:mrow>
ϵ米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
k米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ub>
H米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
−米米l:米o><米米l:米年代ub>
问米米l:米我>米米l:mrow>
ρ米米l:米我>米米l:mrow>
d米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
;米米l:米o><米米l:米年代ub>
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ub>
ℬ米米l:米我>米米l:mrow>
ϵ米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
k米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ub>
H米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
,值
(30)米米l:米text>米ml:mtd>
△米米l:米我><米米l:msub>
问米米l:米我>米米l:mrow>
ρ米米l:米我>米米l:mrow>
d米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
;米米l:米o><米米l:米年代ub>
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ub>
ℬ米米l:米我>米米l:mrow>
ϵ米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
k米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ub>
H米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
=米米l:米o><米米l:米年代ub>
ϕ米米l:米我>米米l:mrow>
ρ米米l:米我>米米l:mrow>
x米米l:米我>米米l:mrow>
−米米l:米o><米米l:米年代ub>
问米米l:米我>米米l:mrow>
ρ米米l:米我>米米l:mrow>
d米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
;米米l:米o><米米l:米年代ub>
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ub>
ℬ米米l:米我>米米l:mrow>
ϵ米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
k米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ub>
H米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
。米米l:米o>米米l:mtd>
该模型是负的,因为减少<我n行-formula>
d米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
=米米l:米o><米米l:米n>
0米米l:米n>米米l:mrow>
收益率的客观价值,<我n行-formula>
△米米l:米我><米米l:msub>
问米米l:米我>米米l:mrow>
ρ米米l:米我>米米l:mrow>
d米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
;米米l:米o><米米l:米年代ub>
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ub>
ℬ米米l:米我>米米l:mrow>
ϵ米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
k米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ub>
H米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
只能是零如果<我n行-formula>
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
是<我talic>
ϵ我talic>固定。所以减少足够小<我n行-formula>
△米米l:米我><米米l:msub>
问米米l:米我>米米l:mrow>
ρ米米l:米我>米米l:mrow>
⋅米米l:米o><米米l:米o>
;米米l:米o><米米l:米年代ub>
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ub>
ℬ米米l:米我>米米l:mrow>
ϵ米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
k米米l:米我>米米l:mrow>
,米米l:米o><米米l:米年代ub>
H米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
表明下降<我talic>
ϵ我talic>是适当的。
gydF4y2Ba然而,GS产生近似<我talic>
ϵ我talic>最速下降方向通过评估目标函数和约束函数的梯度<我talic>
p我talic>随机生成的点在每个迭代中,导致高计算成本。随着QP子问题数据重新计算在每一个迭代中,计算工作量来解决这些子问题可以显著的大规模问题
10gydF4y2Ba]。更节省时间的方法来减少计算,一个通用的自适应梯度采样(AGS)算法引入了在g是一个特例。
G年代和AGS的区别主要是在采样点的过程<我n行-formula>
x米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
p米米l:米我>米米l:mrow>
∈米米l:米o><米米l:米年代ub>
ℬ米米l:米我>米米l:mrow>
ϵ米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
k米米l:米我>米米l:mrow>
。初始化一个取样大小值<我talic>
p我talic>首先,这是在每次迭代中采样点的总数。为<我n行-formula>
X米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
≔米米l:米o><米米l:米fenced open="{" close="}" separators="|">
x米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
,米米l:米o><米米l:米o>
…米米l:米o><米米l:米o>
,米米l:米o><米米l:米年代ub>
x米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
p米米l:米我>米米l:mrow>
(与<我n行-formula>
x米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米i>
我米米l:米我>米米l:mrow>
=米米l:米o><米米l:米年代ub>
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
对于一些<我talic>
我我talic>和<我n行-formula>
B米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
≔米米l:米o><米米l:米年代ub>
B米米l:米我>米米l:mrow>
ϵ米米l:米我>米米l:mrow>
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
∩米米l:米o><米米l:米i mathvariant="script">
D米米l:米我>米米l:mrow>
、AGS集
(31)米米l:米text>米ml:mtd>
X米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
⟵米米l:米o><米米l:米fenced open="(" close=")" separators="|">
X米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
−米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
∩米米l:米o><米米l:米年代ub>
B米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
∪米米l:米o><米米l:米年代ub>
x米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
∪米米l:米o><米米l:米年代ub>
X米米l:米我><米米l:mo>
¯米米l:米o>米米l:mover>
k米米l:米我>米米l:mrow>
,米米l:米o>米米l:mtd>
在样本集<我n行-formula>
X米米l:米我><米米l:mo>
¯米米l:米o>米米l:mover>
k米米l:米我>米米l:mrow>
≔米米l:米o><米米l:米fenced open="{" close="}" separators="|">
x米米l:米我><米米l:mo>
¯米米l:米o>米米l:mover>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
,米米l:米o><米米l:米text>
…米米l:米o><米米l:米o>
,米米l:米o><米米l:米text>
x米米l:米我><米米l:mo>
¯米米l:米o>米米l:mover>
k米米l:米我><米米l:mo>
,米米l:米o><米米l:米row>
p米米l:米我><米米l:mo>
¯米米l:米o>米米l:mover>
是由<我n行-formula>
p米米l:米我><米米l:mo>
¯米米l:米o>米米l:mover>
点生成的统一<我n行-formula>
B米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
。表示点选择的数量<我n行-formula>
X米米l:米我>米米l:mrow>
k米米l:米我><米米l:mo>
−米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
∩米米l:米o><米米l:米年代ub>
B米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
是<我n行-formula>
p米米l:米我>米米l:mrow>
r米米l:米我><米米l:mi>
e米米l:米我>米米l:mrow>
。实际的抽样大小<我talic>
k我talic>th迭代变化<我n行-formula>
p米米l:米我><米米l:mo>
¯米米l:米o>米米l:mover>
=米米l:米o><米米l:米i>
p米米l:米我><米米l:mo>
−米米l:米o><米米l:米年代ub>
p米米l:米我>米米l:mrow>
r米米l:米我><米米l:mi>
e米米l:米我>米米l:mrow>
等于,点的数量<我n行-formula>
X米米l:米我><米米l:mo>
¯米米l:米o>米米l:mover>
k米米l:米我>米米l:mrow>
。
gydF4y2Ba很明显看到AGS只需要计算未知更新采样点的梯度<我n行-formula>
X米米l:米我>米米l:mrow>
k米米l:米我>米米l:mrow>
和改变样本的大小<我talic>
p我talic>自适应,减少一些工作量的计算梯度和QP数据更新<我talic>
k我talic>迭代。完整的SQP-AGS算法在算法
1gydF4y2Ba。
gydF4y2Ba值得一提的是,样本大小<我talic>
p我talic>可以选为零当解决一个光滑函数是不必要的样本函数的梯度在附近的点,在这种情况下,SQP-AGS算法减少了一般SQP算法。特别是在模型与光滑和非光滑函数,该算法非光滑部分的样本点,减少大量的工作过程中采样点和评价梯度平滑的部分。
<大胆>算法1:< /大胆> SQP-AGS算法。
初始化:选择一个样本半径<我n行-formula>
ϵ米米l:米我><米米l:mo>
>米米l:米o><米米l:米n>
0米米l:米n>米米l:mrow>
惩罚参数<我n行-formula>
ρ米米l:米我><米米l:mo>
>米米l:米o><米米l:米n>
0米米l:米n>米米l:mrow>
、约束违反宽容<我n行-formula>
τ米米l:米我><米米l:mo>
>米米l:米o><米米l:米n>
0米米l:米n>米米l:mrow>
样本大小<我talic>
p我talic>线搜索常数<我n行-formula>
ϖ米米l:米我><米米l:mo>
∈米米l:米o><米米l:米fenced open="(" close=")" separators="|">
0 1米米l:米n>米米l:mrow>
回溯常数<我n行-formula>
γ米米l:米我><米米l:mo>
∈米米l:米o><米米l:米fenced open="(" close=")" separators="|">
0 1米米l:米n>米米l:mrow>
、样品半径减少的因素<我n行-formula>
μ米米l:米我>米米l:mrow>
ϵ米米l:米我>米米l:mrow>
∈米米l:米o><米米l:米fenced open="(" close=")" separators="|">
0 1米米l:米n>米米l:mrow>
,惩罚参数换算系数<我n行-formula>
μ米米l:米我>米米l:mrow>
ρ米米l:米我>米米l:mrow>
∈米米l:米o><米米l:米fenced open="(" close=")" separators="|">
0 1米米l:米n>米米l:mrow>
、约束违反公差换算系数<我n行-formula>
μ米米l:米我>米米l:mrow>
τ米米l:米我>米米l:mrow>
∈米米l:米o><米米l:米fenced open="(" close=")" separators="|">
0 1米米l:米n>米米l:mrow>
,不可能实行宽容<我n行-formula>
ν米米l:米我>米米l:mrow>
在米米l:米text>米ml:mrow>
>米米l:米o><米米l:米n>
0米米l:米n>米米l:mrow>
,平稳性公差参数<我n行-formula>
ν米米l:米我>米米l:mrow>
年代米米l:米我>米米l:mrow>
>米米l:米o><米米l:米n>
0米米l:米n>米米l:mrow>
。选择一个初始迭代<我n行-formula>
x米米l:米我>米米l:mrow>
0米米l:米n>米米l:mrow>
∈米米l:米o><米米l:米i mathvariant="script">
D米米l:米我>米米l:mrow>
并设置<我n行-formula>
k米米l:米我><米米l:mo>
=米米l:米o><米米l:米n>
1米米l:米n>米米l:mrow>
和<我n行-formula>
k米米l:米我>米米l:mrow>
马克斯米米l:米text>米ml:mrow>
=米米l:米o><米米l:米n>
200年米米l:米n>米米l:mrow>
。