raybet雷竞app|雷竞技官网下载|雷电竞下载苹果

JPS

杂志概率统计

1687 - 9538 1687 - 952 x

Hindawi出版

10.1155 /三百一十二万九千七百六十九分之二千〇十九

3129769

研究文章

在PLS回归中，l曲线准则作为模型选择工具

https://orcid.org/0000-0002-5368-6355

Kerkri

Abdelmounaim

¹ Allal

Jelloul

¹ Zarrouk

Zoubir

² Gil-Alana

路易斯。

随机和确定性建模实验室（LMSD）

数学系

科学教师

默罕默德第一大学

Oujda 60000

摩洛哥

uss.rnu.tn

组织的管理和经济实验室

社会科学院

默罕默德第一大学

Oujda 60000

摩洛哥

ump.ma

2019

30. 10 2019

2019 10 06 2019 05 09 2019 03 10 2019 30. 10 2019

2019

这是一篇在知识共享署名许可下发布的开放访问的文章，该许可允许在任何媒介上不受限制地使用、发布和复制，只要原稿被正确引用。

偏最小二乘（PLS）回归是普通最小二乘（OLS）回归的替代，在多重的存在下使用。与任何其他建模方法，PLS回归需要一个可靠的模型选择工具。交叉验证（CV）是指在两个严谨和准确性诸多优点中最常用的工具，但它也有一些缺点;因此，我们将使用L-曲线准则作为替代方案，因为它考虑到PLS的收缩性质。对于使用L-曲线准则的理论理由被呈现，以及在两个模拟和实际数据的应用程序。实际应用表明该标准通常如何优于交叉验证和广义交叉验证（GCV）平均平方预测误差和计算效率。

1.介绍</Ť一世Ť升e> <p>在存在多重共线性的情况下，偏最小二乘回归是普通最小二乘回归的一种替代方法;它最初是由Wold开发的。<X[[Ref ref-type="bibr" rid="B1"> 1</X[[Ref>]，作为一种算法，它计算缺少值的数据集的主成分。PLS回归被用于许多领域，如化学计量学，其中共线性是一个常见的问题;这个问题也出现在许多其他领域，如基因组学和计算生物学。在使用PLS回归时，遇到了停止规则(最终模型中保留的成分数量)的问题;交叉验证在文献中被用作选择最终PLS模型的最优方法。</p><p>交叉验证虽然有效，但不能发现最优模型;在本文中，我们将提出l曲线准则作为另一种模型选择工具。第一次在正则化方法中使用l曲线图可以追溯到Lawson和Miller [<X[[Ref ref-type="bibr" rid="B2"> 2</X[[Ref>，<X[[Ref ref-type="bibr" rid="B3"> 3</X[[Ref>， Hansen是第一个使用这些图来计算正则化参数的人[<X[[Ref ref-type="bibr" rid="B4"> 4</X[[Ref>]。后来开发了一种基于三次样条的算法[<X[[Ref ref-type="bibr" rid="B5"> 五</X[[Ref>]，用于离散l -曲线，以及自适应剪枝算法[<X[[Ref ref-type="bibr" rid="B6"> 6</X[[Ref>]用在我们的文件。我们将交叉验证比较中的正则化方法，例如共轭梯度算法和Tikhonov正则化的优化中常用的L曲线算法中，PLS回归的等价投资与所谓的共轭梯度算法的实现CGLS算法（共轭梯度最小二乘算法）。以前的研究已经解决了类似的比较，如Gao等。[<X[[Ref ref-type="bibr" rid="B7"> 7</X[[Ref>，提出了比较一般交叉验证和l -曲线准则，以评估一种确定最优正则化参数的新方法的性能。这种比较也将包括广义交叉验证，尽管它在PLS回归中还未被普遍使用。</p><p>第一部分将是PLS回归的简短介绍，第二个将是大约交叉验证和其可能的缺点，第三将呈现广义交叉验证方法，最后，我们将提出的L曲线算法证明它是适于PLS回归和最后在两个真实和模拟数据的应用程序结束。我们的比较表明，L-曲线算法比实际数据都交叉验证和广义交叉验证和给出了模拟数据集可喜的成果。</p></sec> <sec id="sec2"> <title>2.PLS回归与模型选择</Ť一世Ť升e> <p>考虑最小化问题:<disp-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M1"> <mml:mtable> <mml:mlabeledtr id="EEq1"> <mml:mtd> <mml:mtext> （1）</米米升：米Ťext> </mml:mtd> <mml:mtd> <mml:mi mathvariant="normal"> 最小值</米米升：米一世><米米升:msub> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:mi> X</米米升：米一世><米米升:mi> β</米米升：米一世><米米升:mo> −</米米升：米o> <mml:mi> ÿ</米米升：米一世></米米l:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mi> β</米米升：米一世></米米l:mrow> </mml:msub> <mml:mo> ，</米米升：米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula>同<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M2"> <mml:mrow> <mml:mi> X</米米升：米一世><米米升:mo> ∈</米米升：米o> <mml:msup> <mml:mrow> <mml:mi> ℝ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ñ</米米升：米一世><米米升:mo> ×</米米升：米o> <mml:mi> 米</米米升：米一世></米米l:mrow> </mml:msup> </mml:mrow> </mml:math> </inline-formula>为表示预测变量值的矩阵，<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M3"> <mml:mrow> <mml:mi> ÿ</米米升：米一世><米米升:mo> ∈</米米升：米o> <mml:msup> <mml:mrow> <mml:mi> ℝ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ñ</米米升：米一世></米米l:mrow> </mml:msup> </mml:mrow> </mml:math> </inline-formula>是因变量，和<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M4"> <mml:mi> β</米米升：米一世></米米l:math> </inline-formula>为回归系数。</p><p>P大号小号回归使用一组被称为分数的潜在变量，而不是常规的预测因子<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M5"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> Ť</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:msub> <mml:mo> =</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:msub> <mml:msub> <mml:mrow> <mml:mi> ω</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>（与<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M6"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>是瘪了的矩阵<一世Ťalic> X</一世Ťalic>中<一世Ťalic> ķ</一世Ťalic>PLS回归的次迭代）。潜在变量或PLS组分迭代计算，基于下一组合物：<disp-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M7"> <mml:mtable> <mml:mlabeledtr id="EEq2"> <mml:mtd> <mml:mtext> （2）</米米升：米Ťext> </mml:mtd> <mml:mtd> <mml:mi> X</米米升：米一世><米米升:mo> =</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> Ť</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mn> 1</米米升：米ñ></米米升:mrow> </mml:msub> <mml:msubsup> <mml:mrow> <mml:mi> p</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mn> 1</米米升：米ñ></米米升:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msubsup> <mml:mo> +</米米升：米o> <mml:mo> ⋯</米米升：米o> <mml:mo> +</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> Ť</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> 米</米米升：米一世></米米l:mrow> </mml:msub> <mml:msubsup> <mml:mrow> <mml:mi> p</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> 米</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msubsup> <mml:mo> =</米米升：米o> <mml:msup> <mml:mrow> <mml:mtext> Ť</米米升：米Ťext> </mml:mrow> <mml:mrow> <mml:msup> <mml:mrow> <mml:mtext> P</米米升：米Ťext> </mml:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msup> </mml:mrow> </mml:msup> <mml:mo> +</米米升：米o> <mml:mi> Ë</米米升：米一世><米米升:mo> ，</米米升：米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula>同<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M8"> <mml:mi> Ë</米米升：米一世></米米l:math> </inline-formula>是错误，<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M9"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> p</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>一组向量，称为加载，和<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M10"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> ω</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>是长度的权重向量<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M11"> <mml:mi> ķ</米米升：米一世></米米l:math> </inline-formula>。</p><p>当保留了所有PLS元件，PLS估计成为普通最小二乘估计，那就是为什么它是必须要知道的组件的最佳数量在最终模型包括。背后PLS回归的主要目标是能够预测未来的观测，这正是交叉验证就派上用场了，因为它测试模型的预测能力，无论其是否合身的。</p></sec> <sec id="sec3"> <title>3.交叉验证</Ť一世Ť升e> <p>交叉验证背后的主要思想是，该模型的力量取决于其预测未来价值的能力。在<一世Ťalic> ķ</一世Ťalic>倍交叉验证，观察被随机分成<一世Ťalic> ķ</一世Ťalic>平等的子集，<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M12"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 小号</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mn> 1</米米升：米ñ></米米升:mrow> </mml:msub> <mml:mo> ，</米米升：米o> <mml:mo> ...</米米升：米o> <mml:mo> ，</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> 小号</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>对于<一世Ťalic> ķ</一世Ťalic>次;我们把模型装上<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M13"> <mml:mrow> <mml:mi> 小号</米米升：米一世><米米升:mo> −</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> 小号</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula> <inline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M14"> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> 一世</米米升：米一世><米米升:mo> =</米米升：米o> <mml:mn> 1</米米升：米ñ><米米升：米o> ，</米米升：米o> <mml:mo> ...</米米升：米o> <mml:mo> ，</米米升：米o> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:mfenced> </mml:mrow> </mml:math> </inline-formula>并利用估计的参数对的值进行预测<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M15"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 小号</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>，为预测误差提供了估计。</p><p>请回归,<一世Ťalic> ķ</一世Ťalic>往往等于<一世Ťalic> ñ</一世Ťalic>（观测值的数量），并且该交叉验证称为留一。下面是根据Tenenhaus [在PLS交叉验证的步骤<X[[Ref ref-type="bibr" rid="B8"> 8</X[[Ref>]:</p><statement id="step1"> <title>步骤1。</Ť一世Ť升e> <p>在<一世Ťalic> ķ</一世Ťalic><sup>日</sup>PLS迭代中，估计误差和预测误差使用表达式被计算：<disp-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M16"> <mml:mtable> <mml:mlabeledtr id="EEq3"> <mml:mtd rowspan="2"> <mml:mtext> （3）</米米升：米Ťext> </mml:mtd> <mml:mtd> <mml:msub> <mml:mrow> <mml:mtext> RSS</米米升：米Ťext> </mml:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:msub> <mml:mo> =</米米升：米o> <mml:msup> <mml:mrow> <mml:mstyle> <mml:munderover> <mml:mrow> <mml:mo stretchy="true"> ∑</米米升：米o> </mml:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世><米米升:mo> =</米米升：米o> <mml:mn> 1</米米升：米ñ></米米升:mrow> <mml:mrow> <mml:mi> ñ</米米升：米一世></米米l:mrow> </mml:munderover> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> ÿ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msub> <mml:mo> −</米米升：米o> <mml:msub> <mml:mrow> <mml:mover accent="true"> <mml:mi> ÿ</米米升：米一世><米米升:mo> ^</米米升：米o> </mml:mover> </mml:mrow> <mml:mrow> <mml:mfenced open="[" close="]" separators="|"> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:mfenced> <mml:mo> ，</米米升：米o> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mstyle> </mml:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> </mml:msup> <mml:mo> ，</米米升：米o> </mml:mtd> </mml:mlabeledtr> <mml:mtr> <mml:mtd> <mml:msub> <mml:mrow> <mml:mtext> 按</米米升：米Ťext> </mml:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:msub> <mml:mo> =</米米升：米o> <mml:msup> <mml:mrow> <mml:mstyle> <mml:munderover> <mml:mrow> <mml:mo stretchy="true"> ∑</米米升：米o> </mml:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世><米米升:mo> =</米米升：米o> <mml:mn> 1</米米升：米ñ></米米升:mrow> <mml:mrow> <mml:mi> ñ</米米升：米一世></米米l:mrow> </mml:munderover> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> ÿ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msub> <mml:mo> −</米米升：米o> <mml:msub> <mml:mrow> <mml:mover accent="true"> <mml:mi> ÿ</米米升：米一世><米米升:mo> ^</米米升：米o> </mml:mover> </mml:mrow> <mml:mrow> <mml:mfenced open="[" close="]" separators="|"> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:mfenced> <mml:mo> ，</米米升：米o> <mml:mo> −</米米升：米o> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mstyle> </mml:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> </mml:msup> <mml:mo> ，</米米升：米o> </mml:mtd> </mml:mtr> </mml:mtable> </mml:math> </disp-formula>在哪里<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M17"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mover accent="true"> <mml:mi> ÿ</米米升：米一世><米米升:mo> ^</米米升：米o> </mml:mover> </mml:mrow> <mml:mrow> <mml:mfenced open="[" close="]" separators="|"> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:mfenced> <mml:mo> ，</米米升：米o> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>是的估计<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M18"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> ÿ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>这个模型包含了所有的观察结果<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M19"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mover accent="true"> <mml:mi> ÿ</米米升：米一世><米米升:mo> ^</米米升：米o> </mml:mover> </mml:mrow> <mml:mrow> <mml:mfenced open="[" close="]" separators="|"> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:mfenced> <mml:mo> ，</米米升：米o> <mml:mo> −</米米升：米o> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>通过模型排除<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M20"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mtext> 日</米米升：米Ťext> </mml:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>观察。</p></statement> <statement id="step2"> <title>步骤2。</Ť一世Ť升e> <p>计算:<disp-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M21"> <mml:mtable> <mml:mlabeledtr id="EEq4"> <mml:mtd> <mml:mtext> （4）</米米升：米Ťext> </mml:mtd> <mml:mtd> <mml:msubsup> <mml:mrow> <mml:mi> Q</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> </mml:msubsup> <mml:mo> =</米米升：米o> <mml:mn> 1</米米升：米ñ><米米升：米o> −</米米升：米o> <mml:mfrac> <mml:mrow> <mml:msub> <mml:mrow> <mml:mtext> 按</米米升：米Ťext> </mml:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> <mml:mrow> <mml:msub> <mml:mrow> <mml:mtext> 靓</米米升：米Ťext> </mml:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世><米米升:mo> −</米米升：米o> <mml:mn> 1</米米升：米ñ></米米升:mrow> </mml:msub> </mml:mrow> </mml:mfrac> <mml:mo> 。</米米升：米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula></p> <p>甲PLS成分被保留，如果<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M22"> <mml:mrow> <mml:msubsup> <mml:mrow> <mml:mi> Q</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> </mml:msubsup> <mml:mo> ></米米升：米o> <mml:mn> 0.0975</米米升：米ñ></米米升:mrow> </mml:math> </inline-formula>。</p><p>交叉验证计算成本特别大的数据时，更何况，它表现不佳时预测的数量比观测的数量越大;也有过度拟合的风险时，观测的数量大，是什么促使一种新的模式选择工具，这将成为交叉验证的替代，一个考虑到PLS回归的正规化自然的选择。</p></statement> </sec> <sec id="sec4"> <title>4.广义交叉验证</Ť一世Ť升e> <p>广义交叉验证（GCV）<X[[Ref ref-type="bibr" rid="B9"> 9</X[[Ref>]的目的是选择正则化方法的最优参数。该方法基于预测误差估计，主要用于正则化方法的数值应用，如Tikhonov正则化和共轭梯度正则化。汉森认为这种方法是成功的。<X[[Ref ref-type="bibr" rid="B10"> 10</X[[Ref>，因为它是基于统计考虑。GCV中选择的参数使函数最小化[<X[[Ref ref-type="bibr" rid="B9"> 9</X[[Ref>]:<disp-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M23"> <mml:mtable> <mml:mlabeledtr id="EEq5"> <mml:mtd> <mml:mtext> （5）</米米升：米Ťext> </mml:mtd> <mml:mtd> <mml:mi> V</米米升：米一世><米米升:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> λ</米米升：米一世></米米l:mrow> </mml:mfenced> <mml:mo> =</米米升：米o> <mml:mfrac> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mn> 1</米米升：米ñ><米米升：米o> /</米米升：米o> <mml:mi> ñ</米米升：米一世></米米l:mrow> </mml:mfenced> <mml:msup> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:mi> ÿ</米米升：米一世><米米升:mo> −</米米升：米o> <mml:mi> 一种</米米升：米一世><米米升:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> λ</米米升：米一世></米米l:mrow> </mml:mfenced> <mml:mi> ÿ</米米升：米一世></米米l:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> </mml:msup> </mml:mrow> <mml:mrow> <mml:msup> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mn> 1</米米升：米ñ><米米升：米o> /</米米升：米o> <mml:mi> ñ</米米升：米一世></米米l:mrow> </mml:mfenced> <mml:mtext> 跟踪</米米升：米Ťext> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> 一世</米米升：米一世><米米升:mo> −</米米升：米o> <mml:mi> 一种</米米升：米一世><米米升:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> λ</米米升：米一世></米米l:mrow> </mml:mfenced> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> </mml:msup> </mml:mrow> </mml:mfrac> <mml:mo> 。</米米升：米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula></p> <p>该公式最初用于岭回归，其中<disp-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M24"> <mml:mtable> <mml:mlabeledtr id="EEq6"> <mml:mtd> <mml:mtext> （6）</米米升：米Ťext> </mml:mtd> <mml:mtd> <mml:mi> 一种</米米升：米一世><米米升:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> λ</米米升：米一世></米米l:mrow> </mml:mfenced> <mml:mo> =</米米升：米o> <mml:mi> X</米米升：米一世><米米升:msup> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msup> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msup> <mml:mi> X</米米升：米一世><米米升:mo> +</米米升：米o> <mml:mi> ñ</米米升：米一世><米米升:mi> λ</米米升：米一世><米米升:mi> 一世</米米升：米一世></米米l:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mo> −</米米升：米o> <mml:mn> 1</米米升：米ñ></米米升:mrow> </mml:msup> <mml:msup> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msup> <mml:mo> 。</米米升：米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula></p> <p>GCV的现有版本之间的差异是由于在分母中估计了矩阵的轨迹。据我们所知，GCV尚未用于PLS回归，但已用于正则化共轭梯度法[<X[[Ref ref-type="bibr" rid="B11"> 11</X[[Ref>]。</p><p>的GCV在PLS回归的情况下，上述公式变为[<X[[Ref ref-type="bibr" rid="B11"> 11</X[[Ref>]<disp-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M25"> <mml:mtable> <mml:mlabeledtr id="EEq7"> <mml:mtd> <mml:mtext> （7）</米米升：米Ťext> </mml:mtd> <mml:mtd> <mml:mi> V</米米升：米一世><米米升:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:mfenced> <mml:mo> =</米米升：米o> <mml:mfrac> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mn> 1</米米升：米ñ><米米升：米o> /</米米升：米o> <mml:mi> ñ</米米升：米一世></米米l:mrow> </mml:mfenced> <mml:msup> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:mi> ÿ</米米升：米一世><米米升:mo> −</米米升：米o> <mml:mi> X</米米升：米一世><米米升:msubsup> <mml:mrow> <mml:mi> β</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mtext> 请</米米升：米Ťext> </mml:mrow> </mml:msubsup> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> </mml:msup> </mml:mrow> <mml:mrow> <mml:msup> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mn> 1</米米升：米ñ><米米升：米o> /</米米升：米o> <mml:mi> ñ</米米升：米一世></米米l:mrow> </mml:mfenced> <mml:mtext> 跟踪</米米升：米Ťext> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> 一世</米米升：米一世><米米升:mo> −</米米升：米o> <mml:mi> 一种</米米升：米一世><米米升:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:mfenced> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> </mml:msup> </mml:mrow> </mml:mfrac> <mml:mo> ，</米米升：米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula>同<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M26"> <mml:mrow> <mml:mi> 一种</米米升：米一世><米米升:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:mfenced> </mml:mrow> </mml:math> </inline-formula>矩阵的投影<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M27"> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msup> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msup> <mml:mi> X</米米升：米一世></米米l:mrow> </mml:mfenced> </mml:mrow> </mml:math> </inline-formula>在维的Krylov子空间上<一世Ťalic> ķ</一世Ťalic>：<disp-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M28"> <mml:mtable> <mml:mlabeledtr id="EEq8"> <mml:mtd> <mml:mtext> （8）</米米升：米Ťext> </mml:mtd> <mml:mtd> <mml:mi> 一种</米米升：米一世><米米升:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:mfenced> <mml:mo> =</米米升：米o> <mml:msubsup> <mml:mrow> <mml:mi> w ^</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msubsup> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msup> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msup> <mml:mi> X</米米升：米一世></米米l:mrow> </mml:mfenced> <mml:msub> <mml:mrow> <mml:mi> w ^</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:msub> <mml:mo> ，</米米升：米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula>在哪里<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M29"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> w ^</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>被所述基质由尺寸的Krylov子空间的基础的元件形成<一世Ťalic> ķ</一世Ťalic>。</p><p>对矩阵的迹提出了各种估计<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M30"> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> 一世</米米升：米一世><米米升:mo> −</米米升：米o> <mml:mi> 一种</米米升：米一世><米米升:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:mfenced> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:math> </inline-formula>;我们将使用提出了一个[<X[[Ref ref-type="bibr" rid="B11"> 11</X[[Ref>]，和类似于使用的<X[[Ref ref-type="bibr" rid="B6"> 6</X[[Ref>]。这就产生了GCV函数:<disp-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M31"> <mml:mtable> <mml:mlabeledtr id="EEq9"> <mml:mtd> <mml:mtext> （9）</米米升：米Ťext> </mml:mtd> <mml:mtd> <mml:mi> V</米米升：米一世><米米升:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:mfenced> <mml:mo> =</米米升：米o> <mml:mfrac> <mml:mrow> <mml:mi> ñ</米米升：米一世><米米升:msup> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:mi> ÿ</米米升：米一世><米米升:mo> −</米米升：米o> <mml:mi> X</米米升：米一世><米米升:msubsup> <mml:mrow> <mml:mi> β</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mtext> 请</米米升：米Ťext> </mml:mrow> </mml:msubsup> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> </mml:msup> </mml:mrow> <mml:mrow> <mml:msup> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> ñ</米米升：米一世><米米升:mo> −</米米升：米o> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> </mml:msup> </mml:mrow> </mml:mfrac> <mml:mo> 。</米米升：米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula></p> <p>使用上面的表达式，我们的停止规则将是参数<一世Ťalic> ķ</一世Ťalic>,最大限度地减少<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M32"> <mml:mrow> <mml:mi> V</米米升：米一世><米米升:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:mfenced> </mml:mrow> </mml:math> </inline-formula>，整个PLS算法的所有迭代。由汉森等人的作品。[<X[[Ref ref-type="bibr" rid="B6"> 6</X[[Ref>]已经证明了L-曲线标准的鲁棒性时，在截断奇异值分解的情况下，GCV和规范共轭梯度迭代进行比较。</p><p>还值得一提的是，GCV是不是受欢迎，因为通过Tenenhaus [建议旧的方式交叉验证方法<X[[Ref ref-type="bibr" rid="B8"> 8</X[[Ref>，至少在化学计量学及其应用领域是这样。GCV方法的主要缺点是计算费用昂贵，因为它需要拟合所有可能的模型，这在处理有时包含数千个预测变量的大规模数据集时变得相当麻烦。</p></sec> <sec id="sec5"> <title>5. L-曲线算法</Ť一世Ť升e> <p>要了解参数选择的问题，我们会考虑解决<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M33"> <mml:mrow> <mml:mi> 一种</米米升：米一世><米米升:mi> X</米米升：米一世><米米升:mo> =</米米升：米o> <mml:mi> b</米米升：米一世></米米l:mrow> </mml:math> </inline-formula>,在那里<一世Ťalic> 一种</一世Ťalic>是一个矩阵<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M34"> <mml:mi> b</米米升：米一世></米米l:math> </inline-formula>的载体。什么时候<一世Ťalic> 一种</一世Ťalic>是病态的，由于很难找到A的逆，解决方案变得不稳定，这是正则化的干扰，提供一套替代的解决方案<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M35"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mn> 1</米米升：米ñ></米米升:mrow> </mml:msub> <mml:mo> ，</米米升：米o> <mml:mo> ...</米米升：米o> <mml:mo> ，</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>通过迭代过程，使用<一世Ťalic> ķ</一世Ťalic>是根据所选择的方法的参数，不同正则化。</p><p>该L曲线准则是在正则化算法如Tikonov和截断奇异值分解（主成分回归）中使用的图形参数的选择方法;这些正则化方法具有稳定通过包括附加信息的解决方案的主要目标。</p><p>有两种类型的L-曲线算法中，第一个是用于连续正则化方法，和第二个是用于离散那些;该L曲线是离散的，当参数<一世Ťalic> ķ</一世Ťalic>在离散的时间间隔而变化。请回归,<一世Ťalic> ķ</一世Ťalic>表示所选优化空间的维数;它也代表了模型中保留的潜在因素的数量。这一标准背后的目标是在两个标绘的量之间找到正确的平衡<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M36"> <mml:mrow> <mml:mi mathvariant="normal"> 日志</米米升：米一世></米米l:mrow> </mml:math> </inline-formula>尺度、残差范数和解范数;这个正确的平衡是l曲线的角，也就是曲率最大的点;数字<X[[Ref ref-type="fig" rid="fig1"> 1</X[[Ref>给出一个测试问题的l曲线的例子。</p><F一世g id="fig1"> <label>图1</升abel> <p>一个测试问题的l曲线图。</p><graphic xlink:href="//www.newsama.com/downloads/journals/jps/2019/3129769.fig.001"></graphic> </fig> <p>角部由一函数拟合到一组离散的点，Hansen和奥利[的分析计算<X[[Ref ref-type="bibr" rid="B5"> 五</X[[Ref>]使用三次样条曲线拟合绘图或使用三角形法在几何上拟合[<X[[Ref ref-type="bibr" rid="B12"> 12</X[[Ref>]。我们选择了一种称为自适应剪枝算法的算法<X[[Ref ref-type="other" rid="alg1"> 1</X[[Ref>)[<X[[Ref ref-type="bibr" rid="B6"> 6</X[[Ref>]，这是被开发来计算离散L-曲线的拐角的算法。</p><p一世d="alg1"> <list list-content="algorithm"> <title><粗体>算法1：</粗体>如通过呈现Hansen等人的算法。[<外部参照REF-TYPE = “BIBR” RID = “B6”> 6 </外部参照>]。</Ť一世Ť升e> <list-item> <label>（1）</升abel> </list-item> </list></p> <p>初始化<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M37"> <mml:mrow> <mml:mrow> <mml:mover accent="true"> <mml:mi> P</米米升：米一世><米米升:mo> ^</米米升：米o> </mml:mover> </mml:mrow> <mml:mo> =</米米升：米o> <mml:mi mathvariant="normal"> 最小值</米米升：米一世><米米升:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mn> 五</米米升：米ñ><米米升：米o> ，</米米升：米o> <mml:mi> P</米米升：米一世><米米升:mo> −</米米升：米o> <mml:mn> 1</米米升：米ñ></米米升:mrow> </mml:mfenced> </mml:mrow> </mml:math> </inline-formula></p> <list-item> <label>（2）</升abel> <p> <bold> 第一阶段</bold>:当<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M38"> <mml:mrow> <mml:mrow> <mml:mover accent="true"> <mml:mi> P</米米升：米一世><米米升:mo> ^</米米升：米o> </mml:mover> </mml:mrow> <mml:mo> <</米米升：米o> <mml:mn> 2</米米升：米ñ><米米升：米fenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> P</米米升：米一世><米米升:mo> −</米米升：米o> <mml:mn> 1</米米升：米ñ></米米升:mrow> </mml:mfenced> </mml:mrow> </mml:math> </inline-formula></p> </list-item> <list-item> <label>（3）</升abel> <p> <inline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M39"> <mml:mrow> <mml:mrow> <mml:mover accent="true"> <mml:mi> P</米米升：米一世><米米升:mo> ^</米米升：米o> </mml:mover> </mml:mrow> <mml:mo> =</米米升：米o> <mml:mi mathvariant="normal"> 最小值</米米升：米一世><米米升:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mover accent="true"> <mml:mi> P</米米升：米一世><米米升:mo> ^</米米升：米o> </mml:mover> <mml:mo> ，</米米升：米o> <mml:mi> P</米米升：米一世><米米升:mo> −</米米升：米o> <mml:mn> 1</米米升：米ñ></米米升:mrow> </mml:mfenced> </mml:mrow> </mml:math> </inline-formula></p> </list-item> <list-item> <label>（4）</升abel> <p> Create a pruned L-curve consisting of the<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M40"> <mml:mrow> <mml:mover accent="true"> <mml:mi> P</米米升：米一世><米米升:mo> ^</米米升：米o> </mml:mover> </mml:mrow> </mml:math> </inline-formula>最大的线段。</p></升一世st-item> <list-item> <label>（5）</升abel> <p> For each corner location routine</p></升一世st-item> <list-item> <label>（6）</升abel> <p>找到角落里<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M41"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> P</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>使用修剪L-曲线。</p></升一世st-item> <list-item> <label>（7）</升abel> <p> Add the corner to the list:<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M42"> <mml:mrow> <mml:mi> 大号</米米升：米一世><米米升:mo> =</米米升：米o> <mml:mi> 大号</米米升：米一世><米米升:mtext> </mml:mtext> <mml:mo> ∪</米米升：米o> <mml:mtext> </mml:mtext> <mml:mfenced open="{" close="}" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> P</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:math> </inline-formula></p> </list-item> <list-item> <label>（8）</升abel> <p> <inline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M43"> <mml:mrow> <mml:mrow> <mml:mover accent="true"> <mml:mi> P</米米升：米一世><米米升:mo> ^</米米升：米o> </mml:mover> </mml:mrow> <mml:mo> =</米米升：米o> <mml:mn> 2</米米升：米ñ><米米升：米[Row> <mml:mover accent="true"> <mml:mi> P</米米升：米一世><米米升:mo> ^</米米升：米o> </mml:mover> </mml:mrow> </mml:mrow> </mml:math> </inline-formula></p> </list-item> <list-item> <label>（9）</升abel> <p> <bold> 第二阶段</bold>：如果<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M44"> <mml:mrow> <mml:mo> ＃</米米升：米o> <mml:mi> 大号</米米升：米一世><米米升:mo> =</米米升：米o> <mml:mn> 1</米米升：米ñ></米米升:mrow> </mml:math> </inline-formula>然后<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M45"> <mml:mrow> <mml:mi> ķ</米米升：米一世><米米升:mo> =</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mn> 1</米米升：米ñ></米米升:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>;回报。</p></升一世st-item> <list-item> <label>（10）</升abel> <p>否则为<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M46"> <mml:mrow> <mml:mi> 一世</米米升：米一世><米米升:mo> =</米米升：米o> <mml:mn> 1</米米升：米ñ><米米升：米o> ，</米米升：米o> <mml:mo> ...</米米升：米o> <mml:mo> ，</米米升：米o> <mml:mo> ＃</米米升：米o> <mml:mi> 大号</米米升：米一世><米米升:mo> −</米米升：米o> <mml:mn> 1</米米升：米ñ></米米升:mrow> </mml:math> </inline-formula></p> </list-item> <list-item> <label>（11）</升abel> <p> Compute the slope<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M47"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> ϕ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>与点相关联<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M48"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> P</米米升：米一世></米米l:mrow> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>在L。</p></升一世st-item> <list-item> <label>（12）</升abel> <p>如果<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M49"> <mml:mrow> <mml:mi mathvariant="normal"> 最大</米米升：米一世><米米升:mfenced open="{" close="}" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> ϕ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:mfenced> <mml:mo> <</米米升：米o> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> π</米米升：米一世><米米升:mo> /</米米升：米o> <mml:mn> 4</米米升：米ñ></米米升:mrow> </mml:mfenced> </mml:mrow> </mml:math> </inline-formula>然后<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M50"> <mml:mrow> <mml:mi> ķ</米米升：米一世><米米升:mo> =</米米升：米o> <mml:mi mathvariant="normal"> 最大</米米升：米一世><米米升:mfenced open="{" close="}" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:math> </inline-formula>;回报。</p></升一世st-item> <list-item> <label>（13）</升abel> <p>否则令<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M51"> <mml:mrow> <mml:mi> ķ</米米升：米一世><米米升:mo> =</米米升：米o> <mml:mi mathvariant="normal"> 最小值</米米升：米一世><米米升:mfenced open="{" close="}" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msub> <mml:mo> ：</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> ϕ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msub> <mml:mo> ></米米升：米o> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> π</米米升：米一世><米米升:mo> /</米米升：米o> <mml:mn> 4</米米升：米ñ></米米升:mrow> </mml:mfenced> <mml:mtext> </mml:mtext> <mml:mo> ∧</米米升：米o> <mml:mtext> </mml:mtext> <mml:msub> <mml:mrow> <mml:mi> θ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世><米米升:mo> −</米米升：米o> <mml:mn> 1</米米升：米ñ></米米升:mrow> </mml:msub> <mml:mo> ，</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msub> <mml:mo> ，</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世><米米升:mo> +</米米升：米o> <mml:mn> 1</米米升：米ñ></米米升:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:msub> <mml:mo> <</米米升：米o> <mml:mn> 0</米米升：米ñ></米米升:mrow> </mml:mfenced> </mml:mrow> </mml:math> </inline-formula>。</p></升一世st-item> <p></p> </sec> <sec id="sec6"> <title>6.自适应剪枝算法[<外部参照REF-TYPE = “BIBR” RID = “B6”> 6 </外部参照>]</Ť一世Ť升e> <p>考虑一个带有一组点的离散l曲线<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M52"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> P</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mn> 1</米米升：米ñ></米米升:mrow> </mml:msub> <mml:mo> ，</米米升：米o> <mml:mo> ...</米米升：米o> <mml:mo> ，</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> P</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>;具体让有三点<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M53"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> P</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> Ĵ</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>，<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M54"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> P</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>,<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M55"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> P</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> 升</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>同<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M56"> <mml:mrow> <mml:mi> Ĵ</米米升：米一世><米米升:mo> <</米米升：米o> <mml:mi> ķ</米米升：米一世><米米升:mo> <</米米升：米o> <mml:mi> 升</米米升：米一世></米米l:mrow> </mml:math> </inline-formula>。我们定义面向角<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M57"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> θ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> Ĵ</米米升：米一世><米米升:mo> ，</米米升：米o> <mml:mi> ķ</米米升：米一世><米米升:mo> ，</米米升：米o> <mml:mi> 升</米米升：米一世></米米l:mrow> </mml:mfenced> </mml:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>。其原理是计算所有可能的角度，并将角与最接近的角联系起来<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M58"> <mml:mrow> <mml:mo> −</米米升：米o> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> π</米米升：米一世><米米升:mo> /</米米升：米o> <mml:mn> 2</米米升：米ñ></米米升:mrow> </mml:mfenced> </mml:mrow> </mml:math> </inline-formula>。</p><p>为了避免寻找本地角落，该算法定义修剪L-曲线的序列;从每个，我们选择了两位候选人的角落。这将产生的候选点小名单是角落。下一步是选择符合标准的角度，我们认为我们对L-曲线最后一个弯道的最佳点;有关详细信息，我们建议汉森等人。[<X[[Ref ref-type="bibr" rid="B6"> 6</X[[Ref>]。</p><p>该算法在“转正包”实现由汉森[MATLAB开发<X[[Ref ref-type="bibr" rid="B13"> 13</X[[Ref>]。自适应剪枝算法的优点是考虑了寻找局部角的可能性，这种情况在高维数据中很常见。</p></sec> <sec id="sec7"> <title>7.l曲线准则和PLS回归</Ť一世Ť升e> <p>该L曲线准则使用背后的逻辑每个正则化方法，该方法是找到解决方案的尺寸增加之间的一种折衷<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M59"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>在功能<一世Ťalic> ķ</一世Ťalic>在每个参数，并且降低残留误差<一世Ťalic> ķ</一世Ťalic>：<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M60"> <mml:mrow> <mml:mi> 一种</米米升：米一世><米米升:mi> X</米米升：米一世><米米升:mo> −</米米升：米o> <mml:mi> b</米米升：米一世></米米l:mrow> </mml:math> </inline-formula>，通过绘制数量和找到曲率点。</p><p>使用L-曲线标准的必要的假设是，剩余误差的范数和正则溶液的范数是参数的单调函数<一世Ťalic> ķ</一世Ťalic>[<X[[Ref ref-type="bibr" rid="B10"> 10</X[[Ref>]，我们将显示下次PLS回归满足这些假设。</p><sec id="sec7.1"> <title>7.1。解的范数</Ť一世Ť升e> <p>为了证明解的范数是参数的单调函数<一世Ťalic> ķ</一世Ťalic>，我们将使用PLS回归和共轭梯度算法之间的等价性应用于正规方程。</p><statement id="prop1"> <title>命题1。</Ť一世Ť升e> <p>共轭梯度算法的正规方程进行的：<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M61"> <mml:mrow> <mml:msup> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msup> <mml:mi> X</米米升：米一世><米米升:mi> X</米米升：米一世><米米升:mo> =</米米升：米o> <mml:msup> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msup> <mml:mi> ÿ</米米升：米一世></米米l:mrow> </mml:math> </inline-formula>与起始载体<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M62"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mn> 0</米米升：米ñ></米米升:mrow> </mml:msub> <mml:mo> =</米米升：米o> <mml:mn> 0</米米升：米ñ></米米升:mrow> </mml:math> </inline-formula>相当于PLS回归进行上<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M63"> <mml:mi> X</米米升：米一世></米米l:math> </inline-formula>和<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M64"> <mml:mi> ÿ</米米升：米一世></米米l:math> </inline-formula>。</p><p>命题1意味着PLS回归是应用于正规方程的共轭梯度的一种特殊情况，我们在之前的论文中已经给出了证明[<X[[Ref ref-type="bibr" rid="B14"> 14</X[[Ref>]。我们将使用这个链接来证明l曲线的选择，并证明PLS满足它的假设。</p><p>下一个命题是前一个命题的直接结果，它是定理Heitens和Steifel的应用，有助于证明PLS的范数是关于参数的单调函数<一世Ťalic> ķ</一世Ťalic>。</p></statement> <statement id="prop2"> <title>命题2。</Ť一世Ť升e> <p>该PLS估计<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M65"> <mml:mrow> <mml:msubsup> <mml:mrow> <mml:mi> β</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mtext> 请</米米升：米Ťext> </mml:mrow> <mml:mrow> <mml:mn> 1</米米升：米ñ></米米升:mrow> </mml:msubsup> <mml:mo> ，</米米升：米o> <mml:mo> ...</米米升：米o> <mml:mo> ，</米米升：米o> <mml:msubsup> <mml:mrow> <mml:mi> β</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mtext> 请</米米升：米Ťext> </mml:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:msubsup> </mml:mrow> </mml:math> </inline-formula>是不同的，并且它们都最小化以下表达式：<disp-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M66"> <mml:mtable> <mml:mlabeledtr id="EEq10"> <mml:mtd rowspan="2"> <mml:mtext> （10）</米米升：米Ťext> </mml:mtd> <mml:mtd> <mml:mi> F</米米升：米一世><米米升:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> H</米米升：米一世></米米l:mrow> </mml:mfenced> <mml:mo> =</米米升：米o> <mml:msup> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> β</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mtext> OLS</米米升：米Ťext> </mml:mrow> </mml:msub> <mml:mo> −</米米升：米o> <mml:mi> H</米米升：米一世></米米l:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msup> <mml:msup> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msup> <mml:mi> X</米米升：米一世><米米升:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> β</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mtext> OLS</米米升：米Ťext> </mml:mrow> </mml:msub> <mml:mo> −</米米升：米o> <mml:mi> H</米米升：米一世></米米l:mrow> </mml:mfenced> <mml:mo> ，</米米升：米o> </mml:mtd> </mml:mlabeledtr> <mml:mtr> <mml:mtd> <mml:msubsup> <mml:mrow> <mml:mi> β</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mtext> 请</米米升：米Ťext> </mml:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msubsup> <mml:mo> =</米米升：米o> <mml:mstyle> <mml:munderover> <mml:mrow> <mml:mo stretchy="true"> ∑</米米升：米o> </mml:mrow> <mml:mrow> <mml:mi> Ĵ</米米升：米一世><米米升:mo> =</米米升：米o> <mml:mn> 0</米米升：米ñ></米米升:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:munderover> <mml:mrow> <mml:mfrac> <mml:mrow> <mml:mi> F</米米升：米一世><米米升:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msubsup> <mml:mrow> <mml:mi> β</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mtext> 请</米米升：米Ťext> </mml:mrow> <mml:mrow> <mml:mi> Ĵ</米米升：米一世></米米l:mrow> </mml:msubsup> </mml:mrow> </mml:mfenced> <mml:mo> −</米米升：米o> <mml:mi> F</米米升：米一世><米米升:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msubsup> <mml:mrow> <mml:mi> β</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mtext> 请</米米升：米Ťext> </mml:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msubsup> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:msubsup> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> [R</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> Ĵ</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> </mml:msubsup> </mml:mrow> </mml:mfrac> <mml:msub> <mml:mrow> <mml:mi> [R</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> Ĵ</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:mstyle> <mml:mo> ，</米米升：米o> </mml:mtd> </mml:mtr> </mml:mtable> </mml:math> </disp-formula>同<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M67"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> [R</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> Ĵ</米米升：米一世></米米l:mrow> </mml:msub> <mml:mo> =</米米升：米o> <mml:msup> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msup> <mml:mi> ÿ</米米升：米一世><米米升:mo> −</米米升：米o> <mml:msup> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msup> <mml:mi> X</米米升：米一世><米米升:msubsup> <mml:mrow> <mml:mi> β</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mtext> 请</米米升：米Ťext> </mml:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msubsup> </mml:mrow> </mml:math> </inline-formula>。</p></statement> <p>残差<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M68"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> [R</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mn> 1</米米升：米ñ></米米升:mrow> </mml:msub> <mml:mo> ，</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> [R</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> </mml:msub> <mml:mo> ，</米米升：米o> <mml:mo> ...</米米升：米o> <mml:mo> ，</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> [R</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>根据赫斯汀和施替费尔正交[<X[[Ref ref-type="bibr" rid="B15"> 15</X[[Ref>]。因此，它们形成用于Krylov子空间的基础：<disp-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M69"> <mml:mtable> <mml:mlabeledtr id="EEq11"> <mml:mtd> <mml:mtext> （11）</米米升：米Ťext> </mml:mtd> <mml:mtd> <mml:msub> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msup> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msup> <mml:mi> X</米米升：米一世><米米升:mo> ，</米米升：米o> <mml:msup> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msup> <mml:mi> ÿ</米米升：米一世></米米l:mrow> </mml:mfenced> <mml:mo> =</米米升：米o> <mml:mtext> 跨度</米米升：米Ťext> <mml:mfenced open="{" close="}" separators="|"> <mml:mrow> <mml:msup> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msup> <mml:mi> ÿ</米米升：米一世><米米升:mo> ，</米米升：米o> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msup> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msup> <mml:mi> X</米米升：米一世></米米l:mrow> </mml:mfenced> <mml:msup> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msup> <mml:mi> ÿ</米米升：米一世><米米升:mo> ，</米米升：米o> <mml:mo> ...</米米升：米o> <mml:mo> ，</米米升：米o> <mml:msup> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msup> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msup> <mml:mi> X</米米升：米一世></米米l:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世><米米升:mo> −</米米升：米o> <mml:mn> 1</米米升：米ñ></米米升:mrow> </mml:msup> <mml:msup> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msup> <mml:mi> ÿ</米米升：米一世></米米l:mrow> </mml:mfenced> <mml:mo> ，</米米升：米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula>这意味着PLS估计量的范数<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M70"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mtext> 日</米米升：米Ťext> </mml:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>迭代<disp-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M71"> <mml:mtable> <mml:mlabeledtr id="EEq12"> <mml:mtd> <mml:mtext> （12）</米米升：米Ťext> </mml:mtd> <mml:mtd> <mml:msubsup> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:msubsup> <mml:mrow> <mml:mi> β</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mtext> 请</米米升：米Ťext> </mml:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msubsup> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> </mml:msubsup> <mml:mo> =</米米升：米o> <mml:mstyle> <mml:munderover> <mml:mrow> <mml:mo stretchy="true"> ∑</米米升：米o> </mml:mrow> <mml:mrow> <mml:mi> Ĵ</米米升：米一世><米米升:mo> =</米米升：米o> <mml:mn> 0</米米升：米ñ></米米升:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世><米米升:mo> −</米米升：米o> <mml:mn> 1</米米升：米ñ></米米升:mrow> </mml:munderover> <mml:mrow> <mml:msup> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mfrac> <mml:mrow> <mml:mi> F</米米升：米一世><米米升:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msubsup> <mml:mrow> <mml:mi> β</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mtext> 请</米米升：米Ťext> </mml:mrow> <mml:mrow> <mml:mi> Ĵ</米米升：米一世></米米l:mrow> </mml:msubsup> </mml:mrow> </mml:mfenced> <mml:mo> −</米米升：米o> <mml:mi> F</米米升：米一世><米米升:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msubsup> <mml:mrow> <mml:mi> β</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mtext> 请</米米升：米Ťext> </mml:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msubsup> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:msub> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> [R</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> Ĵ</米米升：米一世></米米l:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> </mml:msub> </mml:mrow> </mml:mfrac> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> </mml:msup> </mml:mrow> </mml:mstyle> <mml:mo> 。</米米升：米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula></p> <p>自<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M72"> <mml:mi> F</米米升：米一世></米米l:math> </inline-formula>是的递减函数<一世Ťalic> ķ</一世Ťalic>，我们可以很容易地证明PLS估计量的范数是参数的递增函数<一世Ťalic> ķ</一世Ťalic>;因此，它是单调的。</p></sec> <sec id="sec7.2"> <title>7.2。残差的模</Ť一世Ť升e> <p>我们有<disp-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M73"> <mml:mtable> <mml:mlabeledtr id="EEq13"> <mml:mtd> <mml:mtext> （13）</米米升：米Ťext> </mml:mtd> <mml:mtd> <mml:msub> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msup> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msup> <mml:mi> X</米米升：米一世></米米l:mrow> </mml:mfenced> <mml:msubsup> <mml:mrow> <mml:mi> β</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mtext> 请</米米升：米Ťext> </mml:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msubsup> <mml:mo> −</米米升：米o> <mml:msup> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msup> <mml:mi> ÿ</米米升：米一世></米米l:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> </mml:msub> <mml:mo> =</米米升：米o> <mml:msub> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msup> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mo> “</米米升：米o> </mml:mrow> </mml:msup> <mml:mi> X</米米升：米一世></米米l:mrow> </mml:mfenced> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msubsup> <mml:mrow> <mml:mi> β</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mtext> 请</米米升：米Ťext> </mml:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世></米米l:mrow> </mml:msubsup> <mml:mo> −</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> β</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mtext> OLS</米米升：米Ťext> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> </mml:msub> <mml:mo> 。</米米升：米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula></p> <p>据汉森[<X[[Ref ref-type="bibr" rid="B10"> 10</X[[Ref>]，上述用于施加在正规方程共轭梯度算法的残余误差的表达式为的递减函数<一世Ťalic> ķ</一世Ťalic>时，初始向量为:<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M74"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mn> 0</米米升：米ñ></米米升:mrow> </mml:msub> <mml:mo> =</米米升：米o> <mml:mn> 0</米米升：米ñ></米米升:mrow> </mml:math> </inline-formula>，这相当于PLS回归的残差也是参数的递减函数<一世Ťalic> ķ</一世Ťalic>。</p></sec> </sec> <sec id="sec8"> <title>8.应用</Ť一世Ť升e> <p>这种模拟的目的是要比较的PLS回归，交叉验证。三个模式选择工具在正则化方法使用的性能，广义交叉验证，和L-曲线标准。比较将包括模拟和真实数据集;在L-曲线所使用的算法是自适应剪枝算法，在离散正使用的<X[[Ref ref-type="bibr" rid="B6"> 6</X[[Ref>]。</p><sec id="sec8.1"> <title>8.1。真实的数据</Ť一世Ť升e> <p>我们将使用一个名为Cornell (Table)的数据集<X[[Ref ref-type="table" rid="tab1"> 1</X[[Ref>），示于[<X[[Ref ref-type="bibr" rid="B8"> 8</X[[Ref>，<X[[Ref ref-type="bibr" rid="B16"> 16</X[[Ref>]。这些数据测量的上辛烷电机铭牌7种化学成分的作用，对12分不同的混合物的样品。</p><Ťable-wrap id="tab1"> <label>表格1</升abel> <p>辛烷的混合物的化学组分。</p><Ťable> <tbody> <tr> <td align="left">直馏</Ťd> <td align="center"> <inline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M75"> <mml:mrow> <mml:mn> 0</米米升：米ñ><米米升：米o> ≤</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mn> 1</米米升：米ñ></米米升:mrow> </mml:msub> <mml:mo> ≤</米米升：米o> <mml:mn> 0.21</米米升：米ñ></米米升:mrow> </mml:math> </inline-formula></td> </tr> <tr> <td align="left">重整</Ťd> <td align="center"> <inline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M76"> <mml:mrow> <mml:mn> 0</米米升：米ñ><米米升：米o> ≤</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> </mml:msub> <mml:mo> ≤</米米升：米o> <mml:mn> 0.62</米米升：米ñ></米米升:mrow> </mml:math> </inline-formula></td> </tr> <tr> <td align="left">t . c . naphta</Ťd> <td align="center"> <inline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M77"> <mml:mrow> <mml:mn> 0</米米升：米ñ><米米升：米o> ≤</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mn> 3</米米升：米ñ></米米升:mrow> </mml:msub> <mml:mo> ≤</米米升：米o> <mml:mn> 0.12</米米升：米ñ></米米升:mrow> </mml:math> </inline-formula></td> </tr> <tr> <td align="left">c . c . naphta</Ťd> <td align="center"> <inline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M78"> <mml:mrow> <mml:mn> 0</米米升：米ñ><米米升：米o> ≤</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mn> 4</米米升：米ñ></米米升:mrow> </mml:msub> <mml:mo> ≤</米米升：米o> <mml:mn> 0.62</米米升：米ñ></米米升:mrow> </mml:math> </inline-formula></td> </tr> <tr> <td align="left">聚合物</Ťd> <td align="center"> <inline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M79"> <mml:mrow> <mml:mn> 0</米米升：米ñ><米米升：米o> ≤</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mn> 五</米米升：米ñ></米米升:mrow> </mml:msub> <mml:mo> ≤</米米升：米o> <mml:mn> 0.12</米米升：米ñ></米米升:mrow> </mml:math> </inline-formula></td> </tr> <tr> <td align="left">烷基化物</Ťd> <td align="center"> <inline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M80"> <mml:mrow> <mml:mn> 0</米米升：米ñ><米米升：米o> ≤</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mn> 6</米米升：米ñ></米米升:mrow> </mml:msub> <mml:mo> ≤</米米升：米o> <mml:mn> 0.74</米米升：米ñ></米米升:mrow> </mml:math> </inline-formula></td> </tr> <tr> <td align="left">天然汽油</Ťd> <td align="center"> <inline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M81"> <mml:mrow> <mml:mn> 0</米米升：米ñ><米米升：米o> ≤</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> X</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mn> 7</米米升：米ñ></米米升:mrow> </mml:msub> <mml:mo> ≤</米米升：米o> <mml:mn> 0.08</米米升：米ñ></米米升:mrow> </mml:math> </inline-formula></td> </tr> </tbody> </table> </table-wrap> <p>既然我们无法计算回归系数的均方误差，我们将比较的值<一世Ťalic> [R</一世Ťalic>在交叉验证GCV和L-曲线响应变量的平方和均方误差。</p><p>（表CV，GCV，并在真实数据集康奈尔L曲线之间的比较<X[[Ref ref-type="table" rid="tab2"> 2</X[[Ref>）显示，最后一个给了一个更好的模型，有超过的均方误差值的改善<一世Ťalic> ÿ</一世Ťalic>,<一世Ťalic> [R</一世Ťalic>平方，这意味着PLS模型有更好的预测能力。</p><Ťable-wrap id="tab2"> <label>表2</升abel> <p>交叉验证（CV），广义交叉验证（GCV）和真实数据L曲线标准之间的比较的结果。</p><Ťable> <thead> <tr> <th align="center" colspan="3"> <italic> [R</一世Ťalic>方</ŤH><ŤHalign="center" colspan="3">的MSEP<一世Ťalic> ÿ</一世Ťalic></th> <th align="center" colspan="3">模型中保留的PLS组件的数量</ŤH></Ť[R><Ť[R> <th align="left">简历</ŤH><ŤHalign="center">GCV</ŤH><ŤHalign="center">L-曲线</ŤH><ŤHalign="center">简历</ŤH><ŤHalign="center">GCV</ŤH><ŤHalign="center">L-曲线</ŤH><ŤHalign="center">简历</ŤH><ŤHalign="center">GCV</ŤH><ŤHalign="center">L-曲线</ŤH></Ť[R></Ťhead> <tbody> <tr> <td align="left">0.97</Ťd> <td align="center">0.99</Ťd> <td align="center">0.99</Ťd> <td align="center">0.36</Ťd> <td align="center">35.8</Ťd> <td align="center">29.4</Ťd> <td align="center">3</Ťd> <td align="center">4</Ťd> <td align="center">五</Ťd> </tr> </tbody> </table> </table-wrap> <p>我们注意到，L-曲线选择了包含5个组件模型（图<X[[Ref ref-type="fig" rid="fig2"> 2</X[[Ref>），GCV选择的模型具有四个组件，和交叉验证选择的一个仅与第一三个组件。</p><F一世g id="fig2"> <label>图2</升abel> <p>L-曲线图与数据集中康奈尔所选择的角，由自适应修剪算法。</p><graphic xlink:href="//www.newsama.com/downloads/journals/jps/2019/3129769.fig.002"></graphic> </fig> <p>所经过的时间为每个方法的比较示出的下一个结果。</p><p>根据表<X[[Ref ref-type="table" rid="tab3"> 3</X[[Ref>， GCV选择最优模型的时间略多于其他两种方法。随着空间变量的维数的增加，这种差异会增加，在模拟中这一点会更加明显。</p><Ťable-wrap id="tab3"> <label>表3</升abel> <p>交叉验证（CV）之间的比较的结果，在广义PLS回归交叉验证（GCV），和L-曲线准则在实际数据的情况下执行的速度方面。</p><Ťable> <thead> <tr> <th align="left"></th> <th align="center">简历</ŤH><ŤHalign="center">GCV</ŤH><ŤHalign="center">L-曲线</ŤH></Ť[R></Ťhead> <tbody> <tr> <td align="left">运行时间(秒)</Ťd> <td align="center">0.01</Ťd> <td align="center">2.42</Ťd> <td align="center">0.06</Ťd> </tr> </tbody> </table> </table-wrap> </sec> <sec id="sec8.2"> <title>8.2。模拟数据</Ť一世Ť升e> <p>我们在模拟数据集上比较交叉验证、广义交叉验证和l -曲线算法<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M82"> <mml:mrow> <mml:mi> ñ</米米升：米一世><米米升:mo> =</米米升：米o> <mml:mn> One hundred.</米米升：米ñ></米米升:mrow> </mml:math> </inline-formula>观察结果。我们选择的每个数据集的变量数随机，通过选择<一世Ťalic> 米</一世Ťalic>在区间[10，90]。我们的目标是探索在变量的空间的方法的稳健性。</p><p>数据集是使用多元正态分布产生，具有零均值和协方差矩阵，其发生在对应于中和高共线性两个值。<disp-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M83"> <mml:mtable> <mml:mlabeledtr id="EEq14"> <mml:mtd> <mml:mtext> （14）</米米升：米Ťext> </mml:mtd> <mml:mtd> <mml:msub> <mml:mrow> <mml:mi> C</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世><米米升:mi> Ĵ</米米升：米一世></米米l:mrow> </mml:msub> <mml:mo> =</米米升：米o> <mml:mn> 0.8</米米升：米ñ><米米升：米o> ，</米米升：米o> <mml:mn> 0.5。</米米升：米ñ></米米升:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula></p> <p>回归向量是由区间[0,3]内的均匀分布产生的，我们考虑三种不同的信噪比作为误差的标准差。<disp-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M84"> <mml:mtable> <mml:mlabeledtr id="EEq15"> <mml:mtd> <mml:mtext> （15）</米米升：米Ťext> </mml:mtd> <mml:mtd> <mml:mtext> sntr</米米升：米Ťext> <mml:mo> =</米米升：米o> <mml:mfrac> <mml:mrow> <mml:mi mathvariant="normal"> var</米米升：米一世><米米升:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> X</米米升：米一世><米米升:mi> β</米米升：米一世></米米l:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mi mathvariant="normal"> var</米米升：米一世><米米升:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> σ</米米升：米一世></米米l:mrow> </mml:mfenced> </mml:mrow> </mml:mfrac> <mml:mo> =</米米升：米o> <mml:mn> 1,5,7。</米米升：米ñ></米米升:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula></p> <p>我们有6个不同的数据集，每个数据集生成500次，我们估计每个数据集的PLS模型，使用CV、GCV和L-curve算法，以选择保留在最终模型中的组件数量。比较每种模型选择方法的回归系数和因变量估计值的均方误差(MSE)的500个值的平均值，并将结果汇总在表中<X[[Ref ref-type="table" rid="tab4"> 4</X[[Ref>-<X[[Ref ref-type="table" rid="tab6"> 6</X[[Ref>。</p><Ťable-wrap id="tab4"> <label>表4</升abel> <p>摘要利用估计量和预测量的均方误差，对PLS回归中交叉验证(CV)、广义交叉验证(GCV)和l -曲线准则进行了比较<一世Ťalic> ÿ</一世Ťalic>。</p><Ťable> <thead> <tr> <th align="left" rowspan="2">参数<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M85"> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> 米</米米升：米一世><米米升:mo> ，</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> C</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世><米米升:mi> Ĵ</米米升：米一世></米米l:mrow> </mml:msub> <mml:mo> ，</米米升：米o> <mml:mtext> stnr</米米升：米Ťext> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:math> </inline-formula></th> <th align="center" colspan="2">简历</ŤH><ŤHalign="center" colspan="2">GCV</ŤH><ŤHalign="center" colspan="2">L-曲线</ŤH></Ť[R><Ť[R> <th align="center">系数的MSE</ŤH><ŤHalign="center">MSE的<一世Ťalic> ÿ</一世Ťalic></th> <th align="center">系数的MSE</ŤH><ŤHalign="center">MSE的<一世Ťalic> ÿ</一世Ťalic></th> <th align="center">系数的MSE</ŤH><ŤHalign="center">MSE的<一世Ťalic> ÿ</一世Ťalic></th> </tr> </thead> <tbody> <tr> <td align="left">（<一世Ťalic> 米</一世Ťalic>, 0.5, 1)</Ťd> <td align="center">108</Ťd> <td align="center">217780</Ťd> <td align="center">13414</Ťd> <td align="center">63990</Ťd> <td align="center">6786</Ťd> <td align="center">80820</Ťd> </tr> <tr> <td align="left">（<一世Ťalic> 米</一世Ťalic>，0.5％，5）</Ťd> <td align="center">0.0445</Ťd> <td align="center">433.20</Ťd> <td align="center">25.31</Ťd> <td align="center">117.58</Ťd> <td align="center">11.00</Ťd> <td align="center">149.5405</Ťd> </tr> <tr> <td align="left">（<一世Ťalic> 米</一世Ťalic>，0.5％，7）</Ťd> <td align="center">0.0414</Ťd> <td align="center">112.4997</Ťd> <td align="center">6.43</Ťd> <td align="center">29.0744</Ťd> <td align="center">2.90</Ťd> <td align="center">38.8957</Ťd> </tr> <tr> <td align="left">（<一世Ťalic> 米</一世Ťalic>, 0.8, 1)</Ťd> <td align="center">97</Ťd> <td align="center">559670</Ťd> <td align="center">8679.3</Ťd> <td align="center">151260</Ťd> <td align="center">3596</Ťd> <td align="center">199000</Ťd> </tr> <tr> <td align="left">（<一世Ťalic> 米</一世Ťalic>，0.8％，5）</Ťd> <td align="center">0.435</Ťd> <td align="center">1000.9</Ťd> <td align="center">135.98</Ťd> <td align="center">269.7</Ťd> <td align="center">64.43</Ťd> <td align="center">343</Ťd> </tr> <tr> <td align="left">（<一世Ťalic> 米</一世Ťalic>，0.8％，7）</Ťd> <td align="center">0.0599</Ťd> <td align="center">380.83</Ťd> <td align="center">38.46</Ťd> <td align="center">148.54</Ťd> <td align="center">19.94</Ťd> <td align="center">169.22</Ťd> </tr> </tbody> </table> </table-wrap> <table-wrap id="tab5"> <label>表5</升abel> <p>在部件的数量方面交叉验证（CV），广义交叉验证（GCV），和L-曲线准则在PLS回归之间比较的结果保留在最终模型。</p><Ťable> <thead> <tr> <th align="left" rowspan="2"> <inline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M86"> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> 米</米米升：米一世><米米升:mo> ，</米米升：米o> <mml:msub> <mml:mrow> <mml:mi> C</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> 一世</米米升：米一世><米米升:mi> Ĵ</米米升：米一世></米米l:mrow> </mml:msub> <mml:mo> ，</米米升：米o> <mml:mtext> stnr</米米升：米Ťext> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:math> </inline-formula></th> <th align="center" colspan="3">PLS部件的数量保留在最终模型</ŤH></Ť[R><Ť[R> <th align="center">简历</ŤH><ŤHalign="center">GCV</ŤH><ŤHalign="center">L-曲线准则</ŤH></Ť[R></Ťhead> <tbody> <tr> <td align="left">（<一世Ťalic> 米</一世Ťalic>, 0.5, 1)</Ťd> <td align="center">1<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M87"> <mml:mrow> <mml:msup> <mml:mrow></mml:mrow> <mml:mrow> <mml:mi> ∗</米米升：米一世></米米l:mrow> </mml:msup> </mml:mrow> </mml:math> </inline-formula></td> <td align="center">6</Ťd> <td align="center">4</Ťd> </tr> <tr> <td align="left">（<一世Ťalic> 米</一世Ťalic>，0.5％，5）</Ťd> <td align="center">1</Ťd> <td align="center">6</Ťd> <td align="center">4</Ťd> </tr> <tr> <td align="left">（<一世Ťalic> 米</一世Ťalic>，0.5％，7）</Ťd> <td align="center">2</Ťd> <td align="center">6</Ťd> <td align="center">4</Ťd> </tr> <tr> <td align="left">（<一世Ťalic> 米</一世Ťalic>, 0.8, 1)</Ťd> <td align="center">1<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M88"> <mml:mrow> <mml:msup> <mml:mrow></mml:mrow> <mml:mrow> <mml:mi> ∗</米米升：米一世></米米l:mrow> </mml:msup> </mml:mrow> </mml:math> </inline-formula></td> <td align="center">6</Ťd> <td align="center">3</Ťd> </tr> <tr> <td align="left">（<一世Ťalic> 米</一世Ťalic>，0.8％，5）</Ťd> <td align="center">1</Ťd> <td align="center">6</Ťd> <td align="center">4</Ťd> </tr> <tr> <td align="left">（<一世Ťalic> 米</一世Ťalic>，0.8％，7）</Ťd> <td align="center">1</Ťd> <td align="center">10</Ťd> <td align="center">五</Ťd> </tr> </tbody> </table> <table-wrap-foot> <fn> <p> <inline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M89"> <mml:mrow> <mml:msup> <mml:mrow></mml:mrow> <mml:mrow> <mml:mi> ∗</米米升：米一世></米米l:mrow> </mml:msup> </mml:mrow> </mml:math> </inline-formula>的负值<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M90"> <mml:mrow> <mml:msubsup> <mml:mrow> <mml:mi> Q</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> </mml:msubsup> </mml:mrow> </mml:math> </inline-formula>。</p></Fñ></Ťable-wrap-foot> </table-wrap> <table-wrap id="tab6"> <label>表6</升abel> <p>交叉验证（CV），广义交叉验证（GCV），和L-曲线准则之间在PLS回归中执行的速度方面在模拟的数据集的情况下，比较的结果。</p><Ťable> <thead> <tr> <th align="left"></th> <th align="center">简历</ŤH><ŤHalign="center">GCV</ŤH><ŤHalign="center">L-曲线</ŤH></Ť[R></Ťhead> <tbody> <tr> <td align="left">运行时间(秒)</Ťd> <td align="center">11.75</Ťd> <td align="center">75.04</Ťd> <td align="center">0.047</Ťd> </tr> </tbody> </table> </table-wrap> <p>回归系数的MSE是使用表达式（欧几里得范数）计算值：<disp-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M91"> <mml:mtable> <mml:mlabeledtr id="EEq16"> <mml:mtd> <mml:mtext> （16）</米米升：米Ťext> </mml:mtd> <mml:mtd> <mml:mtext> 均方误差</米米升：米Ťext> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msubsup> <mml:mrow> <mml:mi> β</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mtext> 请</米米升：米Ťext> </mml:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:msubsup> </mml:mrow> </mml:mfenced> <mml:mo> =</米米升：米o> <mml:mfrac> <mml:mn> 1</米米升：米ñ><米米升：米i> ñ</米米升：米一世></米米l:mfrac> <mml:msup> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:msubsup> <mml:mrow> <mml:mi> β</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mtext> 请</米米升：米Ťext> </mml:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> </mml:msubsup> <mml:mo> −</米米升：米o> <mml:mi> β</米米升：米一世></米米l:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> </mml:msup> <mml:mo> ，</米米升：米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula> <inline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M92"> <mml:mi> β</米米升：米一世></米米l:math> </inline-formula>是真正的回归系数。</p><p>在交叉验证的结果中遇到的第一个问题是，当信噪比等于1时，的数量<一世ñ升一世ñe-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M93"> <mml:mrow> <mml:msubsup> <mml:mrow> <mml:mi> Q</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mi> ķ</米米升：米一世></米米l:mrow> <mml:mrow> <mml:mn> 2</米米升：米ñ></米米升:mrow> </mml:msubsup> </mml:mrow> </mml:math> </inline-formula>在整个500个集均阴性。这意味着它不能选择的模型（在此情况下，我们选择了用于比较的第一组分）。GCV似乎给了响应变量最小的MSE，但是它给出了最高之一的回归系数;交叉验证率，产生较少的回归系数MSE，但它膨胀，响应变量的显着。在此期间，L-曲线给出了合理的结果，得到的回归系数比GCV的更好的MSE，并给予几乎为响应变量的MSE类似的结果。</p><p>用于模拟数据的三种方法的速度的比较中，我们选择了具有各100个观测10点的数据集，用变量改变从90到99表<X[[Ref ref-type="table" rid="tab6"> 6</X[[Ref>表示10个数据集的平均运行时间。GCV选择最优模型大约需要75.04秒，是最慢的，其次是CV(11.75秒)，L-curve的执行时间始终最低，为0.047。</p></sec> </sec> <sec id="sec9"> <title>9.结论</Ť一世Ť升e> <p>在本文中，我们提出了一个模型选择的工具，通常在正则化方法中使用，这样我们用它在PLS回归，在偏最小二乘回归和共轭梯度算法之间存在的链路的投资。为了评估PLS这种模式选择工具的贡献，我们与交叉验证的两个版本相比它，一个基本上是在PLS模型选择最流行的方法，由于它的简单性，另一种是在数值分析领域流行，并在统计建模领域较少见。L-曲线似乎合适的，因为它考虑了收缩的解决方案的尺寸和残留误差之间的平衡。我们的模拟研究表明，L-曲线优于在真实数据的两种方法，并且是在人工数据的情况下要少得多计算成本，其结果是几乎相同的GCV方法。在GCV的主要缺点，这是计算成本高，L-曲线称重似乎与大规模数据集，这是常见的研究很多领域需要使用PLS回归的工作时，是更好的选择。</p></sec> <back> <sec sec-type="data-availability"> <title>数据可用性</Ť一世Ť升e> <p>此前报告的数据被用来作为真实的数据来支持这一研究可在[<X[[Ref ref-type="bibr" rid="B8"> 8</X[[Ref>，<X[[Ref ref-type="bibr" rid="B16"> 16</X[[Ref>]，这是在文中引用。</p></sec> <sec> <title>信息披露</Ť一世Ť升e> <p>这项工作的一个早期版本已经表现为国际SM2A会议梅克内斯，摩洛哥，2017年的口头交流。</p></sec> <sec sec-type="COI-statement"> <title>的利益冲突</Ť一世Ť升e> <p>作者声明，他们没有利益冲突。</p></sec> <ref-list> <ref id="B1" content-type="article"> <label>1</升abel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 荒原</surname> <given-names> H。</given-names> </name> </person-group> <article-title> 由潜在变量软建模：非线性迭代偏最小二乘（NIPALS）方法</article-title> <source> <italic> 应用概率杂志</一世Ťalic> <year> 1975年</ÿear> <volume> 12</volume> <issue> S1</一世ssue> <fpage> 117</Fpage> <lpage> 142</升page> <pub-id pub-id-type="doi"> 10.1017 / s0021900200047604</pub-id> </element-citation> </ref> <ref id="B2" content-type="book"> <label>2</升abel> <element-citation publication-type="book"> <person-group person-group-type="author"> <name> <surname> 劳森</surname> <given-names> C. L.</given-names> </name> <name> <surname> 汉森</surname> <given-names> R. J.</given-names> </name> </person-group> <source> <italic> 解决最小二乘问题</一世Ťalic> <year> 1995</ÿear> <volume> 15</volume> <publisher-loc> 美国费城,宾夕法尼亚州</publisher-loc> <publisher-name> 暹</publisher-name> </element-citation> </ref> <ref id="B3" content-type="article"> <label>3</升abel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 磨坊主</surname> <given-names> K.</given-names> </name> </person-group> <article-title> 对于规定的约束病态问题的最小二乘法</article-title> <source> <italic> SIAM杂志上数学分析</一世Ťalic> <year> 1970</ÿear> <volume> 1</volume> <issue> 1</一世ssue> <fpage> 52</Fpage> <lpage> 74</升page> <pub-id pub-id-type="doi"> 10.1137 / 0501006</pub-id> </element-citation> </ref> <ref id="B4" content-type="article"> <label>4</升abel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 汉森</surname> <given-names> p C。</given-names> </name> </person-group> <article-title> 由L-曲线的方法的离散病态问题的分析</article-title> <source> <italic> 暹罗审查</一世Ťalic> <year> 1992</ÿear> <volume> 34</volume> <issue> 4</一世ssue> <fpage> 561</Fpage> <lpage> 580</升page> <pub-id pub-id-type="doi"> 10.1137 / 1034115</pub-id> </element-citation> </ref> <ref id="B5" content-type="article"> <label>五</升abel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 汉森</surname> <given-names> p C。</given-names> </name> <name> <surname> 奥利里</surname> <given-names> D. P.</given-names> </name> </person-group> <article-title> l曲线在离散不适定问题正则化中的应用</article-title> <source> <italic> SIAM杂志上的科学计算</一世Ťalic> <year> 1993</ÿear> <volume> 14</volume> <issue> 6</一世ssue> <fpage> 1487</Fpage> <lpage> 1503</升page> <pub-id pub-id-type="doi"> 10.1137 / 0914086</pub-id> </element-citation> </ref> <ref id="B6" content-type="article"> <label>6</升abel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 汉森</surname> <given-names> p C。</given-names> </name> <name> <surname> 詹森</surname> <given-names> T. K.</given-names> </name> <name> <surname> 罗德里格斯</surname> <given-names> G。</given-names> </name> </person-group> <article-title> 为离散的L曲线标准的自适应修剪算法</article-title> <source> <italic> [计算与应用数学</一世Ťalic> <year> 2007年</ÿear> <volume> 198</volume> <issue> 2</一世ssue> <fpage> 483</Fpage> <lpage> 492</升page> <pub-id pub-id-type="doi"> 10.1016 / j.cam.2005.09.026</pub-id> <pub-id pub-id-type="other"> 2- s2.0-33748746573</pub-id> </element-citation> </ref> <ref id="B7" content-type="article"> <label>7</升abel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 高</surname> <given-names> W.</given-names> </name> <name> <surname> 余</surname> <given-names> K.</given-names> </name> <name> <surname> 吴</surname> <given-names> Y.</given-names> </name> </person-group> <article-title> 负荷识别逆问题最优正则化参数确定的一种新方法</article-title> <source> <italic> 冲击和振动</一世Ťalic> <year> 2016</ÿear> <volume> 2016</volume> <lpage> 16</升page> <pub-id pub-id-type="publisher-id"> 732896</pub-id> <pub-id pub-id-type="doi"> 10.1155 / 2016/7328969</pub-id> <pub-id pub-id-type="other"> 2 - s2.0 - 84962713785</pub-id> </element-citation> </ref> <ref id="B8" content-type="book"> <label>8</升abel> <element-citation publication-type="book"> <person-group person-group-type="author"> <name> <surname> Tenenhaus</surname> <given-names> M.</given-names> </name> </person-group> <source> <italic> 香格里拉回归PLS：théorie等无疫通行证</一世Ťalic> <year> 1998</ÿear> <comment> 版本德希尼布</comment> </element-citation> </ref> <ref id="B9" content-type="article"> <label>9</升abel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> Golub</surname> <given-names> G. H.</given-names> </name> <name> <surname> 希思</surname> <given-names> M.</given-names> </name> <name> <surname> ·丁</surname> <given-names> G。</given-names> </name> </person-group> <article-title> 广义交叉验证作为选择一个好的山脊参数的方法</article-title> <source> <italic> Technometrics</一世Ťalic> <year> 1979</ÿear> <volume> 21</volume> <issue> 2</一世ssue> <fpage> 215</Fpage> <lpage> 223</升page> <pub-id pub-id-type="doi"> 10.2307 / 1268518</pub-id> </element-citation> </ref> <ref id="B10" content-type="book"> <label>10</升abel> <element-citation publication-type="book"> <person-group person-group-type="author"> <name> <surname> 汉森</surname> <given-names> p C。</given-names> </name> </person-group> <source> <italic> 秩亏和离散不适定问题：线性反演的数值方面</一世Ťalic> <year> 2005年</ÿear> <volume> 4</volume> <publisher-loc> 美国费城,宾夕法尼亚州</publisher-loc> <publisher-name> 暹</publisher-name> </element-citation> </ref> <ref id="B11" content-type="article"> <label>11</升abel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 法瓦蒂</surname> <given-names> P。</given-names> </name> <name> <surname> 洛蒂</surname> <given-names> G。</given-names> </name> <name> <surname> Menchi</surname> <given-names> O。</given-names> </name> <name> <surname> 罗姆</surname> <given-names> F。</given-names> </name> </person-group> <article-title> 广义交叉验证施加到共轭梯度的离散不适定问题</article-title> <source> <italic> 应用数学与计算</一世Ťalic> <year> 2014</ÿear> <volume> 243</volume> <fpage> 258</Fpage> <lpage> 268</升page> <pub-id pub-id-type="doi"> 10.1016 / j.amc.2014.05.109</pub-id> <pub-id pub-id-type="other"> 2- s2.0-84903156052</pub-id> </element-citation> </ref> <ref id="B12" content-type="article"> <label>12</升abel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 卡斯特利亚诺斯</surname> <given-names> j·L。</given-names> </name> <name> <surname> 戈麦斯</surname> <given-names> 年代。</given-names> </name> <name> <surname> 格拉</surname> <given-names> V.</given-names> </name> </person-group> <article-title> 求l曲线角的三角形法</article-title> <source> <italic> 应用数学年刊</一世Ťalic> <year> 2002年</ÿear> <volume> 43</volume> <issue> 4</一世ssue> <fpage> 359</Fpage> <lpage> 373</升page> <pub-id pub-id-type="doi"> 10.1016 / s0168 - 9274 (01) 00179 - 9</pub-id> <pub-id pub-id-type="other"> 2 - s2.0 - 0036895160</pub-id> </element-citation> </ref> <ref id="B13" content-type="article"> <label>13</升abel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 汉森</surname> <given-names> p C。</given-names> </name> </person-group> <article-title> 正则化工具：Matlab的包进行分析和离散病态问题解决方案</article-title> <source> <italic> 数值算法</一世Ťalic> <year> 1994</ÿear> <volume> 6</volume> <issue> 1</一世ssue> <fpage> 1</Fpage> <lpage> 35</升page> <pub-id pub-id-type="doi"> 10.1007 / bf02149761</pub-id> <pub-id pub-id-type="other"> 2- s2.0-13344267706</pub-id> </element-citation> </ref> <ref id="B14" content-type="article"> <label>14</升abel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> Kerkri</surname> <given-names> 一种。</given-names> </name> <name> <surname> Allal</surname> <given-names> J.</given-names> </name> <name> <surname> Zarrouk</surname> <given-names> Z。</given-names> </name> </person-group> <article-title> 使用共轭梯度算法突出PLS回归的正规化特性</article-title> <source> <italic> 国际应用数学与统计学杂志</一世Ťalic> <year> 2017年</ÿear> <volume> 56</volume> <issue> 五</一世ssue> <fpage> 63</Fpage> <lpage> 74</升page> </element-citation> </ref> <ref id="B15" content-type="book"> <label>15</升abel> <element-citation publication-type="book"> <person-group person-group-type="author"> <name> <surname> Hestenes</surname> <given-names> 先生。</given-names> </name> <name> <surname> 施蒂费尔</surname> <given-names> E.</given-names> </name> </person-group> <source> <italic> 解线性方程组共轭梯度方法</一世Ťalic> <year> 1952年</ÿear> <volume> 49</volume> <issue> 1</一世ssue> <publisher-loc> 华盛顿特区，美国</publisher-loc> <publisher-name> NBS</publisher-name> </element-citation> </ref> <ref id="B16" content-type="article"> <label>16</升abel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> Kettaneh-Wold</surname> <given-names> N。</given-names> </name> </person-group> <article-title> 用偏最小二乘混合物数据的分析</article-title> <source> <italic> 化学计量学和智能实验室系统</一世Ťalic> <year> 1992</ÿear> <volume> 14</volume> <issue> 1-3</一世ssue> <fpage> 57</Fpage> <lpage> 69</升page> <pub-id pub-id-type="doi"> 10.1016 / 0169-7439（92）80092-i的</pub-id> <pub-id pub-id-type="other"> 2- s2.0-0026524721</pub-id> </element-citation> </ref> </ref-list> </back> </article> </body> </html>