文摘

最小二乘支持向量机的解决方案(二)的特点是一个特定的线性系统,也就是说,一个鞍点系统。方法的数值解决方案如共轭方法Sykens和”(1999)和零空间方法楚et al。(2005)。加快二的解决方案,本文采用最小残余(MINRES)方法来解决上述直接鞍点系统。理论分析表明,MINRES方法是更有效的比共轭梯度法和零空间法求解鞍点系统。基准数据集的实验表明,与主流回归模型的算法相比,该方法大大减少了训练时间,类似的准确性。基于MINRES脚跟,为生物方法用于跟踪实际问题起源于高炉炼铁过程:铁水中的硅含量变化趋势预测。MINRES基于方法的回归模型可以有效地执行功能同时减少和模型选择,所以它是一个实用的工具,用于硅趋势预测任务。

1。介绍

作为一个内核方法,支持向量机是通过嵌入输入数据成一个希尔伯特空间由一个高维映射,然后试图找到一个高维的嵌入式数据点之间的线性关系(1,2]。这个过程是隐式地执行通过指定一个满足的核函数,即嵌入点的内积。鉴于观察样品与大小,SVM制定学习问题的变分问题找到一个决策函数风险最小化正规化的功能(3,4] 在哪里被称为损失函数,贸易是所谓的正则化参数的经验风险的复杂性,也就是说,,规范再生核希尔伯特空间。的表示定理(3,5),最优决策函数令人满意的(1。1)的形式 在哪里为,。这个方程可以很容易地用于解决一个实际问题如果指定内核函数。为了克服传统支持向量机的高计算复杂度,另外一个有趣的标准支持向量机,提出了最小二乘支持向量机,通过Suykens和”(6]。在回归模型中,不等式约束软保证金SVM转化为等式约束。回归模型的模型训练过程是由解决一个特定的线性方程,也就是说,一个鞍点系统,可以有效地解决了迭代的方法,而不是一个二次规划问题。除了计算优势广泛与回归模型的实证研究表明,支持向量机的泛化性能(7];这些特性使得二一个有吸引力的替代SVM算法和也是一个成功。培训的回归,范Gestel et al。7提出了用订单系统分成两个鞍点阶对称正定系统可以解决由共轭梯度(CG)算法。加快二的训练,楚et al。8]采用零空间方法将鞍点系统转化为一个减少阶对称正定系统也解决了CG算法。佩奇提出的微小残留(MINRES)方法和桑德斯是一家专业方法求解非奇异的对称系统(9]。这种方法可以避免LU分解,不遭受崩溃,所以它是一种有效的数值方法求解对称但不确定系统。Karush-Kuhn-Tucker系统指定的线性回归模型的系统,也就是说,一个鞍点系统。考虑上面的点,加快生物模型的解决方案我们采用MINRES方法直接求解线性系统。本文的主要贡献是提供一个潜在的生物模型的替代解决方案。理论分析的三个数值算法的解决方案为生物模型表明,MINRES方法是最优的选择。基准数据集的实验表明,相比之下,CG Suykens等人提出的方法和提出的零空间法楚et al ., MINRES解算器大大提高了计算效率,同时保持与上述两个广义性能几乎相同的方法。鞋跟,MINRES基于方法的回归模型,并进一步用来确认高炉炼铁过程(BF),一个复杂的非线性系统。实际应用典型的真正的男朋友表明MINRES建立基于方法的回归模型是一个很好的候选人的变化趋势来预测高炉铁水硅含量较低的时间成本。这项工作是援助的可能应用高炉操作符来判断高炉热或冷却的内在状态及时得当,可以为他们提供一个导游提前确定控制高炉的方向。 The rest of this paper is organized as follows. In Section2,我们给生物的审查。部分3提出了三个回归模型的数值解。这是紧随其后的是大量实验验证该方法的部分4。部分5总结了纸和指出了未来可能的研究。

2。制定二

回归模型的原始问题可以制定统一格式: 回归分析和模式分类。在(2。1)训练样本的总数,是输入向量,是th产值/标签回归/分类问题,是th误差变量,正则化参数,是偏差项。拉格朗日(2。1)下面: 在哪里是拉格朗日乘子。凸的程序(2。1),很明显,斯莱特约束条件。因此,最优解(2。1)满足其Karush-Kuhn-Tucker系统 消除变量后和Karush-Kuhn-Tucker系统(2。3)可以新配方后鞍点系统(10]: 在哪里,代表单位矩阵,表示一个所有的维向量,。

3所示。回归模型的解决方案

在本节中,我们给出一个简短的回顾和提到的一些分析三个回归模型的数值算法的解决方案。

3.1。共轭梯度方法

内核矩阵是一个对称半正定矩阵和对角项是正的,所以矩阵是对称的正定。通过下面的矩阵变换 在哪里 鞍点系统(2。4)可以映像到正定系统(11]

Suykens等人建议使用CG方法的解决方案(3.3),提出解决两个正定系统。更确切的说,他们的算法可以描述如下。

步骤1。采用重心算法来解决线性方程中间变量。

步骤2。解决了中间变量从的CG方法。

步骤3。获得拉格朗日对偶变量和偏见的术语。
任何新的数据的输出随后可以通过计算决定函数推导出吗。

3.2。零空间的方法

在前面提到的,中间变量和两个阶正定系统需要解决的CG方法。楚et al。8)提出了一个有趣的方法来解决一个回归模型的数值解订单减少线性方程组。朱等人建议的改进方法可以被看作是一种零空间的方法。鞍点系统(2。4)可以写成 朱等人指定一个特定的解决方案作为和的零空间作为 通过解决以下系统订单减少未知的辅助, 鞍点的解决系统(2。4)可以获得和。

3.3。微小残留方法

向量序列的CG方法对应于一个分解三对角矩阵相似系数矩阵。因此,算法可能出现的故障对应于一个零主如果矩阵是不确定的。此外,对于不定矩阵的极小化属性CG方法不再是定义良好的。MINRES方法提出的佩奇和桑德斯[9]是CG方法的一个变体,避免了LU分解,不遭受破坏。它最小化的残余规范,是一种有效的数值算法求解对称但不确定系统;相应的收敛行为MINRES无限期的方法系统分析了Van der Vorst [12]。本文的目的是采用MINRES方法求解鞍点系统(2。4直接)。接下来,我们给了简要回顾MINRES算法。让是一个初始猜测对称的不确定线性系统的解决方案。一个可以获得的迭代序列,这样 在哪里是th剩余的, 是维子空间。兰索斯可以用来产生一个标准正交基的方法,然后只需要两个基向量来计算;见,例如,(12]。MINRES算法的详细实现可以在找到12]。

它已经表明,舍入误差传播到近似解与一个因素成正比的平方系数矩阵的条件数12];一个人应该小心MINRES坏脾气的方法系统。

3.4。一些分析这三个数值算法

短期复发的特性和优化(12)使CG方法的首选对称正定系统的解决方案。Suykens等人改变了阶鞍点系统(2。4)为两个阶正定系统由CG解决方法。然而,它是解决两个耗费时间阶正定系统与大尺度。为了克服这个缺点,楚et al。8)改变等同于原件订单系统变成一个阶对称正定系统,然后可以使用CG方法。这种方法可以被看作是一个零空间的方法。不幸的是,转换可能破坏严重稀疏结构和大大增加原系统的条件数。这可以大大减缓CG算法的收敛速度。理论分析了影响转换的条件是必不可少的,但它是相当困难的。我们把它作为一个开放的问题。摘要MINRES方法直接应用于解决最初的鞍点问题秩序。类似于MINRES CG方法,方法也有短的复发和优化的属性。

根据上述分析,MINRES方法应该是首选的解决方案为生物模型,因为它避免了求解两个线性系统和破坏的稀疏结构同时原始鞍点系统。

4所示。数值实现

4.1。实验基准数据集

在本节中,我们给出了实验测试结果的准确性和效率的方法。比较的目的,我们提出的实现CG方法Suykens和”6)和零空间法提出了楚et al。8]。所有实验用MATLAB实现7.8版本运行在一个IBM兼容电脑编程环境下窗口XP操作系统,这是配置了英特尔酷睿2.1 Ghz CPU和2 G内存。使用的广义高斯RBF内核选择核函数。我们使用默认设置为内核的宽度,即内核宽度设置为输入的维数。

我们首先比较三种算法在三个基准数据集:波士顿、混凝土、和鲍鱼从UCI[下载13]。每个数据集随机划分为70%的训练,30%的测试集。我们还列出了系数矩阵的条件数通过三种方法来解决分析的计算效率。如表所示1- - - - - -3CG方法的条件是至少有一个和零空间法的条件数显著增加。

电导率的列在表中1,2,3表明,与CG方法MINRES方法的条件数增加,但远低于零空间的条件数的方法。线性方程的命令解决了CG方法,零空间法、和MINRES法,,,分别。CG的条件数法和MINRES法非常接近,但我们必须解决的两个系统使用CG方法。因此,MINRES方法的运行时间应小于CG的方法。CPU列在表中1- - - - - -3表明MINRES基于方法为生物模型成本更少的运行时间比CG零空间法和基于方法为生物模型在所有情况下的c .所以MINRES基于方法的回归模型是一个更好的算法求解回归模型。在接下来的小节中,我们将采用MINRES基于方法为生物模型来解决实际问题。

4.2。高炉系统上的应用程序

高炉、一种冶金反应器用于生产生铁,通常被称为热金属。化学反应和热传输现象发生在整个炉作为固体材料向上向下移动和热燃烧气体流。高炉炼铁过程中涉及的主要原则是热化学还原氧化铁矿石的一氧化碳。在炼铁时期,产生大量的热能可加热高炉温度接近2000°C。最终产品由渣和铁水下沉,是利用定期的后续精炼。大概需要6 - 8 h炼铁的周期(11]。高炉炼铁过程是一个高度复杂的非线性过程,高温的特点,高压力,交通现象,赞同和化学反应。男朋友的复杂性和各种过程扰动的发生障碍已经采用的建模和控制的过程。一般来说,控制高炉系统通常意味着控制铁水温度和组件,如硅含量、铁水含硫量,铁水中碳含量在可接受的范围内。在这些指标中,硅含量经常充当首席代表高炉热状态的指标,越来越硅内容意义加热的男朋友而减少硅含量表明冷却的男朋友11,14]。因此,硅含量是一个可靠的衡量高炉热状态,它成为了一个关键阶段预测硅为调节高炉热状态的内容。因此,积极研究问题建立硅预测模型在近几十年来,包括数值预测模型(15)和趋势预测模型(11]。

在本节中,趋势预测铁水中的硅含量转换为二进制分类问题。随着硅样品内容用+ 1而减少硅含量用−1。在目前的工作,收集实验数据从一个中型高炉内部体积约为2500米³。硅含量密切相关的变量测量的候选人输入建模。表4介绍了从研究高炉变量信息。完全有801所采集的数据点,第一批601点火车,剩余200点设置为测试集。采样间隔约为1.5 h的现任男友。图1说明了铁水硅含量的进化。

总共有15个候选人变量中列出的表4选择模型的输入。一般来说,太多的输入参数会增加模型的复杂性而太少的输入将减少模型的准确性。模型之间的权衡是复杂性和准确性在选择输入。因此,有必要排除不重要变量从这15个候选人作为输入变量。这里,输入筛选相结合的一种综合的方式评分方法(16)为变量排名和交叉验证方法对变量和模型参数的选择。

得分是一种有效的数据挖掘工具的特征选择和排名可以给特性评估两组的歧视与实际值。对于那些15个候选人在表变量4,他们的分数定义如下: 在哪里,和站的意思th属性的整个训练,正面和负面的例子,分别和是th的变量积极的和消极的实例,分别。因此,可以通过一个变量排名得分方法。表4给出的结果所有15个变量的得分排名根据分数值。作为一个基于学习模型,内核参数,正规化参数在生物起着重要的作用,所以每个人都应该注意选择合适的参数。在火车上执行网格搜索十倍交叉验证设置搜索最优(C)。搜索网格对模型参数设置

意味着精度表4代表的平均精度在10倍交叉验证实验为生物模型网格点的最佳性能。在当前的工作中,我们首先选择最高的变量分数作为模型输入,然后添加变量根据他们一个接一个分数。意味着精度下可以实现各种各样的输入变量和结果如表所示4。以下是意味着精度列所示:在一开始,平均精度逐渐增加更多的候选人变量作为模型的输入;最大的平均精度出现在有限公司₂是包含在输入组;平均精度超出最大时,它会变成剩余变量添加的波动输入设置。这些结果表明,研究高炉而言,最优输入集(是的,年代,BI, FS、BV、有限公司₂)与模型参数设置。表5列出了为生物模型精度包括有/没有特性和模型选择版本在测试集。在没有特征和模型选择版本,所有候选人选择变量作为输入,我们使用默认设置为生物模型;也就是说,设置内核宽度等于输入变量的维数正规化参数设置为1。第二行中的信息表,如34/42,表示有42倍上升趋势的预测结果,和34次预测是成功的。的置信水平为生物模型没有模型和特征选择之间的波动严重升序和降序预测从80.95%降至58.86%。信心水平的差异之间的回归模型与模型和特征选择升序和降序预测是减少到2.19%,表明模型和特征选择过程明显增强了回归模型的稳定性。最后一列的表5显示,TSA回归模型的功能和模型选择过程显著提高与回归模型相比没有特点和模型选择,所以选择过程对当前实际应用是必不可少的。表6列出三个提到的数值算法的运行时间在执行功能和模型选择过程。MINRES方法的时间成本与其他算法相比显著降低。总之,特性和模型选择过程可以有效地执行MINRES基于方法的回归模型,为实际使用,它是有意义的。

5。未来可能的研究的结论和观点

在本文中,我们提出了一种替代方法,也就是说,MINRES方法,为生物模型制定的解决方案作为一个鞍点系统。数值对UCI标准数据集的实验表明,该回归模型的数值求解方法比Suykens提出的算法更有效,”(6和楚等。8]。就范,MINRES基于方法为生物模型包括广泛的候选人和特征选择模型参数选择提出和使用的硅含量趋势预测任务。实际应用的一个典型的真正的男朋友表明该MINRES基于方法的回归模型是一个很好的候选人来预测高炉铁水硅含量的趋势较低的运行时间。

然而,应该指出,尽管MINRES基于方法的回归模型显示运行时间较低,缺乏冶金信息可能根有限目前的预测模型的准确性。所以有很多工作在未来值得研究,进一步提高模型精度和增加透明度的模型,如构建预测模型通过整合领域知识和提取规则。提取的规则可以占输出结果与详细和明确的输入信息,这可能会进一步为控制目的连接输出结果和控制变量。这些调查被认为是有助于进一步提高预测模型的效率。

承认

这部分工作是由中国国家自然科学基金支持下批准号下11126084,山东省自然科学基金批准号ZR2011AQ003,基础研究基金批准号下的中央大学12 cx04082a,公益技术研发项目下的浙江省科学技术厅批准号2011 c31g2010136。