文摘

内核极端学习机(凯尔姆经常)是一种新型前馈神经网络,这是广泛应用于分类问题。在某种程度上,它解决了现有的问题无效节点和计算复杂度大榆树。然而,传统凯尔姆经常分类器通常有一个低测试精度时面临着多类分类问题。为了解决上述问题,一种新的分类器,墨西哥帽小波凯尔姆经常分类器,提出了。该分类器成功地提高了训练精度,减少了训练时间在多类分类问题。此外,墨西哥帽小波的有效性作为一个内核函数榆树的严格证明。不同的数据集上实验结果表明,该分类器的性能明显优于比较分类器。

1。介绍

极端的学习机器,由黄提出et al。12004年),是一个单隐层的前馈神经网络模型。在这个模型中,输入重量和偏见隐藏层随机初始化,和输出权重获得通过使用Moore-Penrose隐层输出矩阵的广义逆。与传统的BP神经网络相比,榆树有更快的学习速度,更高的测试精度,降低计算复杂度。因此,榆树广泛用于销售预测(2),图像质量评估(3[],功率损耗分析4),等等。2006年,黄等。5]提出了增量极端学习机(I-ELM)不断增加隐层节点的数量,提高训练的准确性。随后,李6]I-ELM与凸优化学习方法结合起来,提出ECI-ELM 2014年,减少了I-ELM的训练时间。随机选择权重的改进克服了弱点I-ELM,最终提高了训练的准确性。与此同时,王、张(7]gram - schmidt正交化方法引入I-ELM并保存I-ELM很大程度上的训练时间。但总的来说,I-ELM及其品种只有提高训练精度。隐层节点的数量很可能超过样品的数量。因此,I-ELM大大提高了训练时间。在另一个角度来说,为了实现更高的训练精度,荣et al。8)使用统计方法来衡量榆树的隐藏节点的重要性并提出P-ELM在2008年。然后,在2010年,偷窃等。9]OP-ELM提议,这是一个提高P-ELM。此外,Akusok et al。10)在2015年提出了一个高性能的榆树模型,它提供了一个坚实的基础对于解决许多大数据的挑战。然而,这些方法已经改变了输入权重的随机选择的特征。此外,线性加权映射方法在原始榆树不是取代。

因此,榆树和其品种都有一些不可避免的问题。由于随机选择的输入权重,一些隐藏的节点可以输入体重非常接近0,这是通常被称为死亡节点。这种现象会导致这些节点的最小的影响,最终影响输出精度。增加样本的数量,隐藏节点数量也变得很大。因此,一些高维点积操作将出现在训练过程。最终,这将导致计算复杂性的增加和训练时间。这个问题通常称为维爆炸。非线性样本的线性加权映射方法通常有不可避免的误差,从而导致减少的训练精度。

为了解决上述问题,黄等。11]提出了内核极端学习机(凯尔姆经常)在2012年,利用核函数代替线性加权的映射方法。最初,他们选择的核函数是高斯函数。虽然[11)解决了爆炸死亡节点和维度的问题在某种意义上,传统的核函数的性能多类分类问题仍然不是很好。从[12,13),我们知道小波函数可以用于支持向量机和榆树,有很强的拟合能力。因此,在本文中,我们提出一个墨西哥帽小波内核榆树(MHW-KELM)分类器,它有效地解决了传统分类器的问题。与传统凯尔姆经常相比,MHW-KELM分类器达到更好的结果在处理多类分类问题。正因为如此,新内核函数提高了训练的准确性。

榆树的基本原理和一些定理部分所示2这篇论文。节3内核榆树,墨西哥帽小波,提出了,并证明了其有效性。绩效评估提出了部分4。结论部分给出5。

2。初步工作

2.1。榆树模型

让我们假设有任意不同的样本,,。如果隐藏的节点的数量和激活函数,然后我们可以随机选择输入权重的初始值和隐藏的偏见。所以,榆树的隐层输出功能。它显示为 在哪里,,。

如果输出权重根据证据,由黄等。1),的规范是小,榆树的泛化性能更好。因此,权重的输出可以获得通过的最小二乘解问题 在哪里是th隐层输出向量,是th标签向量,之间的错误吗th网络输出向量和标签向量。

根据马理论,上述问题可以转化为一个拉格朗日函数 拉格朗日乘数法在每一个地方对应于一个样本。偏导数的计算(3),我们可以得到下列方程组: 在哪里。和的最小二乘解可以通过计算获得的三个方程(4),(4 b)和(4摄氏度)。解决方案是 和榆树的输出功能

2.2。平移不变的内核定理

核函数方法通常用于支持向量机的方法取代点积。根据美世定理(见[14]),通过引入核函数,我们可以在榆树取代点积的计算。为了减少计算复杂度高空间的点积,它是必要的,以确保只是一个映射方法两个输入样本的相对位置(见(7))。

内核函数满足(7)被称为平移不变的内核函数。事实上,很难证明一个平移不变的内核函数满足Mercer定理。幸运的是,对于平移不变的内核函数,下面的定理提供了一个充分必要条件使它成为一个容许内核支持向量。

定理1(平移不变的内核定理;参见[15,16])。平移不变的内核是一个容许内核支持向量,当且仅当傅里叶变换 是负的。

核函数选择的榆树是一样的支持向量机方法。因此,上面的定理也可以用来确定一个函数是一个容许榆树内核。常用的平移不变的内核函数是高斯核函数和多项式核函数。在这两个函数,高斯核函数是一种平移不变的内核函数。的表达可以作为两个内核函数

在(9),是高斯宽度和核心是一个可调多项式幂指数。

3所示。墨西哥帽小波内核榆树

3.1。内核榆树

在最初的榆树模型中,线性加权隐藏输出函数通常是不满意的映射方法非线性样本。为了解决这个问题,我们可以更换和在(6用核函数)。结果是 在哪里的核函数矩阵(见(11))。

3.2。墨西哥帽小波核函数

在本部分中,提出了墨西哥帽小波核函数。它也证明了墨西哥帽小波函数是一个容许榆树内核。

定理2(见[12])。让母小波。让和分别表示扩张和翻译。如果,然后点积小波内核 如果它满足平移不变的内核定理,可以得到下面的平移不变的内核函数:

定理的证明2给出了在12];我们不会重蹈覆辙。我们使用墨西哥帽小波作为小波(见母亲(14))。然后,墨西哥帽小波核函数派生(见(15))。本文还证明了墨西哥帽小波满足平移不变的内核定理。换句话说,它也是一个容许榆树内核。

引理3。作为一种平移不变的内核函数,墨西哥帽小波是一个容许榆树内核。

证明。首先,它应该是证明墨西哥帽小波的傅里叶变换是负的(见(16))。 方程(17)可以分解为一组积分不等式(见(19))。和推导过程 积分项(17)可以写成 在哪里积分项(17), 根据积分的平移不变性,它是容易(21通过使用部分积分法)。答案是 用(21)(18),我们有 然后,用(22)(17),我们可以得到的傅里叶变换 从(23),众所周知,如果,。因此,根据平移不变的内核定理,墨西哥帽小波是一个容许榆树内核。

3.3。MHW-KELM分类器

我们已经证明,墨西哥帽小波是一个容许榆树内核。所以,我们可以用(15)(10MHW-KELM)和构造分类器。二元分类问题,新的分类器的输出函数

除此之外,这个分类器也可以用于多类分类问题。和输出函数

方程(25所表达的)意味着分类结果输出向量索引值的最大值。此外,我们可以把非负常数参数墨西哥帽小波和惩罚因子到一个个人和使用一些进化算法如算法(17,18找到这些参数的最佳值。接下来,我们将分析提出了分类器的性能。

4所示。绩效评估

本节将分析MHW-KELM的性能,比较它与传统Gauss-KELM Poly-KELM,原始的榆树,BP分类器。所有这些算法R2014a MATLAB软件上运行。操作环境酷睿i7, 2.6 GHz CPU、8 G RAM。我们选择了共轭梯度算法优化BP神经网络,这是比普通的BP神经网络。为了得到性能优良,隐藏节点的原始榆树和英国石油公司被选中作为训练样本的100%和30%,分别。在实验中使用的数据集是来自UCI数据库(19]。鲍鱼,汽车MPG、银行、评估、葡萄酒,葡萄酒的质量,虹膜,玻璃,形象,酵母,动物园,和信。这12个数据集的基本特性如表所示1。

然后,我们使用12表中给出的数据集1测试运行时间和培训5算法的准确性。每个数据集将由每个算法测试100次。每一次的训练样本将总样本中随机选择的。为了进行比较严格的,成对的学生的测试执行,使两组来自的概率分布与平等的意思。表2- - - - - -13记录这些实验的结果,每个表对应一个数据集。所有表有四个元素,它代表的意思是准确性,标准差,成对的学生的测试,获得的价值和运行时间。对于每个数据集,数据和粗体意味着这是最好的准确性或最好的运行时间(值= 1.00),而与斜体意味着没有统计数据差异这一个最好的准确性或非常接近的最佳时间(价值0.05)。

通过运行时间在所有表行图,我们可以得到图1。在图1,水平坐标对应于训练样本的数量,50岁,100年,200年,1000年和2000年,分别。不失一般性,我们可以选择五个数据集,动物园,形象,汽车MPG,汽车评估、鲍鱼,不同数量的样品的表征。垂直坐标显示了每个数据集的平均运行时间。此外,MHW-KELM的运行时间和Gauss-KELM非常接近。所以,我们只画MHW-KELM的运行时间。四行是不同的风格。

从所有表和图1,很明显看到培训数量大于1000时,与其他算法相比,MHW-KELM显示运行时间中一个明显的优势。训练数据集的数量超过1000,如鲍鱼、银行、汽车评估、葡萄酒质量、酵母、和信,我们可以获得MHW-KELM的运行时间和Gauss-KELM小于其他算法。这意味着平移不变的内核,优于其他内核。因此,可以得出结论,平移不变的选择核函数可以有效地缩短运行时间,培训规模足够大。

从表2- - - - - -13,它可以明显看到MHW-KELM比其他算法的分类性能当类别的数量超过4。成对的学生的测试的结果表明,MHW-KELM的性能明显不同(价值0.05)从原来的榆树和SCG-BP在所有的数据集,也不同于Gauss-KELM Poly-KELM汽车MPG,汽车评价,葡萄酒的质量和形象。这四个数据集有一个共同点,这是事实,这些数据集的类别数量都超过4。此外,类别数小于4时,如鲍鱼、银行、酒、蝴蝶花、酵母、和信,MHW-KELM仍然Gauss-KELM或Poly-KELM也有类似的表现。因此,MHW-KELM是一个很好的分类器在多类分类问题,比传统内核榆树。这意味着墨西哥帽小波函数是一个榆树内核比高斯函数。

5。结论

在本文中,我们提出一个分类器,墨西哥帽小波内核榆树分类器,它可以应用于多类分类问题。除此之外,它的有效性作为一个容许榆树内核也证明。这种分类器解决了不可避免的问题,原来的榆树代替线性加权和墨西哥帽小波映射方法。实验结果表明,MHW-KELM分类器的训练时间远小于原来的榆树,解决问题的维度爆炸最初的榆树。与此同时,这个分类器的训练精度优于传统的Gauss-KELM和原始榆树在处理多类分类问题。

在未来的工作中,为了减少不平等的影响的训练数据的性能,我们计划利用提出的提高加权榆树李et al。20.提出优化分类器。此外,从本文的实验结果,可以看出,单一核函数并不能满足所有人的需求数据集。所以,我们准备将多个内核函数构造混合内核榆树,为了适应不同的情况。

相互竞争的利益

作者宣称没有利益冲突有关的出版。

确认

作者欣然承认的支持以下基础:中国973项目(2013 cb733605),中国国家自然科学基金(21176073和21176073),中央大学和基础研究基金。