文摘

极端学习机(ELM),作为一种新的简单的前馈神经网络学习算法,已经广泛应用于实际应用,因为其良好的泛化性能和学习速度快。然而,榆树需要更多的隐藏节点的标准应用程序由于隐层参数的随机分配,进而有缺点如不善隐藏层稀疏,低的调整能力,和复杂的网络结构。在本文中,我们提出一个混合榆树算法基于蝙蝠和布谷鸟搜索算法优化输入重量和榆树的阈值算法。我们测试的数值实验性能函数近似下几个基准数据集和分类问题;仿真结果表明,该算法可以获得更好的预测精度比类似的算法。

1。介绍

近年来,人工智能算法已经广泛关注科学研究。机器学习是人工智能的一个重要组成部分,已广泛应用于数据挖掘(1),语音识别(2),特征选择(3,4),学习incentivization策略5),自然语言处理(6),非线性函数逼近和基准问题7]。作为机器学习的一个分支,神经网络已成功地应用在许多的学习任务数据。然而,大多数传统的神经网络使用梯度学习算法对网络训练,使网络问题,如培训效率低,速度慢,容易陷入局部最优。

极端学习机(ELM)是一种新方法的训练人工神经网络,包括有指导的训练方法,这是一种神经网络结构由黄等人提出使用单隐层前馈网络(SLFN) [8- - - - - -10]。黄等。11)认为,现有的神经网络有一些缺陷在学习速度;学习的低的主要原因是网络上的所有参数确定反复训练方法。在榆树上学习算法,重量反馈和阈值是随机生成的。然后,隐层的输出矩阵是用来计算最终的输出的重量。计算最终的权重得到使用Moore-Penrose (MP)广义逆。与其他神经网络相比,基于梯度学习算法,榆树学习算法学习速度有很大的优势,它能产生良好的泛化性能,极大地减少了计算复杂度的复杂应用程序问题(12,13]。同时,这些好的表现已经广泛推广于各种实际应用领域如生物医学(14- - - - - -16),故障诊断17,18),和室内定位系统(19,20.]。然而,由于输入参数生成随机和榆树需要大量的隐藏的神经元,输出的振幅重量时将大隐层输出矩阵的病了,这将导致模型训练陷入局部最小值和显示过度拟合的现象21]。在[22,23),一个榆树基于不同的正则化提出了有效地克服过度拟合现象。榆树算法的准确性和有效性在很大程度上取决于模型的内部参数。以选择合适的模型参数,许多研究人员使用仿生优化算法优化输入权值和阈值。

在文献[24),提出了改进的榆树算法,使用微分进化算法选择输入权重,然后使用MP广义逆分析确定权重的输出。这种改进使它获得更好的泛化性能在一个紧凑的网络。在文献[25),珊瑚礁的优化已被用于实施进化榆树权重提高这些机器的性能。一种新的进化算法,粒子群优化 ,介绍了优化输入重量和榆树的隐藏的偏见26,27),使网络具有较好的泛化性能基准的分类实验,更适合一些预测问题。一个实数编码遗传算法提出了(28选择隐藏神经元的数量和输入权重,使得分类器的泛化性能是一个最大值。但它需要人为地调整遗传算子的许多参数。布谷鸟搜索算法提出了(29日- - - - - -33),这是用于pretrain榆树确保最优的解决方案和进一步改善的准确性和稳定性 。参考文献(34,35)提出模型,它结合了改进的布谷鸟搜索算法和榆树。这两个和选择输入重量和偏见在计算输出权重,他们确保隐层输出的满列秩矩阵。

蝙蝠算法(BA) (36,37]和布谷鸟搜索算法(CS) [38,39)是两种新的启发式群体智能优化算法。蝙蝠算法有一个简单的模型的优点,快速收敛速度,强大的全局优化,等等,已广泛应用于工程优化、模式识别、和其他问题。布谷鸟搜索算法具有简单、高效的特点,一些参数,易于实现,和优秀的随机搜索路径和已经成功地应用于医学图像优化(40),多目标优化(41),图像处理42),和其他实际问题。文献[43)表明,蝙蝠算法和布谷鸟搜索算法有很大的优势在新metaheuristic遗传算法和粒子群优化环境。在这篇文章中,我们将BACS混合算法与传统的榆树并提出基于BACS榆树的优化算法。的基本思想算法是使用BACS算法训练输入权重和阈值随机生成的榆树寻找最优参数,然后确定权重的输出通过议员广义逆,以提高网络模型的收敛速度和稳定性。主要贡献如下:(1)基于群体智能优化算法的概念,介绍了如何培养榆树BACS混合算法。通过使用这种方法,输入榆树网络的权值和阈值可以合理优化解决隐层参数的随机性问题,以便网络参数可以达到最优。(2)通过改进传统的榆树BACS网络的混合算法,局部和全局优化问题是有效的平衡,并提高网络的泛化性能。(3)非线性函数拟合和分类存在的问题算法可以获得更好的逼近效果和泛化性能比其他算法。

论文的其余部分安排如下:部分2介绍了传统的榆树网络模型和算法。部分3介绍了蝙蝠算法的原理和实现步骤和布谷鸟搜索算法。极端学习机的混合算法基于蝙蝠杜鹃算法中描述部分4。一些数值试验中讨论部分5。部分6为本文提供了一些结论。

2。初步的榆树

在本节中,我们首先引入标准的榆树,榆树如图的网络模型1,其网络模型可分为三层,即输入层、隐层和输出层。所有的这些作品提供基本的理论支持下提出的新方法。 代表P任意各种样品, 和 ;传统的SLFNl可以用数学建模为隐藏节点 在哪里 是一个激活函数,可以采取各种形式,如乙状结肠功能:

或高斯函数:

上述SLFN可以近似这些样本训练过程中逐步迭代。当学习误差减少到零, ,榆树的学习能力是最优的,然后存在 和这样 在哪里 是输入重量,哪个连接 - - - - - -隐藏的节点,提出了图1, 的门槛 - - - - - -th隐藏节点和是随机生成的, 是输出的重量吗 - - - - - -th隐藏节点代表实际的输入输出在网络。

上面的矩阵方程可以写成下面的形式: 在哪里 在哪里被称为隐藏层和输出矩阵代表最终的输出矩阵。榆树的基本原理是获取输出的重量通过公式 。

在实际训练中,节点的数量在隐藏层通常是不到训练样本的数量 。因此,对激活函数可微的前提,输入权重和阈值随机选择之前培训期间应保持不变。通过这种方式,可以获得网络的输出的重量通过求解的最小二乘线性系统:

和明确的解决方案 在哪里代表了议员的广义逆(44]。因此,榆树可以描述如下(算法1)。

3所示。算法描述

3.1。蝙蝠算法

蝙蝠(BA)算法是一种群体智能优化算法,模拟了蝙蝠捕食行为。因为它的简单模型,收敛速度快,和强大的全局优化,它已经被广泛应用于数据挖掘、无线传感器、和电力系统。然而,也有一些问题在实际应用中,如容易过早收敛性和优化精度低。

蝙蝠算法确定最优蝙蝠在当前搜索空间通过调整频率、波长和响度,然后得到优化问题的最优解。对于这个算法,为了模拟这种捕食行为,在这个过程中提出以下假设:(1)所有蝙蝠个人可以使用回声定位感知之间的距离和区分不同的目标和障碍在一种特殊的方式(2)蝙蝠飞随机位置速度 ,发现目标频率 ,可变波长 ,和响度 ,并自动调整波长(或频率)和脉冲发射率 通过目标的距离等等(3)假设的响度变化最大值的最小值

假设,在搜索空间维度 ,迭代的数量 ,更新公式的频率、速度和位置的蝙蝠人在 - - - - - -th生成如下: 在哪里代表的频率 - - - - - -蝙蝠及其调整范围 , 是一个遵循一个均匀分布的随机数在[0,1],然后呢代表当前的最优解。

对于当前的本地搜索领域,一个随机数是生成的。如果 ,当前新的解决方案生成的随机干扰的最优解决方案。更新公式如下: 在哪里是一个随机数(−1,1)和代表人口的平均响度蝙蝠。

蝙蝠是不断接近目标时,其响度将降至一个固定值,在这个时候,将继续增加。随机生成一个数字 ;如果 和新健身价值 ,(所产生的新的解决方案12)被接受;这是 。响度的更新公式和脉搏率第一个蝙蝠如下: 在哪里代表了响度衰减系数 。 代表了脉冲频率增强系数和 。

3.2。布谷鸟搜索算法

布谷鸟搜索算法(CS)是布谷鸟的简化和模拟窝发现和产卵行为。杜鹃的特殊习惯寄生沉思;也就是说,其他鸟类孵化和代表他们的窝。为了使这种现象很难发现,鸟会首先找到一只鸟具有类似特征的自己的蛋作为东道主在繁殖期间。后被主机鸟,鸡蛋被移除或主机重建巢。为了模拟其生殖行为,在这个过程中提出以下假设:(1)每个布谷鸟每次只产一只蛋和随机选择巢孵化(2)最好的燕窝是保留给下一代(3)可用的数量鸟的巢穴保持不变;有一个概率( )主机鸟发现外国鸡蛋,

布谷鸟搜索算法,随机初始化鸟巢的位置 - - - - - -维搜索空间,让下一代的最佳位置。生成的新职位是利维飞行。《飞越疯人院》搜索路径和位置更新公式如下: 在哪里代表的位置 - - - - - -鸟巢的 - - - - - -一代,代表了步长因子和控制 , 是点对点的乘法,是随机搜索路径, 。

位置更新后,比较的随机数字和 ,和 ;如果 ,然后使用随机游走方法改变位置,以保留一套更好的价值观和获取当前最优鸟巢位置,通过迭代最优解。更新公式如下: 在哪里代表了均匀分布比例因子在[0,1],和代表的随机解 - - - - - -一代。

3.3。蝙蝠杜鹃混合算法

虽然蝙蝠算法收敛精度低,其全局搜索能力强;为了提高质量的杜鹃人口,蝙蝠算法集成到布谷鸟算法优化,和蝙蝠杜鹃混合算法提出了()。对于这个算法,巢的位置获得的杜鹃算法不能直接用作初始位置,但蝙蝠算法继续优化后的最优值位置更新,大大加快算法的全局搜索能力。因此,集成的两种算法有效地平衡本地和全局优化的问题。在此基础上,蝙蝠布谷鸟混合算法的具体步骤如表所示1。

4所示。混合算法基于蝙蝠布谷鸟的极限学习机算法

极端学习机(ELM)选择隐层参数随机和不需要更新迭代训练期间,可以确定重量和输出的最小二乘解,大大加快了学习过程。尽管榆树克服了传统的梯度下降算法的缺点,隐藏节点的数量仍然需要提前设置,这可能导致许多冗余节点。因此,榆树需要更多随机隐藏节点在某些应用程序中比传统的神经网络算法。然而,这将导致减少隐层的稀疏和监管能力,网络结构的复杂性和训练时间的延长,最后影响网络的泛化能力和鲁棒性。

•巴算法具有强大的搜索精度的特点,收敛速度快,不易陷入局部最佳和有效地平衡局部和全局搜索。使用这种优化能力,榆树的隐层参数选择适当地解决问题,隐层参数需要优化由于随机性。因此,本文认为BACS算法优化榆树的使用,提出一种混合算法基于蝙蝠布谷鸟的极端学习机算法 。我们第一次使用BACS算法训练输入权重和阈值随机生成的榆树。最初人口作为隐层参数的榆树,巴和适应度函数的算法进行迭代优化。个人的位置的人口是不断调整来找到最优隐层参数,直到达到最大迭代次数或搜索精度。在迭代结束时,获得最佳个人位置,优化结果作为输入榆树训练网络的权值和阈值,以提高网络模型的收敛速度和稳定性。为了防止输出饱和的问题引起的过度的输入值,我们使用以下公式规范化数据: 在哪里原始数据和吗和代表原始数据的最大值和最小值,分别。

接下来,榆树的输入权值和阈值是由杜鹃个人使用真正的编码规则。的基础上2,输入层和隐层的神经元数量是固定的和 ,分别。因此,布谷鸟个体的编码长度的计算公式

个人的位置可以表示为杜鹃

输入重量和阈值榆树映射到单个位置的布谷鸟,人口随机初始化,获得随机个体的输入权值和阈值被分配到榆树,放置在榆树网络。在这里,作业的输入权值和阈值,分别表示如下:

在榆树的训练样本过程,为了客观地评价预测性能,我们使用均方根误差作为评价指标的模型预测,因此,适应度函数的设计 在哪里样品的总数量, 代表样本的实际输出值, 代表样本的期望输出值。表2显示的具体实现步骤算法。

5。实验结果

为了验证该算法的性能,一个函数拟合和几个分类问题是测试在这一节中,和的有效性通过比较它与测试 , ,和算法。

5.1。函数拟合

为了声明该算法的性能更直观、有效,我们考虑采用 , , ,和近似的函数,然后比较函数逼近能力。的表达式函数定义如下:

5000年的训练集和测试集样本选择,分别输入变量服从均匀分布的区间 。为了增加真实性,提高算法的泛化性能,随机噪声被加入到训练样本,而仍无噪声的测试数据。对不同的优化方法,并给出了初始参数设置表3,设置最大迭代数 。激活函数的RBF函数,和RMSE适应度函数。为了比较各算法的结果更客观,每个实验运行20次,然后取其平均值。

隐藏节点的数量的选择将直接影响模型的性能。因此,实验是由调整隐藏节点的数量,和测试结果见表4。结果表明,函数的拟合效果最好的隐藏节点的数量是12时,和训练和测试的均方误差往往是随着节点的增加稳定。确保算法的性能,降低模型的复杂度,榆树优化网络的结构可以被确定为1-12-1。

然后,根据上述参数值的选择,榆树上进行了仿真实验, , ,和算法。从图可以看出2近似的效果算法优于其他算法。此外,每一个算法的性能比较如表所示5。根据显示的结果,测试的RMSE值算法是最小的,这意味着算法具有更高的精度和更好的稳定性。可以从表中的训练时间,由于榆树隐层参数的随机性,它有一个非常快的学习速度,但拟合效果并不理想。

结果还表明,三种优化方法都是有效的。但是有小的区别在训练和测试之间的时间 , ,和算法和学习效率的优势没有体现。然而,榆树模型基于BACS算法大大提高了收敛函数拟合的准确性,因此,计算效率也在可接受的范围之内的。

5.2。分类问题

在本节中,为了更准确地评价的有效性算法,算法的性能将比较在多个分类问题。表中给出了数据集的相关信息6。每组的初始参数设置与上面是相一致的。最大迭代次数 和激活函数是乙状结肠函数。每组的实验运行20次平均值。

图3显示了算法的分类精度的比较在不同的数据集的节点数量的变化。图3(一个)基于乳腺癌的变化趋势;从图可以看出,榆树最需要节点达到相对较高的精度,而其他算法都达到最高的精度,当节点是20,并进一步来说,是略好。图3 (b)基于心脏衰竭的变化趋势。从图可以看出,四个算法都表现出相似的曲线趋势当隐藏节点数量的增加,他们都有很好的精度,当节点是20,但在这个时候,具有最高价值的84.23%。图3 (c)基于虹膜的变化趋势。有最好的精度,当节点是10,这是5比其他算法更少的节点时获得最大的价值。图3 (d)基于脊柱的变化趋势。从图可以看出只需要的最小节点数来获得最好的结果,和准确性价值波动小,这表明该算法可以获得更好的稳定性。

接下来,为了更好地解释的准确性算法在分类实验中,人物4介绍了健身的曲线 , ,和算法在四个分类问题,分别。保持一致性的实验环境,为每个问题是隐藏节点的数量设置为20日20日15日和30日分别,而其他参数不变。从数据可以看出4(一)- - - - - -4 (d)为不同的数据集,而和算法,算法可以获得最好的适应度函数值的情况下的迭代次数。这是因为当BACS算法优化榆树的输入权值和阈值,它有一个强大的局部优化能力在搜索的初始阶段,充分利用英航算法的全局优化能力。两者的结合大大提高了收敛精度。

基于上述分析,四个算法的性能结果隐藏节点的数量,培训时间,培训和测试精度给出的实验。它可以清楚地看到从表7这一算法可以达到最好的测试精度最小数量的隐藏节点下所有的四个数据集,这表明该算法可以有效地优化参数的隐藏层榆树模型通过使用BACS算法然后获得一个更合适的简化网络结构。同时,最好的泛化性能和分类能力。在计算时间和效率方面,榆树的隐层参数不需要反复调整,所以学习速度非常快,但其分类的成功率很低。在表7,我们没有列出测试时间数据,因为价值观的四个算法在不同数据集的实验结果非常低,和大小相似;也就是说,数据对整个实验结果的影响不能被视为一个评估项目。与其他两种优化方法相比,虽然算法在学习效率稍差,它显示了分类精度的优点。

6。结论

在本文中,我们提出一个混合极限学习机算法基于蝙蝠和布谷鸟搜索算法来优化传统榆树的输入权重和阈值算法,从而提高传统榆树的缺点,比如贫穷稀疏的隐藏层,调整能力低,而复杂的网络结构。同时,BACS算法具有强大的搜索精度的特点,收敛速度快,不易陷入局部最优,这有效地平衡局部和全局优化问题。因此,提出BACS-ELM算法可以有效地解决优化问题由于隐层参数的随机性,提高网络的泛化性能。

实验结果表明,该BACS-ELM算法优于其他算法函数拟合和分类。在未来,我们考虑延长BACS-ELM算法实际应用问题和解决更广泛的一类优化问题更大。

数据可用性

可以按照客户要求所有的数据都包含在本研究通过与相应的作者。

信息披露

这个手稿是作者的原创作品和尚未发表也没有同时提交。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是由特殊的科学研究计划的中国陕西省教育局(没有。18 jk0344)和中国陕西省自然科学基础研究计划(没有。2021年jm - 446)。