进化计算及其应用在神经和模糊系统

文摘

神经网络和模糊系统对系统建模两个软计算范例。调整神经或优化模糊系统需要解决两个问题:结构优化和参数优化。结构优化是一个离散优化问题,很难解决使用传统的优化技术。参数优化可以解决使用传统的优化技术,但解决方案可能很容易被困在一个糟糕的局部最优。进化计算是一个通用的随机全局优化方法公认的新达尔文范式下,这是一个经典的达尔文的进化理论,读selectionism,孟德尔的遗传学。进化算法是一个主要的方法来适应和优化。在本文中,我们首先引入进化算法强调遗传算法和进化策略。其他进化算法如遗传编程,进化编程,粒子群优化,免疫算法和蚁群优化也进行了描述。还将讨论一些话题属于进化算法,并比较进化算法和模拟退火。最后,东亚峰会的应用学习的神经网络以及模糊系统的结构和参数适应也详细。

1。介绍

生物的适应他们的环境两个过程之间的相互作用的结果,即进化和学习。与进化,这是基于达尔文模型的一个物种,学习是基于大脑的联结主义模型。进化是一个缓慢的随机过程在人口水平决定一个物种的基本结构,而学习是一个逐步改善的过程个体适应环境的能力,优化个人的结构。进化算法(EAs)由达尔文模型随机搜索方法的启发,而神经网络学习模型基于联结主义模型。联结主义相比,基于模型的学习过程,模糊系统是人类认知的一个高级抽象。

神经网络、模糊系统、进化算法是计算智能的三大软计算范例。神经网络和模糊系统两大系统建模方法。采用神经网络和模糊系统涉及两个优化问题的解决方案:结构优化和参数优化。结构优化是第一步,试图找到一个最佳的系统结构;它是一个离散的组合优化问题和很难解决使用传统的微积分优化技术。系统结构确定后,应用于找到最优参数优化系统参数在一个连续的参数空间。参数优化可以解决用传统优化技术;然而,解决方案可能很容易被困在一个糟糕的局部最优。进化计算是特别适合改编(学习)的神经和模糊系统。

进化计算是一个主要的研究领域为适应和优化。这种方法来源于达尔文的自然选择原则,也叫适者生存。在达尔文的模型中,知识被一个人不能被转移到其基因组,然后传递给下一代。结合学习和发展,体现了进化神经网络,对动态环境具有更好的适应性(1,2]。学习的相互作用在进化加速进化,这可以采取的形式拉马克的进化或者是基于鲍德温的效果3]。拉马克的策略允许获得的遗传特征在个体生命的遗传密码,这样孩子可以继承其特点。虽然拉马克学说的理论是生物毫无根据的,东亚峰会人工生物系统可以从中受益,并拉马克学说的理论正确地描述人类文化的演变。另一方面,鲍德温的生物效应是合理的,在学习使个体更好地适应他们的环境,因此,提高繁殖概率。学习实际上消除了健身景观,从而促进进化。健身景观被称为组所有可能的基因型和各自的健身价值。学习行为成为后代的本能行为,并没有直接的基因型的改变。鲍德温的效果完全是达尔文,虽然后果类似的拉马克的进化4]。

东亚峰会特别有用的优化问题域,微积分是很难实现或者是不适用的。在东亚峰会,个人在人群中竞争并彼此交换信息通过使用三个基本遗传算子,即交叉或重组、突变、选择。给出了一个典型的EA的程序算法1。

算法EA
(1)设置。
(2)随机初始种群。
(3)重复,直到满足终止准则:
(一)评估每个人的健康。
(b)选择个人作为父母基于健康。
(c)应用交叉的父母,并生成。
(d)应用突变,并生成。
(e)设置。

EA方法是一个通用的随机全局搜索。它执行搜索在一个大型的、复杂的、不连续的,nondifferentiable,多通道表面,可以可靠和快速解决难题。它总是可以达到nearoptimum或全球最佳。东亚峰会是可扩展的和容易杂交。东亚峰会具有内在的并行性,同时评估测点。评价函数必须计算所有个人的人口,导致计算负荷远高于这一个简单的随机搜索或一个梯度搜索。

我们现在给一些术语用于EA文学类比生物同行(5,6]。一组人在一代被称为人口,,在那里是个人,也称为染色体,有时被称为一个基因组,人口的规模。染色体是经常在东亚峰会表示为一个字符串。每一个染色体包含一个字符串的参数,被称为基因,也就是说,,在那里染色体是基因的数量。每个基因编码一个参数问题的染色体。一个基因通常是编码为一个二进制字符串或一个实数。一个基因是等位基因的价值。一个基因型代表编码解决方案,即染色体。一个表型代表一个解码的解决方案。一组基因型的映射一组表型被称为genotype-phenotype地图。健身目标(健身)函数的值是染色体,即。所有可能的基因型和各自的集合称为健康值健身景观。自然选择导致特征有助于健身时变得更加普遍。自然选择和人工选择不同。遗传漂变和基因流是另外两个在生物进化机制。基因流,也被称为遗传迁移人口的迁移基因从一个到另一个地方。终止一个EA终止准则是必要的,它可以选择最大数量的后代或个体的基因型的收敛。融合基因型发生在所有的位或值在同一位置的字符串是相同的。没有基因型的表型收敛收敛也是可能的。

本文组织如下。节2,我们引入了遗传算法(GA)。简单的遗传算法,实数编码遗传算法、天然气为序列优化,一些改进的GA的变体,平行的气体,和二维气体。部分3处理(ESs)的进化策略。ES之间的比较和GA也在部分3。其他三个东亚峰会,即遗传编程(GP),进化编程(EP),迷因算法,介绍了部分4。节中介绍了几个理论主题5。其他三个人群为基础的优化方法包括粒子群优化(PSO),免疫算法和蚁群优化(ACO)治疗6。多目标、多通道和约束满足优化处理的部分7。节8,模糊逻辑是用来构造进化算法。比较EA和模拟退火(SA)节中给出9。在部分10来12,东亚峰会的应用神经网络的建设,模糊系统、神经模糊系统,分别描述。总结了部分13。

2。遗传算法

遗传算法(7)是最受欢迎的EA。一个简单的遗传算法由一个人口发生器和选择器,一个健身估计量,和三个遗传算子,即选择、变异、交叉。变异算子的反转有一定概率随机选择位。的交叉算子结合部分染色体的两个人并生成两个新的后代,用于取代不健康的人的人口。搜索过程终止当某些满足终止准则。

2.1。编码/解码

遗传算法使用二进制编码。对于一个染色体,每一个基因,有其价值(等位基因)编码的二进制串位,总长度的染色体。bitlength的染色体,有可能的值。如果有一个编码,,那么是由解码功能

在二进制编码,有所谓的汉明悬崖现象,大型之间的汉明距离相邻整数的二进制代码。格雷编码是另一种方法向比特编码的参数。一个Gray-encoded整数变量的十进制值增加或减少1如果只改变一点。然而,汉明距离并不单调增加整数值的差异。基于马尔可夫链的分析,几乎没有区别二进制和格雷编码的性能对于所有可能的函数(8]。同时,格雷编码不一定提高性能函数有更少的局部最小值的灰色表示比二进制表示(8]。这重申没有免费的午餐定理9];即没有表现优越的所有类的问题。二进制和灰色编码之间的转换是制定(6,8,10]。

二进制编码是一个非线性编码,这是不可取的,当接近最优。天然气通常用固定长度的二进制编码。也有一些变长编码方法,如编码值和染色体中的每个点的位置(11)和三角洲编码(12]。

2.2。选择/繁殖

遗传算法选择提供了驱动力。从一个人口,这些人具有较强的健身会选择繁殖,生成下一代的人口,。染色体高的健身选择和分配更高的繁殖的可能性。选择机制分为两个阶段,即父母的选择和替换策略。

2.2.1。采样机制

抽样可以在一个随机的染色体,确定性或混合方式。在传统选择方法中,轮盘赌选择(7)是一个随机的方法,而排名选择(13)和锦标赛选择(14)混合方法。轮盘赌选择(7,14)是一个简单的和受欢迎的选择方案。段的轮盘是分配给个人的人口比例个人的相对健康的分数。选择可以通过指定一个染色体一个概率因此,染色体与一个更大的健身有可能获得更多的后代。一般来说,人口规模是相对较小的,这fitness-proportional选择可以选择disportionately大量不合格的染色体。这容易引起过早收敛,当所有的个人历经几代人口变得非常相似。遗传算法,因此,就会演变成蒙特卡罗的类型搜索方法。一些积极的功能扩展原始目标函数是一个方法来缓解这些问题,这可以防止后代染色体产生太多期待的最好(14]。

排名选择(13)可以消除fitness-proportional选择中固有的一些问题。它可以保持恒定的选择压力。个体排序并分配一个从1到排名根据他们的健身价值。选择概率线性分配根据他们的排名(6,13]。锦标赛选择(14涉及多个,通常2个人。在每个比赛,只有表现最好的个人进入交配池。比赛将反复进行次交配池,直到填满。由于其计算成本便宜,二进制比赛几乎相当于线性排名的选择压力。精英主义的策略(15]总是最好的一代个人复制到下一代。虽然精英主义可能会增加过早收敛的可能性,它提高了遗传算法在大多数情况下的性能,因此,集成在大多数遗传算法实现16]。

2.2.2。更换策略

替换策略决定如何许多个人的人口将取代生成新一代的人口。一些替代策略完成世代替换7),取代随机(7),替代最差,取代古老,和删除杀死比赛(17]。在拥挤的策略18),一个后代取代的父母谁最像使用汉明距离的相似性度量;这有效地消除了过早收敛,让伟大的探索能力。所有这些替代策略可能导致一代最好的个人情况可能无法繁殖。在[19),可以解决这个问题通过引入到系统一个新的变量存储到目前为止获得的最好的个人。精英主义的策略治疗同样的问题在不改变系统状态(16]。

2.3。交叉

交叉,主要探索算子的遗传算法,搜索的范围可能的解决方案基于现有的解决方案。交叉,作为一个二元运算符,随机选择两个父染色体位置之间交流信息并产生两个新的后代。一些常用的交叉技术的一点7],两点[18,多点20.),和统一21跨界车。分频点通常是相同的,为父染色体随机位置。

一点交叉需要父染色体上的一个交叉点,除此之外的所有数据点两个父染色体之间的交换。一点交叉容易模型分析,它生成倾向位结束的字符串。两点交叉选择父染色体上的两个点,一切两点之间的交换。模式中断这个方法会导致小于一点交叉而产生偏差在不同的层面上,因为它并不是字符串的所有地区样本同样,很少采样和字符串的结束。这个问题可以解决由包装字符串。多点交叉对每个字符串的环位除以跨界点段,每个段交换在一个固定的概率。统一的跨界交流的一个字符串而不是段。个人在父染色体比较,和每个nonmatching位与一个固定的概率,概率交换通常0.5。统一的交叉是无偏的。半均匀交叉(HUX) [22)完全互换nonmatching比特的一半。

一点和两点交叉操作保护模式由于中断率低但探索性较低。相比之下,均匀交叉比较探索但破坏性的自然很高。均匀交叉更适合小种群,而人口众多的两点交叉更好。两点交叉执行始终比一点交叉(21]。然而,当所有的染色体是相似甚至相同的人群中,很难通过交叉生成一个新的结构,和过早收敛。

2.4。突变

突变是一个一元运算符,需要只有一个父母产生后代。变异算子通常选择一个随机的位置随机的染色体和替换相应的基因或一些其他信息。突变有助于恢复失去的等位基因,从而引入了遗传多样性的人口,防止过早收敛的发生。

突变可以分为点突变和大规模突变。点突变改变一个位置,可以替换,删除或插入的基因。大规模基因突变可以类似于点突变但同时运作多个职位,一度与多个基因或碎片,甚至染色体规模。功能,突变引入hillclimbing必要数量的噪音。两个额外的大型突变算子反演和重排操作符(7,14]。交换算子是最原始的重新排序操作,在此基础上可以得到很多新的一元运算符包括反转。

高突变率可以引导遗传搜索随机搜索。高变异率的值可能会改变一个重要一些,因此,减缓快速收敛的一个好的解决方案或减缓的过程的最后阶段的迭代收敛性。因此,突变是偶尔在GA。简单遗传算法中变异通常被选为一个替换操作,一个随机的变化在一次染色体。一个经验公式,可以用作突变的概率在一个起点,在那里一代又一代的总数,字符串长度(23]。

突变的随机性质和发生概率低使GA的收敛缓慢。可以加快搜索过程通过使用定向突变技术(24],确定性引入了新的点的人口使用梯度或外推到目前为止获得的信息。人们普遍同意,跨界扮演着更重要的角色,如果人口规模大,和变异更重要的是如果人口规模很小(25]。

2.5。其他遗传算子

大量的非规范遗传算子在文献中描述。最著名的是爬山运营商(26),通常梯度下降的。在并行遗传算法(PGA) [26),部分或全部个人的人口由hillclimbing改善他们的健康。给定一个个体,这个操作符就会找到另一个类似的个人代表一个局部最小值接近于原始个人在解空间。遗传算子和本地搜索可以基于拉马克的策略或鲍德温的效果。

有些攀岩者(27)是一个简单的随机bit-flipping算子。健身是计算一个初始字符串。的字符串是随机选择和翻转,健身是计算的新观点。如果健身低于其先前的值,新的字符串变成当前字符串。重复这个操作,直到没有一点翻转改善健康。基于位下降算法是几倍的速度比一个有效的遗传算法(27]。它也可以用作本地搜索算子的遗传算法。

大多数选择方案是基于个人的健康。entropy-Boltzmann选择方法(28),由于熵和重要抽样蒙特卡罗模拟方法,往往逃离当地的最适条件。它能避免过早收敛系统。自适应健身包括常见的健身一起熵变化由于环境,可能会有所不同从一代又一代。

2.6。实数编码遗传算法连续数值优化

浮点和定点实数编码技术是两个计算机表示方法,广泛应用在连续数值优化。定点编码允许渐进的突变比浮点编码单个位的变化,和定点编码在大多数情况下是充分的。浮点编码能够代表大或未知的领域,而二进制和定点技术可能不得不牺牲准确性大域。使用浮点和定点的实数编码遗传算法编码有优势的二进制编码遗传算法在函数优化[剥削当地连续性29日]。实数编码遗传算法是更快、更一致的运行运行并提供更高的精度比二进制编码遗传算法(30.]。

2.6.1。交叉

在类比为二进制编码遗传算法的交叉算子,实数编码遗传算法的交叉算子如一点,两点,多点和均匀交叉操作符也定义(21]。每个基因()在一个实数编码染色体对应于二进制编码染色体。这些交叉算子的混合均匀选择两个点之间的值代表双亲(31日]。交叉也可以定义为两个父向量的线性组合和并生成两个后代。这可以通过对称插值的两个父染色体(6,32)或推断向更好的个人(6,10,30.]。在[33),而产生的交叉算子定义为四个染色体两个父母根据策略相结合的最大最小值,或平均所有的参数编码的染色体和向量元素的上下边界对应的参数,分别。这些潜在的后代在传播领域。只有最大的健身作为交叉操作的后代。

2.6.2。突变

突变可以由替换一个或多个基因,与随机选择的一个实数域的相应参数。流行的均匀变异替代品的价值之间的一个随机选择的基因与一个随机值上界和下界(29日]。非均匀变异能够微调系统是通过添加一个随机词来定义的(30.]。这个操作符搜索空间一致时小,逐步搜索本地吗增加。这类似于一个退火过程。

高斯变异(32通常应用于实数编码遗传算法。考虑到染色体高斯变异产生新的后代与一个或多个基因定义的在哪里是一个正态分布随机数来自与零均值和标准偏差。的参数通常被选为一个线性或指数递减函数如。柯西变异取代了柯西分布、高斯分布的,它更有可能产生比高斯变异后代远离其母由于长而扁平的尾巴柯西分布(34]。柯西变异表现更好当当前搜索点远离全球最低,而高斯变异是更好地找到一个好的地区的局部最小值。这两个变异算子结合在34),为每个父生成两个子女,每个突变的方法,只有更好的一种选择。

在[33),获得的后代交叉进一步进行变异操作。通过允许一个参数,生成三个新的后代的一些参数,以及所有染色体中的参数变化的随机生成的数字,对每个参数受约束。只有一个的后代将用于将染色体替换为最小的健身价值,根据预定义的概率准则,在SA (35),允许艰难的移动控制的方式。因此,搜索领域显著扩大。

2.7。遗传算法优化序列

序列优化问题,如调度和旅行的销售员(TSP),排列为一组编码是一种天然的表示符号,和每个符号可以由不同的整数。这种表示方法避免丢失或重复等位基因(36]。

遗传算子定义应该不再发生这样不可行的解决方案,或修理或拒绝不可行的解决方案的方法是可行的。遗传算子的重新排序可以一元运算符的符号序列反演和交换等(7),或二元操作符结合特性反演和交叉,如部分匹配交叉(PMX),订单交叉(牛)和循环交叉(CX) [14),边缘重组(ER) (37),以及交叉和联盟(38]。TSP是一种基准气体。在[38),一些遗传算子序列的性能已经得到实际为TSP相比。一般调查各种遗传算子给出了TSP (30.]。

(随机键表示39一个随机数)编码每个符号。通过在降序排序随机密钥或升序排序,我们可以得到一个解码的解决方案。例如,给定一个茶匙6城市,如果染色体编码为一个路线在降序排序的基因,最大的随机密钥是0.96,,因此,第二大城市路线的开始,整个路线。这种表示方法避免了由代表解决方案不可行的后代以柔和的方式,这样的实数编码遗传算法和ES可以直接申请顺序优化问题。次序混乱的GA(ω)40)是专门为解决序列优化问题。ω使用快速的机制混乱GA (41使用随机密钥),代表了解决方案。

2.8。开发和探索

简单的遗传算法的收敛性分析是基于的概念模式(7]。一个模式是一个功能位模式为一组二进制字符串。模式定理(7,14)断言,更好地图式总人口的比例增加随着一代的发展,并最终搜索收敛于最佳解决方案对优化函数(14]。然而,通常GA收敛,而之前过早地找到最优解。

剥削方式利用现有的信息,而勘探手段寻找新领域。剥削是通过选择过程,探索是通过交叉和变异。提高勘探的剥削。开发和探索之间的平衡控制遗传算法的性能,确定控制参数的选择,即交叉的概率突变的概率,人口规模。作了一些权衡选择最优控制参数(42):增加结果快速勘探但好的字符串的中断率高;增加倾向于将遗传搜索转换为随机搜索,但有助于恢复失去的等位基因进入人口;增加增加人口的遗传多样性,减少过早收敛的概率,同时增加了收敛时间。这些控制参数依赖彼此,他们的选择取决于问题的性质。为一个小,一个人可以选择相对较大和反之亦然。通常情况下,被选中为0.9和0.6为0.001到0.0114]。经验证据表明,最优在GA不同根据是否使用交叉。当使用交叉时,应该选择一个小常数(43];否则,GA可以高年底,降低运行(43,44]。在[45),人口规模的建议,字符串长度。经验,GA在20到30,在0.75到0.95范围,在0.005到0.01范围提供一个良好的性能23]。

适应控制参数有助于避免过早收敛。应该支付更多的重点勘探在搜索过程的开始,而更应该强调剥削在稍后的阶段。一个简单的方法去适应是由(46),选择一个相对较大的初始值然后线性减少生成索引直到一个小的最终价值是达到了。也可以修改根据勘探开发(之间的权衡42,44]: 在常量和,是染色体的长度。在[23),选为1.76和吗为0。

一种自适应遗传算法(42),和没有预定义的但坚定的自适应地为每个解决方案的人口。和范围从0到1.0,0到0.5,分别。低的值和被分配到高适应性的解决方案,而不健康的解决方案被分配的值非常高和。每个人的最佳解决方案是受保护的,而不是受到交叉但受到少量的变异。低于一般水平的解决方案都是突变,因此,完全中断,创建全新的解决方案。这种自适应遗传算法明显优于简单遗传算法,有效避免局部最小值。

人口的遗传多样性很容易改善,防止过早收敛,适应人口的大小(11,30.,47和使用部分重启22]。部分重启可以实现由一个固定的时间表固定数量的后代或重启实现收敛过早发生时(48]。

二进制编码遗传算法的结果在有限精度和收敛速度慢。适应引入编码。一些自适应编码是三角洲编码的例子(12),动态参数编码(DPE) [49),和模糊的编码(50,51]。

2.9。遗传算法的变异

混乱的GA (11)开始于一个大的初始种群。在原始阶段,定期人口减半,只有选择操作。一个动力人口规模还有助于减少过早收敛。变长编码方法。快速凌乱的GA (41]是一种改进的GA版本的混乱。母亲或父亲(52雇佣了一个精英选择确定性,rank-based选择方法,这样最好个人发现迄今为止保存通过两代人的竞争。这类似于选择策略ES的策略。CHC算法(22同时借鉴ES的策略。介绍了乱伦的预防,以防止类似的个体之间的交配。跨界的高度破坏性的形式,即HUX [22)、应用和突变并不执行。多样性是重新通过重启部分人口每当检测到收敛。这是由随机实现翻转一个固定的比例最好的个人发现到目前为止模板和引入更好的后代人口。GA有不同人口规模(GAVaPS) [30.,47]介绍了概念年龄代的染色体数量选择机制。染色体会死在它的年龄达到决定一生的健康。每个染色体的人口繁殖概率相等,独立于它的健康。提出了一些策略分配一生值来优化人口的大小到当前阶段的搜索。CHC和GAVaPS明显优于简单的遗传算法。

2.10。并行遗传算法

平行的气体可以分为全球并行气体,粗粒度并行气体和细粒度并行气体。全球并行气体实现遗传算法通过评估个人和显式并行模式的遗传操作。加速处理器的数量成正比。在粗粒度并行气体,人口分为几个孤立的亚种群,称为帕瓦。个人可以从一个同类群迁移到另一个,和现有的遗传算法,如简单的遗传算法,母亲或父亲(52),可以在每个执行CHC同类群。帕瓦交换几串几代。母亲或父亲二世(53)是一种粗粒度并行实现的母亲或父亲。个人以固定间隔迁移到邻近的节点。移民取代最严重的个人目标同类群。PGA (26)是一个异步并行遗传算法,在每个人的人口由hillclimbing改进它的健身。另一方面,细粒度的气体,也称为细胞气体或大规模并行气体,人口分割成很多小帕,通常一个人每同类群。细粒度的并行遗传算法(54- - - - - -56)组织人口作为一个二维网格的染色体。选择和交配局限在一个地区,这可以减少搜索空间的选择压力,实现更多的探索。当地交配可以迅速发现多个最优解在相同的运行和更健壮55]。算法的性能会降低社区的大小增加。

2.11。二维的遗传算法

场景下的二维图像处理等问题,线性编码所使用的传统的东亚峰会的二维相关性造成损失,而且,因此,必须引入额外的问题特定的运营商。如果图像是由连接水平线编码,交叉操作导致大型垂直中断。在二维气体(57- - - - - -59),每个个体都是一个二维二进制串。传统的突变和复制操作符可以应用在正常方式,但传统的两点交叉算子样本矩阵的元素在一个二维字符串很不均匀。一些遗传算子的二维字符串也定义,如交流矩形块之间的交叉算子对矩阵(58)和一个名为UNBLOX的无偏交叉算子(均匀块交叉)57]。UNBLOX是一个二维交叉和可以样本矩阵同样位置。

二维气体的收敛率高于简单遗传算法的位图(57]。在[59),一个二维交叉算子定义为学习神经网络的体系结构和权重,一个神经网络被解释为一个有向图,和交叉操作是由交换子图连接到一个共同选定的神经元。

3所示。进化策略

进化策略(ESs) [32,60),也称为进化策略,是另一个最受欢迎的EA ES最初开发的数值优化。32),后来扩展到离散优化(61年]。目标参数和策略参数它们被直接编码到染色体通过使用常规的数值表示,因此没有编码或解码是必要的。在GA相比,主要的搜索算子ES是突变。

3.1。交叉、变异和选择

规范化ES只使用变异操作。交叉运算符用于实数编码遗传算法引入ES。例如,可以定义交叉算子通过重组两个父母和这样th基因生成的后代需要的平均价值th基因的两个父母或选为或。的后代获得重组需要突变前评估和进入人口。应用突变或繁衍后代产生的交叉。对于一个染色体高斯变异,所定义的(3),产生一个新的后代与一个或多个基因定义的最优被编码成染色体进化。突变通常是第一,然后呢变异是通过使用: 在哪里是一个参数的方法。

的和计划是两个主要的选择方案应用于,人口规模和吗人口的数量产生的后代。两个选择方案确定的排行第三的抽样方法,使ES比遗传算法更健壮。的方案选择适者个人的候选人形成下一代,而方案选择适者个人()的后代。的计划是精英,因此保证了单调提高性能。然而,这个方案是无法应对不断变化的环境和危害对策略参数自适应机制,特别是在人口不多。因此,方案建议,的比例在最优(62年]。

3.2。进化策略和遗传算法

ES之间有一些差异和遗传算法。(1)ES的选择过程是基于确定性的排名的,交配和人口中的每个个体都有相同的概率,而遗传算法的选择是随机的,和选择和交配的机会是正比于个人的健康。(2)选择交叉和变异后的ES实现,而选择遗传算法应用前进行交叉和变异。(3)ES,策略参数是由编码自动进化成染色体,而遗传算法的控制参数需要指定。(4)在GA,突变是用来恢复失去的遗传多样性,同时,在西文,变异函数作为一个爬山搜索算子。高斯变异,正态分布的尾部可能生成一个机会逃离局部最优。(5)其他的差异是体现在编码方法和遗传算子。

然而,两种技术之间的界线正在模糊,因为技术的相互借鉴。例如,CHC [22)遗传算法的属性和ES。

3.3。新的变异算子

进步的ES主要集中在设计新的变异算子。这使得ES进化更快。基于协方差matrix-adaptation——(CMA)变异算子使ES两个数量级的速度比传统的ES (63年,64年]。所有突变步骤的集合,称为一个收益率改进演化路径ES (63年]。CMA-type ES (63年,64年)技术使用信息嵌入到进化路径来加速收敛。CMA是完全derandomized自适应方案,和随后的变异与之前的步骤是不相关的。变异算子定义的在哪里是一个全球步长自适应,是一个随机向量的元素是来自正态分布和旋转矩阵的列协方差矩阵的特征向量的突变点。CMA实现了主成分分析(PCA)前面选择突变的步骤来确定新突变分布(64年]。

两个自组织ESs的(65年来自自组织映射(SOM) (66年)和neural-gas——(NG) (67年基于变异算子,分别。这些ESs不是人口基础。自组织网络是用于生成试用点,一个审判点被使用网络节点生成的每个迭代。生成的函数是评价试验仅点,不是网络节点。网络只用于跟踪试验点的概率分布,改善当前最好的已知函数值。SOM-type ES有问题,节点数的增加呈指数函数参数的数量由于网格拓扑。NG-type ES没有这样的问题,但可能遭受过早收敛;这可以纠正通过引入额外的适应。ESs都比CMA-type ES经验更可靠,然而没有参数优化的必要性。

4所示。其他进化算法

除了遗传算法(7)和ES (32),GP (19)和EP (68年)是进化计算方法也很受欢迎。迷因算法(69年)也是一个受欢迎的方法,结合了达尔文学说的思想范式和拉马克的策略。社区的东亚峰会,规范化EAs修改通过合并问题特定的知识,通过定义问题特定的遗传算子,或以不同的组合启发式东亚峰会,实际应用东亚峰会是最大化的能力。东亚峰会重叠的不同分支之间的界限。

4.1。遗传规划

全科医生(19)是一种变异的遗传算法进化等符号回归计算机程序,而不是发展的简单字符串。它也可以用来自动发现的实证法。GA和医生之间的主要区别在于编码。医生有染色体的可变长度和数据结构,和层次树是用于编码染色体。每棵树解析树代表了对于一个给定的项目。医生特别适合问题最佳的底层结构必须被发现。它,然而,患有所谓的膨胀现象,造成非编码分行的个人的发展。膨胀的现象可能会导致过度消费的计算机资源和增加健身的费用评估。

4.2。进化编程

EP (68年)最初提出了发展人工智能预测环境的变化,这是编码为一个符号序列的有限字母表。每个染色体编码为一个有限状态机。EP后来广义求解数值优化问题基于高斯变异(70年,71年]。EP和EP与ES非常相似ES的策略。这两种方法之间的主要区别是在交叉和选择。EP不使用交叉,但使用概率的竞争选择。更全面的比较这两种方法给出了(72年]。连续函数优化,一般都知道工作的方法比遗传算法(62年]。

4.3。迷因算法

迷因算法,也称文化算法和遗传局部搜索(69年,73年,74年),灵感来源于道金斯的meme的概念(75年),这是一个单位的信息,当人们自我繁殖的交换意见。与基因不同,模因通常适应传输之前它们的人传递给下一代。虽然是出于思想的演变,迷因算法可以被视为GA或EA利用本地搜索,在进化和学习结合使用拉马克的策略。迷因算法速度大大快于简单的遗传算法。基本上,迷因算法结合本地搜索启发式交叉算子。

5。理论方面

进化计算的理论突破仍有限。荷兰的模式定理7和戈德堡的积木假说14在GA)是最重要的理论基础以及EA机制。

5.1。模式定理和积木假说

一个模式是一个模板描述字符串相同的部分的一个子集(0或1)在特定的位置。综合效应的选择、交叉和变异使生殖模式增长的不平等(7] 在哪里一个模式定义的三个字母的字母表吗的长度,是一个不在乎的象征,是一个特定模式的例子的数量吗在一个人口的一代,的顺序是,定义为固定位置(0或1)的模板,定义的长度是第一个和最后一个特定字符串的位置之间的距离,平均人口健康的所有字符串匹配,是在生成整个人口的平均健身吗。

模式定理很容易源于(8)[7]:高于平均水平的图式定义较短长度和低阶的后代将得到成倍增加的试验。因此,图式与高适应性和小定义长度随时间呈现指数级增长。因此,遗传算法同时处理大量的图式。对于一个人口个人,GA隐式评估约图式在一代14]。然而,有很多批评的模式定理。模式发展不平等提供了一个下界的一代过渡。生活了好几代,模式的预测可能是无用的或误导的不确切性的不平等76年]。

构建块假说假设弦高的健身可以通过采样构件位于高适应性,结合有效的构建块。这是作为6]:遗传算法寻求通过短的并列,算法性能低阶,和高度合适的图式,叫做构建块。

GA-deceptive函数是一类函数,在低阶积木误导,他们不能产生高阶积木组合(14,77年]。健身景观与全球最佳景观的一部分包围着较低的平均回报被发现的可能性很小,因此,GA可能收敛于一个次优的解决方案。欺骗性问题仍是东亚峰会的难题。混乱的GA (11)是专门设计来处理有界欺骗性问题。由于欺骗性问题,构建块假说面临强烈批评[76年]。静态结构单元假设作为定义的基本假设提出了欺骗,和增强气体欺骗性问题提出了(76年]。

5.2。动态分析的进化算法

迄今为止,控制参数的选择、交叉和变异的角色,替换策略,和收敛性能,仍然没有解决。最近,更多的尝试已经描述的动力学东亚峰会(17,78年- - - - - -80年]。东亚峰会的搜索过程可以分析的框架内马尔可夫链(71年]。在[18],马尔可夫链分析是进行人口one-locus二进制基因达到不同程度的融合在一个预期的随机选择下一代又一代。准确的模型中引入[78年]提供了一个完整的模型如何搜索空间中的所有字符串处理通过一个简单的遗传算法使用无限总体的假设。在[79年),另一个简单的遗传算法获得精确模型在马尔可夫链的形式,和轨迹是紧随其后的是有限的人口与无限的人口预测的进化路径模型。一个精确的无限总体模型的简单遗传算法为permutation-based表示了在80年),其中各种排列交叉运营商所代表的混合矩阵。在[17),一个马尔可夫链模型分析了单个成员的预期时间最优类接管有限数量的不同的替代策略。

6。其他以人群为基础的优化方法

还有一些其他著名的计算技术受到生物自适应系统,如集体行为的动物和昆虫和哺乳动物的免疫系统。这些以人群为基础的优化方法,包括算法,免疫算法,算法,属于群体智能的一个分支,一个应急小组的集体智慧简单代理(81年]。他们是通用的离散和连续函数优化方法。

6.1。粒子群优化

PSO源于研究同步鸟植绒和鱼教育(82年- - - - - -85年]。它有点类似EAs但是只需要原始数学操作符,少计算簿记,通常更少的代码。因此,在计算上是便宜的在内存需求和速度。它进化种群或成群的人粒子。

对于一个优化的问题变量,一群粒子被定义。每个粒子都有自己的轨迹维空间,即位置和速度在搜索空间,先后更新其轨迹。粒子的数量修改他们的轨迹基于最好的位置访问之前自己和其他粒子。所有粒子适应度函数优化评估。粒子的飞行通过解决方案空间追随当前的最优粒子。算法初始化一群粒子随机位置(解决方案),然后搜索寻优更新一代(迭代)。在每次迭代中,每个粒子更新的两个最佳值,即粒子最好pb,表示,,这是最好的解决方案取得了迄今为止,和全球最好的gb,表示到目前为止获得的最有价值的任何粒子在人群中。最好的价值的人口是当地最好的一代,磅。算法已经扩展到处理多目标优化问题(86年]。

6.2。免疫算法

免疫系统的网络理论(87年)是基于克隆选择学说(88年,89年]。免疫系统的基本组成部分是两种类型的淋巴细胞,即B淋巴细胞和T淋巴细胞。B淋巴细胞产生抗体抵抗他们的特定抗原的表面,而T淋巴细胞调节B淋巴细胞抗体的产生。克隆选择理论描述了基本特征的抗原刺激免疫反应。克隆操作抗体亲和力和引发的随机地图包括四个步骤,即克隆,克隆交叉,克隆突变和克隆选择。

人工免疫网络(90年- - - - - -92年)使用两种类型的动态,即短期动力学和metadynamics。短期动态对应于一组合作或竞争的代理人,而meta-dynamics完善短期动力学的结果。因此,短期内神经网络动力学密切相关,和metadynamics类似于遗传算法。免疫算法,也称为克隆选择算法,介绍了抑制细胞改变搜索范围和记忆细胞保持候选解决方案。这是一个EA灵感来自免疫系统和非常类似于遗传算法。在免疫算法中,抗原的定义是要优化的问题,抗体是目标函数的解。学习是提高淋巴细胞的相对人口规模和亲和力。免疫算法首先识别抗原并从记忆细胞产生抗体。然后计算抗体之间的亲和力,可以当作健身。抗体是分散的存储单元,抗体的浓度是由刺激或抑制抗体。获取未知抗原的抗体的多样性是使用遗传繁殖操作符生成。免疫机制也可以定义为一个遗传算子和集成到一个遗传算法(93年]。

6.3。蚁群优化

ACO [94年- - - - - -98年)是一种metaheuristic方法求解离散或连续优化问题,如警察。ACO启发式的灵感来自于蚂蚁的觅食行为。蚂蚁有能力找到食物和殖民地之间的最短路径(巢)由于一个简单的信息素机制。蚂蚁用他们追踪信息素交流信息。优化的结果是集体工作的蚂蚁的殖民地。所有蚂蚁的信息素强化,和以前的足迹将由于蒸发消失。不同的ACO算法源于不同的信息素值更新规则。

蚂蚁系统(94年]是一种进化方法,几代人工蚂蚁寻找好的解决方案。每只蚂蚁一代建立一个完整的解决方案,一步一步,经历几个决策选择的节点图根据概率状态转换规则,称为随机比例规则。禁忌表用于保存节点在每一代已经访问了。参观完毕时,禁忌列表是用于计算蚂蚁当前的解决方案。一旦所有的蚂蚁都有自己的旅游,在所有边更新信息素根据一项全球pheromone-updating规则。更短的旅游得到了更高的强化。每条边有一个长期记忆(LTM)来存储信息。蚁群系统(ACS) (95年)提高了蚂蚁系统(94年通过应用一个局部信息素更新规则在构建的解决方案。全局更新规则仅适用于边缘,属于最好的蚂蚁。ACO算法的一些重要子集,比如最成功的ACS和min-max蚂蚁系统(mma)算法,已被证明收敛到全局最优(97年]。

7所示。多目标、多通道和约束满足优化

7.1。多目标优化

多目标优化的目标是优化系统与多个相互冲突的目标: 在哪里。相互冲突的目标之间的权衡是必要的。

这些目标的加权和,通常一个归一化版本,通常是作为系统的妥协。这种方法可能有困难在规范个人目标以及选择权重。词典顺序优化的排名是基于目标的重要性。模糊逻辑可用于定义多个目标的权衡(99年]。帕累托的方法是受欢迎的多目标优化。它是基于nondominance的原则。帕累托最优提供了一套解决方案,没有办法改善的一个标准没有恶化的另一个(14,One hundred.]。一个解决方案据说主导,表示,如果还是等于在所有属性和严格更好的至少一个属性。的空间形成了帕累托最优解被称为帕累托最优前沿,。

vector-evaluated GA (VEGA) (101年)是第一个遗传算法多目标优化。人口分为大小相同的亚种群,每个独立搜索最优的一个目标。执行交叉跨族群边界。一些启发式是用来防止系统汇聚成解决方案,没有对任何标准。然而,该算法倾向于某些地区(102年]。

Nondominated排序被介绍给一个搜索排名人口根据帕累托最优(14]。个人识别nondominated集的过程重复,直到整个人口排名。等概率的繁殖分配给所有nondominated个人人口。nondominated排序遗传算法(NSGA) [102年)实现nondominated排序遗传算法与小生境和物种形成方法14同时]找到多个帕累托最优点。这个排名是辅以GA技术称为共享,降低设计的目标函数值,太相似,防止算法收敛到一个最优(14]。NSGA-II [103年)提高了NSGA通过引入精英主义和比较运算符。

其他受欢迎的EAs多目标优化可能是基于全球non-elitist选择外,如帕累托GA (NPGA) [104年),或全球精英的方法如帕累托强度EA(说)105年),帕累托envelope-based选择算法(PESA) [106年),帕累托存档ES (PAES) [107年]以及SPEA-II [108年),或当地选择如进化选择算法(ELSA) [109年]。所有这些算法有能力找到多个帕累托最优解决方案在一个单一的运行。

7.2。多通道优化

多通道优化是确定当地的最适条件和维持这些解决方案,同时继续搜索其他当地的最适条件。多峰性导致困难任何搜索方法。解决方案中的每个峰景观可以被视为一个独立的环境。利基是一个特定族群(物种)独一无二的。小生境机制体现了合作与竞争两方面。

个人从不同领域之间的交叉可能导致后代不可行,通常是避免(14]。它引入了一个强大的选择优势人口最多的领域,因此,防止彻底探索健身景观(110年]。有限的人口很快就会专注于一个地区的搜索空间。增加人口规模,减少了交叉概率,和偏压交叉算子也可以减缓对称破坏,因此,增加的可能性找到全局最优,而反过来,减缓了剥削。

对多峰优化,三种技术,即小生境,帕瓦,和本地搜索,有效识别一些当地的最适条件。小生境可以实现通过阻止或抑制交叉相互不同的解决方案。还需要防止大族群创造过多的后代。小生境技术通常是基于的理念拥挤(18)和/或分享(14),防止单个基因型控制人口。拥挤使得个人在一个利基在资源有限,互相竞争,因此,允许其他身体不健康领域内形成人口。分享将健身视为类似个人之间共享资源,因此,鼓励发展新领域。拥挤是简单的,而分享要复杂的多,但在多峰优化更为有效14]。连续的小生境(111年)修改解决方案的评价函数在该地区消除发现一旦发现一个最佳的解决方案。GA继续寻找新的解决方案而不需要重新启动。

帕瓦技术是将人口分割成亚种群或帕瓦。帕瓦独立进化,除了偶尔的迁移帕瓦之间的个人。在细胞遗传算法(55),当地交配探讨了峰值在每个同类群,发现和维护多个解决方案。根据收敛状态和获得的解决方案到目前为止,分叉GA (112年将整个搜索空间划分为子空间。multipopulation方案,包括一个亲本种群和一个或多个子种群,每个利用子空间(112年]。

在local-selection方案113年),健康是个体与环境相互作用的结果及其有限的共享资源。个人健身比较固定阈值,而不是一个,来决定谁获得繁殖的机会。外当地的选择是一个隐式方案。保持遗传多样性的方式相似,但通常更有效率比健身共享。当地选择减少个人和之间的交互,因此,适合于并行实现。当地选择可以有效地避免过早收敛,它适用于在人口最少的选择压力。

7.3。约束满足优化

优化问题的约束条件,任何向量满足所有的约束是一个可行的解决方案。绝对平等的约束,一个可以使用拉格朗日乘子方法。不等式约束可以转化为等式约束通过引入额外的松弛变量和拉格朗日乘子方法应用。这是Karush-Kuhn-Tucker(马)方法。惩罚方法通常是用来将约束优化问题转化为无约束优化问题,将平等和/或不等式约束转化为一个新的目标函数,因此,超出了目标函数约束,突然减少由于惩罚项不可行的解决方案。在东亚峰会,不可行的解决方案在一个人口需要处理。一个可以简单地拒绝不可行个体或更常见的,惩罚不可行个体。一项调查中给出了在遗传算法处理约束(114年]。

8。基于模糊逻辑的进化算法

传统GA参数编码是静态的整个搜索。这导致了有限精度的解决方案。模糊parameter-coding变化提供了一个更加统一的遗传算法的搜索性能,还有一个中间遗传字符串和搜索空间之间的映射参数。fuzzy-encoding技术模糊遗传算法参数编码的例子(50)和模糊编码(51]。模糊编码(51]提供一个参数的值的基础上,选择模糊集及其有效性的最佳数量的隶属程度。GA优化隶属度函数(MFs)和模糊集的数量,而实际的参数值是通过去模糊化。模糊编码与MFs的合适的组合能够找到更好的优化参数比使用二进制编码方法遗传算法和梯度下降法的技术参数学习的神经网络(51]。每个参数的模糊编码总是落在所需的范围内,和先验知识可以轻松集成。唯一所需的信息的类型参数及其范围。在fuzzy-coding方法中,每个参数编码两部分。在第一部分中,每个参数的模糊集在比特编码,用一个代表相应的模糊集。第二部分列出了相应的为每一个模糊集隶属度,评估参数。

模糊编码二进制编码(有两个优势115年]。首先,由此产生的电报密码本是高度不均匀,使所有必要的领域知识获取东方向有前途的搜索区域。其次,模糊编码支持弱编码的优化结构,可以帮助神经网络的表示。疲软的编码,其强劲的对手相比,并不意味着一个基因型和表现型之间的一一对应。相反,一个单一的基因型诱发模糊表型的家庭。

通过动态调整控制参数选择或遗传算子在进化,适应气体提供一个适当的勘探开发行为避免过早收敛和提高最终结果。动态参数的遗传算法(116年)和模糊自适应遗传算法(丝腰带)117年)气体,用模糊逻辑来调整控制参数。的主要思想是使用模糊控制器输入为当前性能措施和当前的任意组合遗传算法的控制参数和输出的新遗传算法的控制参数。在[116年),模糊推理系统(FIS)用于调整控制参数由另一个遗传算法GA的改编。丝腰带的某些方面,如设计的步骤和丝腰带的分类,进行了综述和分析117年]。模糊编码,模糊交叉操作和模糊健身可以集成到东亚峰会(115年]。一些自适应模糊交叉算子,对实数编码,基于模糊连接词被定义在[118年]。

9。进化算法与模拟退火

东亚峰会和山都是随机全局优化方法。他们是引导搜索指向一个增加或减少成本的方法。EA的能力收敛过早局部最小值或一个全球最优控制通常是通过适当选择交叉和变异的概率。这是控制与降低温度的SA。因此,SA可以被视为东亚峰会的一个子集一个人和人口的变化的突变率。SA是一个串行算法,而东亚峰会涉及一个选择过程,需要全球协调。实际使用SA通常是太慢,而东亚峰会更有效地寻找全球最低由于其简单性和并行性。也适合硬件实现的二进制表示。东亚峰会在很多方面探索目标函数的域,因此,可以逃离局部最小值。固有的并行特性也抵消他们的高计算成本。 However, for some well-defined numerical optimization problems, the simple hill-climbing algorithm used in the SA usually outperforms EAs [119年]。

杂交的SA和东亚峰会,继承了东亚峰会的并行化,整合了SA的爬坡性能,保持最好的属性这两个范例(120年- - - - - -124年];也就是说,引导进化SA (GESA) [120年]SA的想法加入到东亚峰会的选择过程。介绍了家庭的概念,一个家庭的定义是一个父与其子节点。比赛在一个家庭和家庭之间存在。GESA是一个可行的方法,收益率比ES的更好的解决方案。遗传SA (121年]提供了一个完全平行,轻易可伸缩的混合GA / SA)方法。的混合法结合了recombinative力量GA和SA的退火时间。现有的串行实现可以直接注册。算法的性能尺度线性元素越来越多的处理,使该算法利用大规模并行体系结构以最大的效率。此外,谨慎选择控制参数不是必需的,这是一个重大优势SA和GA。在混合SA / EA系统[122年,123年),在每一个温度,一个单独的SA操作符用于创建一个后代为每个单独的,直到达到一个预先定义的条件。创建后代后,父母选择下一代。迭代继续遵循时间表,直到温度温度几乎为零。在[124年人群中),每个人可以智能地计划自己的退火调度自适应地根据给定的问题。

10。构建神经网络使用进化算法

神经网络学习是一个搜索的过程或误差函数最小化的标准。为了利用现有的学习算法,需要选择很多参数,如隐藏层的数量,每个隐层单元的数量,学习规则的类型,传递函数,以及学习参数。基于传统的梯度方法无法避免局部最小值。东亚峰会可用于优化神经网络的结构和相应的参数或特定的网络性能优化和算法参数。EAs适合学习网络nondifferentiable激活函数。当东亚峰会用于构造神经网络,大幅减少开发时间和简单的设计可以实现。一般适用性可以节省大量人力物力,开发不同的神经网络训练算法对不同类型。到目前为止,东亚峰会主要用于训练模糊神经网络(1,125年]。很多研究工作已着手进行连接权重的进化,看到调查1)和引用。

通常,一个人在一个EA被选中作为一个整体网络。竞争发生在个人网络,基于每个网络的性能。EAs进化网络参数基于健康衡量整个网络。适应度函数可以定义为,在那里是网络的错误或准则函数训练。网络参数的完整编码的染色体。还有时候EAs用于发展一个隐藏单位的网络。竞争单位是个体单位。隐藏在每个连续运行期间,候选人单位竞争,这样在运行的最优添加单一单元。东亚峰会在每次运行的搜索空间小得多。然而,整个组隐藏单位可能不是全局最优位置。

10.1。排列问题

排列的网络参数不会导致误差函数的变化但是导致拓扑对称性,因此大量的误差函数的对称性。因此,局部最小值高的数量。这就是所谓的排列问题(126年]。例如,对于一个三层前馈神经网络(FNN),通过交换两个隐藏节点的索引并保持所有的重量不变,不改变网络的功能。染色体中的参数的顺序是完全不同的。排列问题使得交叉算子非常无效的生产好后代。与交换两个网络参数,交叉几乎肯定会导致,,因此,该算法收敛非常缓慢。排列问题可以通过排序字符串来解决之前适当交叉(126年]。当进化网络的体系结构,采用交叉通常是避免,只有突变(1,127年]。

10.2。混合训练

计算速度而言,很难说东亚峰会能否与梯度下降法,因为最好的方法总是依赖问题。对于大型网络,东亚峰会可能效率低下。当梯度信息是很容易获得的,它可以用来加速进化搜索。进化和梯度搜索的混合是一种有效的替代梯度下降学习任务,当全球最佳溢价。

东亚峰会在微调低效的本地搜索虽然他们擅长全局搜索。GA尤其如此。通过合并本地程序如梯度下降到进化,进化训练可以明显改善的效率。神经网络可以通过交替训练一个EA一步定位算法的空间和重量本地一步寻找局部最优在该地区128年,129年]。杂交的东亚峰会和本地搜索可以在拉马克的策略或基于鲍德温的效果。因为辛顿和诺兰建造1987年第一个鲍德温效应的计算模型(130年),许多作者报道的结果使用混合方法(见[1,2,128年,131年)和引用了(1])。虽然拉马克的进化是生物难以置信,它已被证明有效的计算机应用程序。然而,拉马克的策略扭曲了人口,因此模式定理不再适用(132年]。鲍德温的效果只改变了健身景观,基本仍是纯粹的达尔文进化机制。因此,模式定理仍然适用于鲍德温效应(4]。

10.3。不断发展的网络参数

编码的网络参数的收敛速度是最重要的搜索。当使用二进制遗传算法时,定点编码通常优于浮点编码(128年]。对于交叉,它通常是更好的只有两条染色体之间交换的参数,但不改变每个参数的比特(128年]。网络参数的修改可由突变。由于限制的二进制编码、实数通常用于表示直接网络参数(133年]。ES和EP尤其适合连续函数优化。这些mutation-based方法减少排列问题的负面影响。

每个实例连接神经网络编码的所有网络参数在一个染色体。启发式是将连接权重终止在同一单位在一起。隐藏的单位基本上是特征提取器和探测器。分离输入相同的隐藏单元远可能增加建设有用的功能探测器的困难,因为他们可能会被交叉操作。

10.4。不断发展的网络体系结构

神经网络的体系结构被称为它的拓扑结构,也就是说,连接。设计最优的架构可以被视为一个搜索问题在建筑空间中,每个点代表一个架构。鉴于某些性能(健身)标准,如最低最小的训练误差和网络复杂性,所有的健身价值架构形成离散和多通道表面的空间。

直接和间接编码方法用于编码体系结构。直接编码,每个连接体系结构的染色体编码,同时,对于间接编码,只有一个架构的最重要的参数,如隐藏层的数量和隐藏在每个隐层单元的数量,进行编码。只有一个网络的体系结构演化,而网络参数对应于体系结构必须学习算法架构后发现。

10.4.1。直接编码

直接编码,从节点的连通性来,表示后,可以用一些。一个节点体系结构是由一个表示矩阵,。表示架构的二进制串的连接矩阵的行。对于一个前馈神经网络(FNN),只有上三角矩阵的非零项,因此只有这部分的连接矩阵需要编码到染色体。例如,给定一个2-3-2模糊神经网络如图1,只需要连接的上三角矩阵编码的染色体,得到“011100 11100 0011 011 11 0。“当重量,由实值表示连接网络的体系结构和连接权值都是同时进化。

染色体是需要转换回一个神经网络来评估每个染色体的适应度。然后训练神经网络初始化后与随机权重。训练误差是用来测量健康。通过这种方式,东亚峰会探索所有可能的连接性。直接编码方案具有可伸缩性的问题。一个大型网络需要一个非常大的矩阵,和,因此,计算时间大大增加。

10.4.2。间接编码

网络体系结构的直接编码方案很擅长微调并生成一个紧凑的建筑,而间接编码方案适用于很快地找到特定类型的网络体系结构。间接编码可以有效地减少编码的染色体长度架构只有一些体系结构的特点。每个连接的细节是预定义的或指定的一些规则。例如,对于多层感知器(MLP),两个相邻层完全连接,,因此,它的体系结构可以编码隐藏层的数量,在每一层隐藏单位的数量。间接编码可能不是很擅长发现一个紧凑的东亚峰会以来网络具有良好的泛化能力只能搜索整个可行的建筑空间的有限子集。这个参数表示方法是最合适的架构的类型是已知的。

发展规则的结果在一个更紧凑的遗传型的形式架构(1,131年,134年]。而不是直接优化架构,发展规则编码和优化,然后用于构造架构。这种方法能够保留承诺构建块发现,到目前为止,因此,减少交叉的损害(134年]。连接模式体系结构的一个矩阵的形式是由一个基础上,即一个单元素矩阵,通过多次应用合适的发展规则非终结符元素在当前矩阵,直到完全指定的连接模式。发展规则表示方法通常分离体系结构的演变与连接权重。

10.5。同时发展的体系结构和参数

体系结构的演化没有连接权重的问题吵了健身评价(1,127年]。噪音来自于随机初始化权重和训练算法。造成的识别噪声是一对多的映射从基因型到表型。可以缓解这个缺点的同时不断发展的网络体系结构和连接权值。

在[33),一种改进的遗传算法用于训练与交换机三层模糊神经网络的链接。链接的权重控制输入输出映射的开关控制网络体系结构的联系。给定的完全连接模糊神经网络学习后可能成为部分连接网络。GA配备了反向传播(BP) (135年)可用于培训的体系结构和权重多层感知器(128年,136年,137年]。在[128年],Quickprop算法[138年)是用于优化解决方案,达到最近的发现的GA局部最小值的解决方案。初始化种群与染色体不同隐层的大小。突变,多点交叉,添加一个神经元,消除神经元,Quickprop培训作为遗传算子。GA搜索和优化架构,架构的初始权重设置,以及学习速率。Quickprop训练的运营商(138年)和消除神经元可以被视为拉马克的进化策略。在基因反向传播(G-Prop)方法(136年),遗传算法选择初始权值和改变隐层神经元的数目通过应用五个特定的遗传算子,即突变,多点交叉,而且,消除,替换隐藏的单位。然后使用BP算法训练这些权重,这使得一个干净的全球和本地搜索。这种策略避免了拉马克学说。G-Prop方法(136年修改)(137年)通过集成Quickprop培训操作员,在[执行128年]。这种方法,因此,实现了拉马克的进化。指出在2]Lamarkian方法是更有效的比两阶段和Baldwinian方法在困难的问题。EPNet [127年]是完全连接的混合进化/学习方法模糊神经网络使用EP和拉马克的策略,在混合培训操作员,包括一个改进型BP和SA用于修改连接权值。

10.6。进化的激活函数和学习规则

激活函数和学习规则也可以进化(1]。例如,BP算法的学习速率和动量因子可以进化139年),和学习规则进化到产生新的学习规则(140年,141年]。东亚峰会也用于选择合适的神经网络的输入变量原始数据空间的维度,也就是说,进化的输入特性(142年]。激活功能可以通过选择一些受欢迎的非线性演化函数如亥维赛,s形,高斯函数。提出了与进化神经网络神经元(143年]。每个神经元的激活函数是一个未知的一般功能,适当的函数形式是通过象征性的回归中使用GP (19在学习期间。一些数学运算符用作操作员在树的节点。

11。构造模糊系统使用进化算法

模糊推理系统(费斯)是高度非线性系统与许多输入和输出变量。东亚峰会可以用于生成模糊规则和调整MFs的模糊集。足够的系统信息必须编码,表示必须容易评估和繁殖。模糊规则库的数量可以被编码进化规则和MFs构成这些规则到一个染色体。所有的输入和输出变量以及相应的MFs的模糊规则进行编码。每个规则的遗传编码的连接的形状和位置参数MFs的所有变量。例如,对于高斯MF,需要编码的中心和宽度。如果模糊规则是由以下给出。在哪里和输入变量,是输出变量,,,被MFs是语言变量,那么每个染色体可以通过连接编码的编码规则库中的规则,在中心和宽度参数的输入和输出变量为每个规则进行编码。

ES方法更适合模糊系统的设计由于其实际编码实参的优化。在神经网络中,费斯也有排列问题。如果订一些规则在两个人,在不同的方式,规则应该对齐前交叉应用(144年]。特定的遗传算子如插入和删除规则,规则,整个规则添加或删除在指定的字符串,也应用(144年]。在[145年),自动优化设计的模糊系统是由使用GESA [120年]。

12。构建Neurofuzzy系统使用进化算法

东亚峰会可以取代流行的梯度下降法技术培训神经模糊系统,避免局部最小值。东亚峰会可以优化neurofuzzy系统的体系结构和参数。另外,东亚峰会用于进化模糊规则和各自MFs和连接权值(146年- - - - - -151年]。

模糊神经网络(146年)的体系结构标准二级或/和代表性的布尔函数的符号。模糊神经网络可以由使用三相过程(152年]。模糊集的集合是第一选择,保持不变在连续的阶段模型的发展。然后由架构优化使用全科医生,而随后的基于参数优化的梯度学习。模糊遗传神经系统(FuGeNeSys) [147年)和遗传模糊规则提取器(GEFREX) [148年模糊逻辑的协作模型,神经网络,遗传算法。他们都是一般模糊监督学习方法的多输入多输出(MIMO)系统,其中Mamdani模糊模型。每个人的人口是由一组规则,每个规则组成输入(祖先)和输出(结果)。这两种方法使用细粒度的GA (55),但不同的基因编码和适应度函数。在GEFREX [148年),遗传编码只涉及模糊规则的前提。这个编码是一个浮点数和二进制部分,在浮点编码MFs的重大价值,一部分和二进制部分用于特征选择。最多前身是必需的。二进制特征选择选项时使用的是启用了在学习阶段。GEFREX也能够发现重大功能时要求在学习阶段。可以获得最优结果使用奇异值分解(计算)。不同的交叉和变异运算符用于二进制和实数编码基因。

在[149年),ES和SA的同时优化模糊规则的数目给定neurofuzzy系统在训练它的参数。在[150年),混合模糊多项式神经网络的训练(HFPNN)组成的一个结构阶段使用GA和随后的参数阶段的基础上,基于最小二乘(LS)——学习。模糊自适应学习控制网络(FALCON) [151年是一个五层神经模糊系统。FALCON-GA是三相混合学习算法对结构/参数学习,即聚类的模糊艺术监督训练数据,寻找合适的模糊规则的遗传算法,优化输入/输出MFs的英国石油公司。

13。总结

进化计算是一个通用的方法来适应和优化。在本文中,我们给出一个全面的介绍了进化计算。除了流行的遗传算法和ES方法,我们也描述了许多其他的进化计算方法如医生、EP,迷因算法,ACO算法,免疫算法。东亚峰会的应用神经,模糊,以及neurofuzzy系统处理。

最近,越来越多的产品表面新兴计算范例和用于学习和优化。一些计算技术在分子水平上是DNA计算(153年),膜计算(154年),和量子计算155年]。DNA计算是基于有机分子的信息处理能力。膜计算抽象从活细胞的结构和功能。量子计算是基于量子物理理论,用来描述原子大小的粒子的行为。其他计算范例包括那些受化学反应和扩散在分子水平上,如催化网络(156年]。

承认

这项工作被NSERC支持部分。

引用

x姚明,“进化人工神经网络”,IEEE学报》,卷87,不。9日,第1447 - 1423页,1999年。视图:出版商的网站|谷歌学术搜索
k·w·c·Ku、m . w . Mak和w·c·Siu”方法结合当地和进化搜索训练神经网络:回顾和一些新的结果,”进化计算的发展:理论和应用程序a . Ghosh和美国Tsutsui Eds。,pp. 615–641, Springer, Berlin, Germany, 2003.视图:谷歌学术搜索
j·m·鲍德温”进化的一个新的因素”,美国博物学家,30卷,第451 - 441页,1896年。视图:谷歌学术搜索
p·特尼,”鲍尔温效应的神话和传说,”《第13次国际会议上机器学习巴里,页135 - 142年,意大利,1996年。视图:谷歌学术搜索
维基百科,免费的百科全书,http://en.wikipedia.org。
k - l。杜和m . n .美国偶像神经网络在Softcomputing框架施普林格,伦敦,英国,2006年。
j .荷兰,适应在自然和人工系统,密歇根大学出版社,安阿伯市,密歇根州,美国,1975年。
英国Chakraborty和c . z . Janikow”分析的灰色与二进制编码遗传搜索,“信息科学,卷156,不。3 - 4、253 - 269年,2003页。视图:出版商的网站|谷歌学术搜索
d·h·沃伯特和w·g·麦克里迪”搜索,没有免费的午餐定理”技术。众议员sfi - tr - 95 - 02 - 010,圣达菲研究所,1995。视图:谷歌学术搜索
a·h·赖特,“真正的参数优化,遗传算法”遗传算法的基础g·罗林斯,艾德,页205 - 218,摩根考夫曼,圣马特奥市加州,美国,1991年。视图:谷歌学术搜索
d·e·戈德堡,k . Deb, b .科博“混乱的遗传算法:动机、分析和第一次的结果,“复杂的系统,3卷,不。5,493 - 530年,1989页。视图:谷歌学术搜索
k .马赛厄斯·l·d·惠特利,“改变表示在搜索:δ编码的比较研究,“进化计算,卷2,不。3、249 - 278年,1995页。视图:谷歌学术搜索
d·e·戈德堡和k . Deb,”比较分析遗传算法中使用的选择方案,”遗传算法的基础埃德·g·j·e·罗林斯,页。69 - 93年,摩根考夫曼,圣马特奥市加州,美国,1990年。视图:谷歌学术搜索
d·e·戈德堡遗传算法在搜索、优化和机器学习美国,addison - wesley,阅读,质量,1989年。
g .鲁道夫”标准遗传算法收敛性分析”,IEEE神经网络,5卷,不。1,第101 - 96页,1994。视图:出版商的网站|谷歌学术搜索
l·戴维斯和j·j . Grefenstette“关于创世纪和OOGA”手册的遗传算法艾德,l·戴维斯,页374 - 377,Van Nostrand莱因霍尔德,纽约,纽约,美国,1991年。视图:谷歌学术搜索
j·史密斯和f . Vavak”,在稳态遗传算法替代策略:静态环境,”遗传算法的基础w . Banzhaf和c·里夫斯,Eds。,卷。5,pp. 219–233, Morgan Kaufmann, San Francisco, Calif, USA, 1999.视图:谷歌学术搜索
k .德容分析一类遗传自适应系统的行为博士论文,密歇根大学出版社,安阿伯市,密歇根州,美国,1975年。
j . r . Koza遗传规划美国剑桥,麻省理工学院出版社,质量,1993年。
d·r·弗朗茨在遗传自适应非线性搜索博士论文,密歇根大学出版社,安阿伯市,密歇根州,美国,1972年。
g . Syswerda“统一在遗传算法交叉,”第三届国际会议上遗传算法学报》上j·d·谢弗,艾德。,页2 - 9,费尔法克斯,弗吉尼亚州,美国,1989年。视图:谷歌学术搜索
l . j . Eshelman”CHC自适应搜索算法:如何安全搜索时从事非传统基因重组,”遗传算法的基础埃德·g·j·e·罗林斯,页。265 - 283年,摩根考夫曼,圣马特奥市加州,美国,1991年。视图:谷歌学术搜索
j·d·谢弗(r . A . Caruana l . j . Eshelman r . Das,“控制参数影响的研究在线性能函数优化的遗传算法”第三届国际会议上遗传算法学报》上j·d·谢弗,艾德,页70 - 79,摩根考夫曼,阿灵顿,弗吉尼亚州,美国,1989年。视图:谷歌学术搜索
d•班达里n . r .朋友,s . k .朋友“定向变异在遗传算法中,”信息科学,卷79,不。3 - 4、251 - 270年,1994页。视图:谷歌学术搜索
h . Mulenbein和d . Schlierkamp-Voose”,在遗传算法的分析选择、突变和重组,”进化和Biocomputation、w . Banzhaf和f·h·Eechman Eds。,LNCS 899, pp. 142–168, Springer, Berlin, Germany, 1995.视图:谷歌学术搜索
h . Muhlenbein”并行遗传算法种群遗传学和组合优化,”第三届国际会议上遗传算法学报》上j·d·谢弗,艾德,页416 - 421,摩根考夫曼,1989年。视图:谷歌学术搜索
l·戴维斯,“Bit-climbing、代表性偏差和测试套件的设计,”第四届国际会议上遗传算法学报》上l·布克,艾德,页18 - 23,摩根考夫曼,1991。视图:谷歌学术搜索
c . y .李“Entropy-boltzmann选择遗传算法,IEEE系统,人,和控制论,B部分,33卷,不。1,第142 - 138页,2003。视图:出版商的网站|谷歌学术搜索
l·戴维斯,“杂交和数值表示,”手册的遗传算法艾德,l·戴维斯,页61 - 71,Van Nostrand莱因霍尔德,纽约,纽约,美国,1991年。视图:谷歌学术搜索
z Michalewicz,进化遗传算法+数据结构=程序施普林格,柏林,德国,1996年第三版,。
l . j . Eshelman和j·d·谢弗,”实数编码遗传算法和interval-schemata”遗传算法的基础l·d·惠特利,艾德,2卷,第202 - 187页,摩根考夫曼,圣马特奥市加州,美国,1993年。视图:谷歌学术搜索
惠普Schwefel,计算机模型的数值优化威利奇切斯特,英国,1981年。
f·h·f·梁h . k . Lam和p . k . s . Tam, s·h·凌”优化神经网络结构和参数的使用一种改进的遗传算法,”IEEE神经网络,14卷,不。1,第88 - 79页,2003。视图:出版商的网站|谷歌学术搜索
刘x, y, k h .梁和g·林,“快速进化算法,”进化计算的发展:理论和应用程序Ghosh和s Tsutsui Eds。,pp. 45–94, Springer, Berlin, Germany, 2003.视图:谷歌学术搜索
柯克帕特里克,c . d . Gelatt Jr .)和m . p . Vecchi“由模拟退火优化”科学,卷220,不。4598年,第680 - 671页,1983年。视图:谷歌学术搜索
j . Grefenstette r··b·Rosmaita d·古特,“旅行售货员问题的遗传算法第二届国际会议对遗传算法及其应用,j . Grefenstette Ed,第168 - 160页,1985年劳伦斯Erlbaum Associates。视图:谷歌学术搜索
d·惠特利,t·斯塔克伟泽的性格中逐渐和d . Fuquay”调度问题和旅行推销员:基因重组算子边缘,”第三届国际会议上遗传算法学报》上j·d·谢弗,艾德,页133 - 140,摩根考夫曼,1989年。视图:谷歌学术搜索
b·r·福克斯和m·b·麦克马洪在“排序问题的遗传算子,”遗传算法的基础埃德·g·j·e·罗林斯,页。284 - 300年,摩根考夫曼,圣马特奥市加州,美国,1991年。视图:谷歌学术搜索
j .豆”,遗传算法和随机密钥序列和优化,“ORSA杂志上计算》第六卷,没有。2、154 - 160年,1994页。视图:谷歌学术搜索
d . Knjazew和d·e·戈德堡”OMEGA-ordering凌乱的GA:解决排列组合问题的快速混乱遗传算法和随机密钥,”诉讼的遗传和进化计算会议l·d·惠特利,d . e . Goldberg et al .,。,pp. 181–188, Morgan Kaufmann, Las Vegas, Nev, USA, 2000.视图:谷歌学术搜索
d·e·戈德堡k . Deb h . Kargupta g . Harik,“快速、准确使用快凌乱的遗传算法,优化困难的问题”第五届国际会议上遗传算法学报》上,页56 - 64,香槟分校,美国,1993年。视图:谷歌学术搜索
l . m . Patnaik和s Mandavilli“遗传算法的适应,”遗传算法的模式识别Eds, s . k . Pal和p . p . Wang。,pp. 45–64, CRC Press, Boca Raton, Fla, USA, 1996.视图:谷歌学术搜索
g·奥乔亚,哈维,h·巴克斯顿,“重组和最优变异率”诉讼的遗传和进化计算会议(GECCO’99)w . Banzhaf j . Daida, a . e . Eiben Eds。摩根考夫曼,页488 - 495年,1999年。视图:谷歌学术搜索
j . Hesser说道和r的方式”,对遗传算法的最优变异概率,”从自然并行解决问题,Eds惠普Schwefel和r的方式。,LNCS 496, pp. 23–32, Springer, Berlin, Germany, 1991.视图:出版商的网站|谷歌学术搜索
d·e·戈德堡,“最佳二进制编码遗传算法初始种群大小。”TCGA报告850001年,遗传算法的票据交换所,阿拉巴马大学,Tuscalossa,阿拉巴马州,美国,1985年。视图:谷歌学术搜索
t·c·福格蒂”,不同基因的突变的概率算法,”第三届国际会议上遗传算法学报》上弗吉尼亚州费尔法克斯,页104 - 109,美国1989年。视图:谷歌学术搜索
j . Arabas z Michalewicz, j . Mulawka“GAVaPS-a遗传算法不同人口规模,”学报第一进化计算IEEE会议,页73 - 78,奥兰多,佛罗里达州,美国,1994年6月。视图:谷歌学术搜索
我宠爱,j . Gottlieb, o . Kao,“进化搜索部分重新启动的影响,”第五届国际会议上人工进化的过程信号2310年,页117 - 127,施普林格,Le Creusot,法国,2001年。视图:谷歌学术搜索
n . n . Schraudolph和r·k·Belew”动态参数编码遗传算法”,机器学习,9卷,不。1、9、1992页。视图:出版商的网站|谷歌学术搜索
r . j . Streifel r . j .马克二世,r·里德崔j·j·m·希利,“动态遗传算法的模糊控制参数编码,”IEEE系统,人,和控制论,B部分卷,29号3、426 - 433年,1999页。视图:出版商的网站|谷歌学术搜索
美国k·沙玛和g·w·欧文,“模糊遗传算法的编码,IEEE进化计算,7卷,不。4、344 - 355年,2003页。视图:出版商的网站|谷歌学术搜索
d·惠特利,”母亲或父亲算法和选择压力,”第三届国际会议上遗传算法学报》上j·d·谢弗,艾德,页116 - 121,摩根考夫曼,1989年。视图:谷歌学术搜索
d·惠特利和t·斯塔克伟泽的性格中逐渐“母亲或父亲II:分布式遗传算法,《实验与理论的人工智能,卷2,不。3、189 - 214年,1990页。视图:谷歌学术搜索
b . Manderick和p . Spiessens“细粒度的并行遗传算法,”第三届国际会议上遗传算法学报》上j·d·谢弗,艾德,页428 - 433,摩根考夫曼,1989年。视图:谷歌学术搜索
r·j·柯林斯和d·r·杰弗逊”在大规模并行遗传算法选择,”第四届国际会议上遗传算法学报》上r·k·Belew l·b·布克,Eds。,pp. 249–256, Morgan Kaufmann, 1991.视图:谷歌学术搜索
y Davidor”,一种天然的利基和物种的现象:模型和第一次的结果,”第四届国际会议上遗传算法学报》上r·k·Belew l·b·布克,Eds。,pp. 257–262, Morgan Kaufmann, 1991.视图:谷歌学术搜索
h·m·卡特赖特和s·p·哈里斯,应用遗传算法的二维字符串:源解析的问题”遗传算法的国际会议p。631年,香槟分校,美国,1993年。视图:谷歌学术搜索
k . j . Cherkauer“遗传搜索近邻范本,”学报第4中西部人工智能和认知科学会议尤蒂卡,页87 - 91年,生病,美国,1992年。视图:谷歌学术搜索
y佐藤和t .落”,二维遗传算法确定神经网络结构和权值,”诉讼的第四届年度会议上进化编程,j . r . McDonnel r·g·雷诺兹和d·b·福格尔,Eds。麻省理工学院出版社,页789 - 804年,圣地亚哥,加利福尼亚州,美国,1995年。视图:谷歌学术搜索
Rechenberg,Evolutionsstrategie-Optimierung科技Systeme Prinzipien der Biologischen票信息Formman弗莱堡,德国,1973年。
m . Herdy“离散优化问题的进化策略的应用,”从自然并行解决问题,Eds惠普Schwefel和r的方式。,LNCS 496, pp. 188–192, Springer, Berlin, Germany, 1991.视图:谷歌学术搜索
t·h·Schwefel,“进化算法参数优化的概述”,进化计算,1卷,不。1,1,1993页。视图:谷歌学术搜索
n·汉森和a . Ostermeier“适应任意正常变异分布在进化策略:协方差矩阵的适应,”学报1996年IEEE国际会议上进化计算,96年(欧洲的)名古屋,页312 - 317年,日本,1996年5月。视图:谷歌学术搜索
n·汉森和a . Ostermeier“完全derandomized自适应进化策略,”进化计算,9卷,不。2、159 - 195年,2001页。视图:谷歌学术搜索
,的m .米兰,p . Koumoutsakos和j .。施密德胡贝尔表示“自组织网优化,”IEEE神经网络,15卷,不。3、758 - 765年,2004页。视图:出版商的网站|谷歌学术搜索
t . Kohonen自组织和联想记忆施普林格,柏林,德国,1989年。
t . m . Martinetz s g .一下,k . j .舒尔腾”Neural-gas矢量量化网络及其应用时间序列预测,“IEEE神经网络,4卷,不。4、558 - 569年,1993页。视图:出版商的网站|谷歌学术搜索
福格尔·l·j·欧文斯,m·沃尔什通过模拟人工智能进化威利,纽约,纽约,美国,1966年。
p . Moscato”进化、搜索优化,遗传算法和武术:对迷因算法,”技术报告826年,加州理工学院的并行计算程序,加州理工学院,帕萨迪纳,加利福尼亚州,美国,1989年。视图:谷歌学术搜索
d·b·福格尔,“进化编程的分析”诉讼的第一年会在进化编程Fogel和j . d . b . w . Atmar Eds。,pp. 43–51, Evolutionary Programming Society, La Jolla, Calif, USA, 1992.视图:谷歌学术搜索
d·b·福格尔,进化计算,IEEE出版社,新泽西,新泽西,美国,1995年。
t, g·鲁道夫,惠普Schwefel,“Schwefel进化编程和进化策略:异同,”第二届年会在进化编程d·b·福格尔和w . Atmar Eds。,pp. 11–22, La Jolla, Calif, USA, 1993.视图:谷歌学术搜索
r·g·雷诺兹“介绍文化算法”诉讼的第三届会议上进化编程佛格尔,a . v .张琦和l . j .,。,pp. 131–139, World Scientific, 1994.视图:谷歌学术搜索
p . Moscato“迷因算法:一个简短的介绍,”新思想优化d·科恩,f·格洛弗和m .民宿,Eds。,pp. 219–234, McGraw-Hill, New York, NY, USA, 1999.视图:谷歌学术搜索
r·道金斯自私的基因英国牛津,牛津大学出版社,1976年。
j . j . Grefenstette“欺骗被认为是有害的,”遗传算法的基础l·d·惠特利,艾德,2卷,第91 - 75页,摩根考夫曼,圣马特奥市加州,美国,1993年。视图:谷歌学术搜索
l·d·惠特利“欺骗的遗传搜索,基本原则”遗传算法的基础埃德·g·j·e·罗林斯,页。221 - 241年,摩根考夫曼,圣马特奥市加州,美国,1991年。视图:谷歌学术搜索
m·沃斯和g . Liepins“间断平衡遗传搜索,“复杂的系统,5卷,不。1,31-44,1991页。视图:谷歌学术搜索
a . Nix和m·d·沃斯”与马尔可夫链模型遗传算法”,上数学和人工智能,5卷,不。1,第88 - 79页,1992。视图:谷歌学术搜索
d·惠特利和n . w .柳”排列问题,建模简单遗传算法”遗传算法的基础d·惠特利,m·沃斯。,卷。3,pp. 163–184, Morgan Kaufmann, San Mateo, Calif, USA, 1995.视图:谷歌学术搜索
e .拿m .民宿,g .特洛拉兹群体智慧:从自然的人工系统美国纽约,牛津大学出版社,纽约,1999年。
进行j·肯尼迪和r·埃伯哈特,“粒子群优化”学报1995年IEEE国际会议上神经网络珀斯,页1942 - 1948年,洗,美国,1995年12月。视图:谷歌学术搜索
y史进行r·埃伯哈特:“修改粒子群优化器”学报1998年IEEE国际会议上进化计算,98年(欧洲的)安克雷奇,页69 - 73年,阿拉斯加,美国,1998年5月。视图:谷歌学术搜索
j .进行肯尼迪和r·埃伯哈特群体智慧摩根考夫曼,旧金山,加州,美国,2001年。
m·莱克和j·肯尼迪,“粒子swarm-explosion、稳定性和收敛在一个多维的复杂空间中,“IEEE进化计算》第六卷,没有。1,58 - 73、2002页。视图:出版商的网站|谷歌学术搜索
c·a·c·Coello g . t . Pulido和m . s . Lechuga”与粒子群优化处理多个目标,”IEEE进化计算,8卷,不。3、256 - 279年,2004页。视图:出版商的网站|谷歌学术搜索
n . k . Jerne”对免疫系统的网络理论”,编年史d 'Immunologie,卷125,不。1 - 2、373 - 389年,1974页。视图:谷歌学术搜索
f·m·伯内特后天免疫的克隆选择学说英国剑桥,剑桥大学出版社,1959年。
g . l . Ada和g . j . v . Nossal”克隆选择理论”,科学美国人,卷257,不。2、62 - 69年,1987页。视图:谷歌学术搜索
h .亚特兰大和i r·科恩免疫网络理论施普林格,柏林,德国,1989年。
f . Varela诉Sanchez-Leighton, a Coutinho)“自适应策略从免疫网络:可行性理论和比较与分类器系统”理论生物学:表观遗传和进化b·古德温p·t·桑德斯,Eds。,A Waddington Memorial Conference, pp. 112–123, Edinburgh University Press, Edinburgh, UK, 1989.视图:谷歌学术搜索
l . n . De卡斯特罗和f·j·冯·Zuben”学习和优化使用克隆选择原理”,IEEE进化计算》第六卷,没有。3、239 - 251年,2002页。视图:出版商的网站|谷歌学术搜索
l .焦和l .王”,一种新颖的基于免疫遗传算法”,IEEE系统,人,控制论的一部分,30卷,不。5,552 - 561年,2000页。视图:谷歌学术搜索
诉Maniezzo m .民宿,a . Colorni“正反馈搜索策略,”技术报告91 - 016年Dipartimento di Elettronica米兰理工大学,米兰,意大利,1991年。视图:谷歌学术搜索
m .民宿和l . m . Gambardella蚁群系统:合作学习方法货郎担问题,“IEEE进化计算,1卷,不。1,53 - 66年,1997页。视图:谷歌学术搜索
m .民宿、g·迪卡罗和l . m . Gambardella“蚂蚁算法离散优化”人工生命,5卷,不。2、137 - 172年,1999页。视图:谷歌学术搜索
m .民宿和t . Stutzle蚁群优化美国剑桥,麻省理工学院出版社,质量,2004年。
g . Bilchev和i . c . Parmee”搜索蚁群隐喻连续设计空间,”学报AISB研讨会进化计算t·c·福格蒂,艾德,信号993年,25 - 39页,施普林格,谢菲尔德,英国,1995年。视图:谷歌学术搜索
h·j·齐默尔曼和h·j·塞巴斯蒂安,“智能系统设计支持fuzzy-multi-criteria决策和/或进化算法”《IEEE国际会议上模糊系统,页367 - 374年,日本横滨,1995。视图:谷歌学术搜索
a . Cichocki和r . Unbehauen神经网络优化和信号处理威利,纽约,纽约,美国,1992年。
j·d·谢弗一些机器学习实验使用向量评价遗传算法博士论文,范德比尔特大学出版社,纳什维尔,田纳西州,美国,1984年。
n .斯k . Deb,“多目标优化遗传算法中使用nondominated排序。”进化计算,卷2,不。3、221 - 248年,1995页。视图:谷歌学术搜索
k . Deb, s . Agrawal A .普拉塔普,t . Meyarivan”快速精英non-dominated排序遗传算法多目标优化:NSGA-II,”程序并行解决问题的性质,(PPSN ' 00)m . Schoenauer k . Deb et al .,。施普林格,页849 - 858年,2000年。视图:谷歌学术搜索
j .角:Nafpliotis, d·e·戈德堡”外帕累托遗传算法多目标优化”学报第一IEEE会议进化计算,IEEE国际代表大会上计算智能,1卷,页82 - 87,奥兰多,佛罗里达州,美国,1994年。视图:谷歌学术搜索
大肠Zitzler和l .蒂埃尔多目标进化算法:比较案例研究和帕累托强度的方法,”IEEE进化计算,3卷,不。4、257 - 271年,1999页。视图:谷歌学术搜索
d·w·科恩,j·d·诺尔斯,m·j·奥茨“帕累托envelope-based选择多目标优化算法”程序并行解决问题的性质,(PPSN ' 00)m . Schoenauer k . Deb et al .,。施普林格,页839 - 848年,2000年。视图:谷歌学术搜索
j·d·诺尔斯·d·w·科恩:“近似nondominated前线使用帕累托存档进化策略,”进化计算,8卷,不。2、149 - 172年,2000页。视图:谷歌学术搜索
e . Zitzler m·劳曼和l .蒂埃尔“SPEA2:改善强度帕累托进化算法”,TIK-Report103年,电气工程系,瑞士联邦理工学院,2001。视图:谷歌学术搜索
f . Menczer m . Degeratu, w . n .街,“高效、可伸缩的帕累托优化进化的地方选择算法,”进化计算,8卷,不。2、223 - 247年,2000页。视图:谷歌学术搜索
a . Prugel-Bennett“对称破坏在以人群为基础的优化,IEEE进化计算,8卷,不。1,第79 - 63页,2004。视图:出版商的网站|谷歌学术搜索
d·比斯利、d . r .公牛和r·r·马丁“连续多峰函数优化的利基技术,”进化计算,1卷,不。2、101 - 125年,1993页。视图:谷歌学术搜索
s . Tsutsui y藤本,a . Ghosh”分支遗传算法:气体与搜索空间划分方案,“进化计算,5卷,不。1,第80 - 61页,1997。视图:谷歌学术搜索
f . Menczer和r·k·Belew“当地选择”第七届国际研讨会论文集进化编程信号1447年,页703 - 712,施普林格,圣地亚哥,加利福尼亚州,美国,1998年。视图:谷歌学术搜索
z Michalewicz”,约束处理技术在进化计算方法,调查”进化编程j·麦克唐纳,j·r·雷诺兹和d·福格尔,Eds。,卷。4,pp. 135–155, MIT Press, Cambridge Mass, USA, 1995.视图:谷歌学术搜索
w·Pedrycz“模糊进化计算。”软计算,2卷,第72 - 61页,1998年。视图:谷歌学术搜索
m·a·李和h .高木涉“动态控制遗传算法使用模糊逻辑技术,”学报》第五届国际会议上遗传算法,(ICGA的93)83年,页76 -香槟分校生病,美国,1993年。视图:谷歌学术搜索
Herrera f和m . Lozano”模糊自适应遗传算法:设计,分类,和未来的发展方向,”软计算7卷,第562 - 545页,2003年。视图:谷歌学术搜索
f . Herrera, m . Lozano, j·l·Verdegay”动态和启发式模糊connectives-based交叉运营商控制实数编码遗传算法的多样性和收敛,“国际期刊的智能系统,11卷,不。12日,第1040 - 1013页,1996年。视图:谷歌学术搜索
k·德容,“遗传算法不是函数优化,”遗传算法的基础l·d·惠特利,艾德,卷。2,5 - 17页,摩根考夫曼,圣马特奥市加州,美国,1993年。视图:谷歌学术搜索
p . p . c . Yip和黄懿慧Pao和使用引导进化模拟退火组合优化,“IEEE神经网络》第六卷,没有。2、290 - 295年,1995页。视图:出版商的网站|谷歌学术搜索
n . s . h . Chen Flann, d . w .华生,”并行遗传模拟退火:大规模并行SIMD算法,”IEEE并行和分布式系统,9卷,不。2、126 - 136年,1998页。视图:谷歌学术搜索
诉Delport”,在矢量码书设计量子化使用混合系统的并行模拟退火和进化的选择,”电子信件,32卷,不。13日,1158 - 1160年,1996页。视图:谷歌学术搜索
诉Delport”并行模拟退火和进化为组合优化选择,”电子信件,34卷,不。8,758 - 759年,1998页。视图:谷歌学术搜索
h . j .赵郑胜耀哦,和d·h·崔”Population-oriented模拟退火技术基于局部温度的概念,“电子信件,34卷,不。3、312 - 313年,1998页。视图:谷歌学术搜索
c·哈珀姆、c·w·道森和m·r·布朗”的遗传算法应用于训练径向基函数网络,”神经计算和应用,13卷,不。3、193 - 201年,2004页。视图:出版商的网站|谷歌学术搜索
p . j·b·汉考克“遗传算法和排列问题:比较复合运营商对神经网络结构规范,”《IEEE国际研讨会在遗传算法和神经网络的组合,(COGANN ' 92)d·惠特利和j·d·谢弗,Eds。,pp. 108–122, Baltimore, Md, USA, 1992.视图:谷歌学术搜索
姚x和y刘”,一个新的进化系统进化人工神经网络,”IEEE神经网络,8卷,不。3、694 - 713年,1997页。视图:谷歌学术搜索
d·j·蒙大拿和l·戴维斯,“使用遗传算法训练前馈网络,”学报》第11届国际联合会议上人工智能:Sridhara Ed,页762 - 767,摩根考夫曼,底特律,密歇根州,美国,1989年。视图:谷歌学术搜索
s·w·李”,完全无约束的离线识别手写数字集群使用多层神经网络,”IEEE模式分析与机器智能,18卷,不。6,648 - 652年,1996页。视图:谷歌学术搜索
g·e·辛顿和s·j·诺兰,“学习如何引导进化,”复杂的系统1卷,第502 - 495页,1987年。视图:谷歌学术搜索
f . Gruau·d·惠特利,“添加学习细胞神经网络的发展:进化和鲍德温的效果,”进化计算,1卷,不。3、213 - 233年,1993页。视图:谷歌学术搜索
l·d·惠特利,v . s .戈登和k·e·马赛厄斯“拉马克的进化,鲍德温的效果和功能优化,”从自然三世并行解决问题,惠普Schwefel y Davidor Eds和r的方式。信号,866年,页6 - 15,施普林格,伦敦,英国,1994年。视图:谷歌学术搜索
f . Menczer d·帕里,“超平面的证据的遗传学习神经网络,”生物控制论,卷66,不。3、283 - 289年,1992页。视图:出版商的网站|谷歌学术搜索
h .北野”,设计神经网络使用遗传算法和图形生成系统,”复杂的系统,4卷,不。4、461 - 476年,1990页。视图:谷歌学术搜索
d . e . Rumelhart、g·e·辛顿和r . j·威廉姆斯,“学习误差传播内部表示,”并行分布式处理:探索微观结构的认知d . e . Rumelhart和j·l·麦克勒兰德,Eds。的第1卷基金会麻省理工学院出版社,页318 - 362年,剑桥,质量,美国,1986年。视图:谷歌学术搜索
p·a·卡斯蒂略j . j . Merelo诉Rivas g·罗梅罗和a .普列托”G-Prop:全局优化的多层感知器使用天然气,”Neurocomputing,35卷,第163 - 149页,2000年。视图:出版商的网站|谷歌学术搜索
p·a·卡斯蒂略j .杜丽莎j . j . Merelo诉Rivas g·罗梅罗和a .普列托“进化的多层感知器,”神经处理信件,12卷,不。2、115 - 127年,2000页。视图:出版商的网站|谷歌学术搜索
s e . Fahlman“快速学习变化back-propation:一个实证研究,”《1988年暑期学校联结主义模型d . s . Touretzky、g·e·辛顿和t . Sejnowski Eds。,pp. 38–51, Morgan Kaufmann, Pittsburgh, Pa, USA, 1988.视图:谷歌学术搜索
s . h . h . b . Kim Jung, t . g . Kim和k h .公园,“反向传播神经网络的快速学习方法学习的进化适应率,”Neurocomputing,11卷,不。1,第106 - 101页,1996。视图:出版商的网站|谷歌学术搜索
d·j·查尔默斯,“学习的演变:一个实验,遗传联结主义”《1990年暑期学校联结主义模型d . s . Touretzky j·l·Elman,和g·e·辛顿,Eds。摩根考夫曼,页81 - 90年,1990年。视图:谷歌学术搜索
j·巴克斯特,“人工神经网络学习算法的进化,”复杂的系统,绿色和t . Bosso-Maier Eds。,pp. 313–326, IOS Press, Amsterdam, The Netherlands, 1992.视图:谷歌学术搜索
郭z和r . e . Uhrig”,使用遗传算法选择神经网络的输入,”《IEEE国际研讨会在遗传算法和神经网络的组合,(COGANN ' 92)d·惠特利和j·d·谢弗,Eds。,pp. 223–234, Baltimore, Md, USA, 1992.视图:谷歌学术搜索
A·阿尔瓦雷斯”与进化神经网络的神经元,神经处理信件,16卷,不。1,43-52,2002页。视图:出版商的网站|谷歌学术搜索
m·g·库珀和j。j·维达尔,“遗传模糊控制器的设计,”遗传算法的模式识别Eds, s . k . Pal和p . p . Wang。,pp. 283–298, CRC Press, Boca Raton, Fla, USA, 1996.视图:谷歌学术搜索
m .尼伯格和黄懿慧Pao自动优化设计基于模糊系统的万能逼近和进化编程”模糊逻辑与智能系统h·李·m·m·古普塔,Eds。,pp. 311–366, Kluwer, Norwell, Mass, USA, 1995.视图:谷歌学术搜索
w . Pedrycz和a . f .罗查“基于模糊集模型的神经元和知识网络,”IEEE模糊系统,1卷,不。4、254 - 266年,1993页。视图:出版商的网站|谷歌学术搜索
m . Russo”FuGeNeSys-a模糊遗传神经系统模糊建模、”IEEE模糊系统》第六卷,没有。3、373 - 388年,1998页。视图:谷歌学术搜索
m . Russo“遗传模糊学习”,IEEE进化计算,4卷,不。3、259 - 273年,2000页。视图:出版商的网站|谷歌学术搜索
g . Alpaydin g . Dundar, s . Balkir”基于进化的系统,该设计采用自适应神经模糊网络遗传参数,“IEEE模糊系统,10卷,不。2、211 - 221年,2002页。视图:出版商的网站|谷歌学术搜索
s . k .哦,w . Pedrycz, h . s .公园,“多层混合模糊多项式神经网络:计算智能的框架设计,“Neurocomputing,卷64,不。1 - 4、397 - 431年,2005页。视图:出版商的网站|谷歌学术搜索
i . f .钟、c·j·林和c·t·林“遗传模糊自适应学习控制的网络,”模糊集和系统,卷112,不。1,第84 - 65页,2000。视图:谷歌学术搜索
w . Pedrycz和m .格式化”进化模糊建模,IEEE模糊系统,11卷,不。5,652 - 665年,2003页。视图:出版商的网站|谷歌学术搜索
g . Paun g . Rozenberg, a . SalomaaDNA计算施普林格,柏林,德国,1998年。
g . Paun膜计算:一个介绍施普林格,柏林,德国,2002年。
m . Hirvensalo量子计算施普林格,柏林,德国,2001年。
福勒斯特,紧急的计算美国剑桥,麻省理工学院出版社,质量,1991年。

应用计算智能和软计算

文摘