概念、方法和粒子群优化的表演,反向传播神经网络

文摘

与机器学习的进步,从一开始,在过去的几年,一直特别关注人工神经网络。作为一个灵感来自自然选择的动物组织和人的神经系统,人工神经网络也称为神经网络已成为新的计算能力用于解决现实世界的问题。神经网络仅作为一个概念涉及各种方法实现他们的成功;因此,本文介绍这种方法称为粒子群优化的概述,反向传播,分别和神经网络本身。简要说明的概念、历史、表演,优点,和缺点,紧随其后的是最新的研究在这些方法。解决方案和应用程序的描述在各种工业领域如医学或信息技术提供了。最后一部分简要地讨论了方向,当前和未来的挑战神经网络实现成功率最高的解决现实世界的问题。

1。介绍

人工神经网络(ANN)或简单地称为神经网络(NNs)是该地区已收到并继续接收从世界上最伟大的研究者的关注。在科学术语称为结构的互联单位大量的神经元。作为研究员张等人[1]在他的研究中提到的,每一个相互连接的神经元有能力接收,处理和发送一个输出信号。更多的共识,研究员Sonali等(2)指出,神经网络是人类生物神经系统的数字拷贝和遵循相同的路径学习的神经元。以类似的方式处理信息,人类的大脑如何。

神经网络由三组,第一组是神经元之间的连接模式(一个加法器和输入数据),第二组的方法确定权重的连接,最后一个激活神经元的输出振幅函数限制。神经网络(NNs)每天在不同的应用程序使用。2017年,Rasit a [3]发现,神经网络是高度有用当涉及到模式识别、优化、仿真和预测。

受过训练的人工神经网络(ANN)可以被视为一个“专家”的任务信息来分析,这是一个利用神经网络在解决问题时采取不同的方法。

在下一节中2,提供了评估方法和人工神经网络的算法,如反向传播和群体智慧,包括实际的群优化。回顾前馈反向传播算法的和落后的阶段及其组方程将给一个简短的解释理解这种方法和算法是如何工作的,以及它的优缺点。此外,继续讨论多层感知器(MLP)和监督和非监督学习技术也简要解释道。

2。人工神经网络(ANN)

的反向传播神经网络的研究技术。反向传播是一种技术,其网络节点排列成层。研究员Jaswante等(6)将它描述为网络输入层的第一层,最后一层一层的输出,而所有剩下的中间一层被称为隐藏层。反向传播技术,认为为了得到的元素数量影响其收敛。输入,处理(隐藏),输出节点是这些元素的一部分,连同动量率和最小误差(7]。

在反向传播学习遵循一组步骤。这些步骤简化如下:

(一)输入层向输入向量

(b)的输出层被提交给设置所需的输出

(c)比较理想的错误和实际输出完成后每一个传球前进

(d)的比较结果决定体重变化根据学习规则

尽管广泛研究反向传播的炒作,这个算法也是众所周知的缺点,其准确性留有空间更好的预期的结果。一组研究人员,由曹等人。4),指出反向传播时需要更长时间的训练。这个缺点主要是由于神经元执行的时机在向后移动,直到找到理想的解决方案。因此,一些研究者开始使用群体智能算法(SI),提高神经网络的学习使用不同的方法。

研究基督教布卢姆和丹尼尔Merkle [8)描述群体智能技术的灵感来自动物和昆虫的群体或集体行为,像昆虫的集体行为,成群的鸟,鱼,等等。这灵感是由于技术的神经元(或称为群)使用后神经元群集体向更好的解决方案。

群体智慧也使用一个共同的和最准确的技术之一,粒子群优化。这种方法在神经网络的主要目的是得到最好的粒子位置的粒子移动或试图走向最好的解决方案。

2.1。人工神经网络(ANN)和反向传播算法(BP)

人工神经网络由一个网络是由神经元节点,或细胞排列和相互联系的网络。人工神经网络中的神经元有能力学习的例子,他们能够明智地应对新的触发器(9,10]。

一个典型的神经网络(NNs)拓扑如图1。每个节点包含一个激活函数s形的函数。从每个输入节点发送的信号穿过加权连接,即根据内部激活函数产生的输出。

图2显示了多层感知器(MLP)互连流节点中人工神经网络(ANN)。

输入(之间的方程的过程我)和隐藏(j)层如下: 与 节点的输出j 节点的输出我 节点之间的连接权重我和j 节点的偏见j

进一步隐藏层(之间的转换j)和输出层(k)如下: 与 节点的输出k 节点的输出j 节点之间的连接权重j和k 节点的偏见k

上述过程的误差计算使用(5)。这个错误计算措施或比较所需的输出之间的差异产生了我们期望的输出。层之间的错误被反向传播网络,从产出到隐藏的输入和权值被修改而重量修改在此传播错误减少。

根据上面的计算误差中,反向传播算法被应用在扭转从输出(k)隐藏节点(j),如图所示 与 与 从节点的重量k来j有一段时间t 被体重调整 的学习速率 在动量率 被错误的节点k 在实际的网络输出节点j 在实际的网络输出节点k 目标输出值的节点k

落后的计算从隐藏到输入层(分别为j和我)所示下面的例子: 与 在哪里 从节点的重量吗j到节点我在时间t 是重量的调整 是学习速率 动量率 在节点是错误吗j 在节点是错误吗k 网络输出节点我 网络输出节点j 网络输出节点k 体重连接节点之间吗j和k 是节点的偏见k

这个过程是无限的重复;然而,它停止直到达到收敛。

2.2。群体智慧

2009年,研究人员Konstantinos和迈克尔11)称为“群体智慧”(SI)的人工智能(AI)的分支研究复杂的集体行为,与社会结构自组织和分散的系统。在简化理解,这种技术有它的灵感来自自然,类似于蚁群、鸟群的方式操作,翻译成计算智能系统。这些系统翻译的方式由代理与环境进行交互,通过这样的互动导致全球性的解决方案的行为,类似于鸟群鸟儿是贡献的一部分在到达目的地,或全球解决方案。在群体智慧,这些交互代理意味着所有的神经元或粒子组工作作为一个团队寻找最好的地方。群体智慧(SI)通过专门的优化技术,传播与已知的两个主要技术如蚁群优化(ACO)和粒子群优化(PSO),我们将在下一节回顾。蚁群优化(ACO)方便而通过找到好方法来解决计算问题/路径使用图表。它的灵感来自蚂蚁发现方法从殖民地到他们的食物。另一方面,第二个主要技术是已知的,本文的三种检查方法之一是粒子群优化(PSO)。由于更精确的性能、粒子群优化已经取代了遗传算法。

粒子群优化是一个技术,粒子运动组寻找更好的结果。研究员格等人[5]提到,当这些粒子移动在集团,一个向量用于更新粒子的位置,称为速度矢量。图3显示了粒子群优化的基本流程过程。

粒子群优化实现使用不同的方法修改它的成功率。2011年,一组研究人员(12)得出结论,修改在粒子群优化算法包括三个类别,扩展搜索空间,调整参数,和杂交与另一个技术。

2.3。粒子群优化(PSO)

正如前面提到的,这种方法是一种神经网络的核心和最有趣的部分。

粒子群优化已经开始从现实生活中样品的分析和社会模式10,13]。粒子群优化属于家庭群体智慧,成群或神经元共同寻找最好的解决方案。因此,它的概念是改编自自然原因,如鸟植绒和鱼教育,人口,这使得粒子群优化算法。

粒子的物理位置并不重要,因此,蜂群(神经元)被分配给任何初始化随机的位置和速度,以及可能的解决方案是通过超空间飞行。弗格森(14]提到,类似于我们的大脑神经元从我们过去的经验中学习,那么粒子群优化的粒子。

所有粒子朝着全球最佳解决方案保持的记录每个职位以及实现的那一刻(15]。从这些值,最好的个人价值的粒子叫做pb(个人最好),和最好的价值获得整个粒子群叫做gb(全球最佳)。迭代每个粒子引起的加速度朝自己的最佳位置(pb),以及全球最佳位置(gb)。2000年,研究者Van den马瑞医生等人。16)表示,这两个记录(pb和gb)速度加权随机,然后产生新的粒子速度将影响未来下一个粒子的位置。

粒子群优化(PSO)包括一组两个方程称为运动方程(12)和速度更新方程(13)。粒子的运动通过特定的速度向量所示(12),速度更新方程提供了两种竞争力量的速度矢量调整(gb和pb)所示(13)。

方程(12)用于x位置和v速度向量的所有元素。的参数定义群的离散时间间隔会移动,通常是设置为1.0。这个运动导致蜂群的新职位。在(13),结果使维元素从最好的向量的减法然后乘以0到1的随机数,并加速常数和 。因此,添加到速度之和。执行这个过程的所有人口。如果我们选择随机数,这些也将提供一个数量的随机性帮助在整个解空间群对其路径。和加速度不断提供控制方程,定义了哪一个对路径应给予更多的权利,这是全球或个人最好(4]。

在表1我们将演示粒子的运动对全球最佳解决方案在一个二维空间(2 d)。这个例子就= 1.0,= 0.5。有一个更高的价值比吗 ,这意味着它给予更高的关注和强调全球寻找最好的解决方案。

我们假设速度值的粒子已经在前面的迭代计算= (0.1)。首先,速度矢量为当前迭代更新使用(13)。

第一个位置的值5条

第二位的值10条

我们可以看到,现在是粒子的速度值 ;因此新速度将被应用在粒子位置使用(2 j)如下:

从上面的计算,我们得到结论新粒子更新值在表中可以看到2。

在[17)这是说每个粒子的位置表示一组权重为每个迭代,为神经网络实现;因此,这些粒子的维度权重的数量,与网络相关联。

最小化的学习误差结果,生产更好的质量,我们需要均方误差。

因此,均方误差(MSE)学习误差的最小化重量每个粒子移动的空间。位置变化伴随着体重更新为了减少特定当前的时代。时代是更新粒子位置的计算他们的新速度用于对新职位前进。这些新岗位新状态重量用来获取新的错误。在粒子群优化(PSO)这些权重采用即使没有新的进步。全球最佳位置选择的粒子后所有粒子的过程重复和选择最低的错误。一旦取得满意的错误,这个过程结束,在训练结束后,这些权重是用于训练模式通过计算分类错误,相同的权重也用于网络测试使用的测试模式。

2.4。分类问题

分类是最重要的一个神经网络的实现。解决分类问题,需要大量的工作,包括所有可用的静态模式类。这些模式包括各种参数,如如果相关信息安全可以是入侵检测,银行破产预测,至于医学领域可能是诊断。模式表示为向量,在类影响模式分配的决定。使用向量的一个例子是在医学领域,提供矢量分量的检查数据,和神经网络确定的模式将被分配,基于可用的信息。

神经网络的输入数据必须是一个标准化的格式,以几种不同的方式完成。通过正常化,意味着所有的数据应该介于0到1之间的数字。虽然分类显示在各领域的重大进展的神经网络,在2017年(18),提到完全的数量仍然是一个尚未解决的问题。第一个分类问题,神经网络处理的数据量,其次经常导致错误由于学习错误的预测问题。

使用神经网络分类显示成功并被应用到各种世界分类任务,从商业产业,信息技术和科学。具体使用神经网络的例子很多,如前所述在[19];神经网络的有效性是提高整个机器学习更广泛的家庭。

3所示。结论

在神经网络学习使科学家和研究人员为多个行业创建各种应用程序,并创建缓解日常生活中。综述的方法,即人工神经网络反向传播,和粒子群优化神经网络中一个重要的角色在理解现实问题和任务,如图像处理、演讲或字符识别、入侵检测(20.,21]

这些方法的贡献是显著的;然而,每个类别仍然缺乏明确的成功在这些领域仍然是进步和改善封闭其理论和实践之间存在的差距。在人工神经网络分类概念的新颖性,特别是粒子群优化和反向传播,意味着这个领域的研究是公开,积极,每年和高度的研究。本文提供了一个简短的回顾的概念、方法、粒子群优化和表演,反向传播神经网络。

总之,对人工神经网络的研究和它的承诺和持续的方法,特别是需要改进研究学习中的错误和分类精度。这两个类别的改进是神经网络解决方案的重要组成部分等新兴领域新技术的深度学习在医学上,云计算,甚至在信息安全22- - - - - -25]。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

本综述论文和研究已经由信息科学与工程学院管理和科学大学,马来西亚。

引用

1. z Chiyuan,萨米,h·莫里茨,r·本杰明和诉Oriol,理解深度学习需要反思的概括,“学习国际会议上表示,2017年。视图:谷歌学术搜索
2. b . m . Sonali和w·卡”基本的人工神经网络研究论文。”国际期刊上最近在计算和通信和创新趋势,卷2,不。1,2014。视图:谷歌学术搜索
3. a . Rasit可再生能源和可持续能源回顾534 - 562年,Celal亚尔大学,土耳其,2015。
4. t .赵,r·康纳斯,p . Araman”快速反向传播学习使用陡峭的激活函数和自动重量仅,”《IEEE国际会议系统,人,控制论,页1587 - 1592,美国弗吉尼亚州夏洛茨维尔。视图:出版商的网站|谷歌学术搜索
5. 诉格和美国雅罗斯瓦夫”,粒子群优化”,张仁杂志第41卷。。8,2003。视图:谷歌学术搜索
6. a . Jaswante k·阿西夫,g . BhupeshIJCSNS2014年,14卷,不。11日。
7. a·哈米德和n . Haza粒子群优化神经网络学习的提高,2006岁的马来西亚各种大学粒子群优化神经网络学习的提高。马来西亚各种大学。
8. c .布卢姆和d . Merkle群体智慧:介绍和应用,自然计算系列施普林格,2008年。视图:出版商的网站
9. a . p . Markopoulos s Georgiopoulos, d . e . Manolakos”使用反向传播和径向基函数神经网络的表面粗糙度预测,“工业工程国际杂志》上,12卷,不。3、389 - 400年,2016页。视图:出版商的网站|谷歌学术搜索
10. f . y . h·艾哈迈德·s·m·Shamsuddin, s . z . m . Hashim“SpikeProp使用粒子群优化改善,”数学问题在工程文章ID 257085卷,2013年,13页,2013。视图:出版商的网站|谷歌学术搜索
11. p . Konstantinos诉迈克尔,“粒子群优化和情报。”发展和应用,2009年。视图:谷歌学术搜索
12. d·p·里,s m . Shamsuddin和s . s . Yuhaniz”粒子群优化:技术、系统和挑战,”国际期刊的计算机应用程序,14卷,不。1,19-26,2011页。视图:出版商的网站|谷歌学术搜索
13. y史,“粒子群优化”,IEEE神经网络社会,13页,2004年。视图:谷歌学术搜索
14. d·弗格森粒子群加拿大维多利亚大学,2004。
15. j·肯尼迪和进行r·c·埃伯哈特群体智慧,2001年摩根考夫曼。
16. f . a Van den马瑞医生和a . Engelbrecht”合作学习在使用粒子群优化神经网络,”南非电脑杂志26卷,第90 - 84页,2000年。视图:谷歌学术搜索
17. b . Al-Kazemi和c·k·汉”,使用多相粒子群优化训练前馈神经网络,”学报》第九届国际会议上神经信息处理,ICONIP 2002纽约,2002年。视图:谷歌学术搜索
18. 张。、“IEEE系统、人与控制论”IEEE, C,部分应用程序和评论,30卷,不。4、2017。视图:谷歌学术搜索
19. m·k·汗·w·g·同,m . Moinuddin“自动语音和音乐使用神经网络分类”《第二届ACM国际研讨会p。94年,华盛顿,美国,2004年11月。视图:出版商的网站|谷歌学术搜索
20. i r·阿里·h·Kolivand, m . h . Alkawaz“唇同步方法现实表达真实感三维人脸模型,”多媒体工具和应用程序,卷77,不。5,5323 - 5366年,2018页。视图:出版商的网站|谷歌学术搜索
21. 黄懿慧A Falah”,调查和分析的图像加密方法,”国际应用工程研究杂志》上2017年,研究印度出版物。视图:谷歌学术搜索
22. h·伊戈尔·j . Bohuslava j·马丁,马丁,应用神经网络在计算机安全学中,“Procedia工程卷,69年,第1215 - 1209页,2013年。视图:谷歌学术搜索
23. r·a·阿巴斯“改善通过复发性神经网络时间序列预测错误,”澳大利亚法医科学杂志》上, 2018年。视图:谷歌学术搜索
24. m·h·Alkawaz通过人类的面部图像自动亲属验证和识别卷,76多媒体工具和应用程序,Kluwer学术出版社,2017年。视图:出版商的网站
25. m·h·Alkawaz检测Copy-move基于离散余弦变换的图像伪造,神经计算和应用程序、Springer 1 - 2018。视图:出版商的网站

版权

版权©2018她Zajmi等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。