稳定性分析的神经网络模式识别系统

文摘

本文对一些非线性系统识别相关的问题。识别的稳定性分析神经网络模型提出了非线性动态系统。约束自适应稳定的反向传播法提出了更新和用于拟议的识别方法。修改提出了反向传播算法训练得到一个自适应学习速率保障收敛稳定性。提出学习规则是反向传播算法的学习速率条件下属于一个指定范围定义的稳定域。满足这样的条件,在学习过程中不稳定现象是可以避免的。李雅普诺夫分析导致的计算表达式的一个方便的自适应学习速率验证收敛稳定性标准。最后,阐述了在几个模拟训练算法。结果证实CSBP算法的有效性。

1。介绍

过去几十年见证了使用人工神经网络(ann)在许多实际应用和提供了一个有吸引力的范式为范围广泛的自适应复杂系统。近年来,人工神经网络有着很大的成功,已被证明有用的各种模式识别特征提取的任务。例子包括光学字符识别、语音识别和自适应控制,等等。保持步伐的巨大需求多样化的应用领域,许多不同种类的安架构和学习类型提出了满足不同需要的鲁棒性和稳定性。

系统辨识领域倍受关注,在过去几十年,现在是一个相当成熟的领域有许多强大的处理的方法控制工程师。迄今在线系统识别方法是基于递归方法,如最小二乘法,对大多数系统中表示为线性参数。

在过去的几年里,几位作者1- - - - - -3]表明神经网络对非线性动态黑盒模型。设计问题的数学模型的过程只使用观测数据吸引了大量关注,从学术和工业的观点。神经模型既可用模拟器或模型。

最近,前馈神经网络已被证明取得成功的结果在系统识别和控制4]。这种神经网络是静态的输入/输出映射方案,可以近似一个连续函数任意程度的准确性。结果也被扩展为复发性神经网络(5,6]。

最近的结果表明,神经网络技术似乎非常有效识别广泛的一类复杂非线性系统不能获得完整的模型信息。李雅普诺夫方法是直接使用获得稳定的连续时间神经网络训练算法(7- - - - - -9]。神经网络的稳定性可以在找到10,11]。学习算法稳定性的讨论(6,12]。

众所周知,传统的识别算法是稳定的理想植物(13- - - - - -15]。在干扰和未建模动态的存在,这些自适应程序可以去很容易不稳定。缺乏鲁棒性参数识别是在(10),在1980年代成为一个热点问题。中提出了几个健壮的改性技术(13,14]。她的体重调整一下给算法的神经网络是一种参数识别;正常梯度算法是稳定的,当神经网络模型可以准确地匹配非线性植物(6]。一般来说,一些修改正常梯度或采用反向传播算法,使得学习过程是稳定的。例如,在[12,16),一些困难的限制被添加到学习法律,和在11),动态反向传播与NLq稳定约束已经被修改。

本文组织如下。部分2本文描述了神经标识符结构考虑和通常的反向传播算法。节3通过稳定性分析、约束自适应稳定的反向传播算法(CSBP)提出提供稳定的自适应更新过程。三个仿真的例子给节中提出的算法的有效性4。

2。预赛

本节的主要担忧是引入前馈神经网络,采用的体系结构,以及一些概念的反向传播训练算法。考虑下面的离散输入输出非线性系统: 植物神经模型可以表示为在哪里,是重量参数向量的神经模型。

一个典型的多层前馈神经网络图所示1,在那里是jth隐藏神经元的输入,是jth隐藏神经元输出我,j,和k表明神经元,是神经元之间的重量吗我和神经元j,而是神经元之间的重量吗j和输出神经元。对于所有神经元,非线性激活函数被定义为输出被认为是神经网络的训练神经模型调整重量参数,模拟非线性动力学。输入输出训练是来自工厂的操作历史。

使用梯度下降,连接神经元的重量我对神经元j被更新为

在哪里和是学习速率。的偏导数计算权重的向量W和V, 反向传播算法已经成为最受欢迎的一个训练多层感知器(1]。一般来说,一些修改正常梯度或采用反向传播算法,使得学习过程是稳定的。例如,在[12,16),添加了一些艰难的限制在学习法律,并在11),动态反向传播与稳定约束被修改。

研究改进算法的前馈神经网络正在成为一个具有挑战性的领域。这些研究包括启发式技术的发展,出现的独特性能的研究标准的反向传播算法。这些启发式技术包括等思想不同的学习速率17),使用动力[18),重新调节变量(19]。

3所示。稳定性分析和CSBP算法公式

在文献中,李雅普诺夫合成4,5)由一个积极的选择函数的候选人V导致一个适应法律担保其衰减的计算,也就是说,连续系统和离散时间系统。在这些假设下,函数V叫做李雅普诺夫函数,保证了系统的稳定性。我们的目标是稳定适应法律的决心确保识别计划在接下来的稳定性和有界性的输出信号。学习过程的稳定在一个识别方法会导致一个更好的造型和保证达到的性能。提出学习规则是反向传播算法采用学习速率的限制。满足这样的条件,在学习过程中不稳定现象是可以避免的。这个问题已经在文献中治疗的神经识别这工作被认为是一个解决方案扩展问题。这项工作包括约束自己的创意。事实上,学习速率的选择对该约束确保一个有效的识别不稳定情况下采用任意学习速率特别是当它不属于指定的稳定域。在提出一个通过最初的计算结果,学习速率是迭代和计算瞬间对约束条件进行了详细阐述。以下假设是由系统(1)。

假设1。未知的非线性函数是连续可微的。

假设2。系统输出可以测量和它的初始值被认为是在一个紧凑的集吗。

定理1。李雅普诺夫稳定的学习速率的识别方案是保证验证下列不等式: 在哪里表示的梯度J关于。

证明。考虑到李雅普诺夫函数在哪里表示矩阵跟踪操作,和表示权向量参数的最优值。
的计算表达会导致在哪里采用适应法律梯度算法。我们有偏导数表示为在哪里给出了偏导数让一个和B被定义如下: 的表达式计算为在哪里稳定性条件满意只有解决这个ε二级方程导致建立中给出的结果(7);如果ε满足以下条件: 在哪里
使用的表达式和我们获得在哪里表示,表示,D表示。
之前的结果是有用的对于反向传播适应法律采用相同的学习速率训练神经网络架构。一个扩展是由下一节。这个扩展由两个不同限制学习的事实考虑利率的提高首先阐述了算法的效率。

定理2。让是学习利率的调优参数神经标识符,让被定义为 渐近收敛是保证如果选择学习率来满足 在哪里

引理1。如果选择的学习速率,然后一个收敛的条件

证明。考虑到李雅普诺夫函数在哪里的计算表达会导致在哪里
的表达是由用的表达在,我们有所以最后,当我们定义矩阵范数通过这个定理建立了结果。
稳定性条件满意只有在哪里

备注1。通过模拟,学习利率选择属于定义学习利率稳定范围证明CSBP提出算法的有效性。保证收敛性对应的学习速率在哪里是一个小值保障收敛稳定性条件。

4所示。仿真结果

在本节中,两个离散时间系统被认为是展示下面讨论的结果的有效性。

4.1。一阶系统

认为系统是文学中一个著名的神经自适应控制和识别。下面的复发性方程描述的系统(2]: 对于神经模型,两个输入的三层神经网络被选,三个隐藏和一个输出节点。反曲的激活函数在所有节点中使用。

权值初始化为小随机值。在每个迭代评估通过学习速率(21)。也认识到培训执行很好当学习速率小。

作为输入信号,正弦定义的表达式是一个选择两种情况在120年的模拟实现迭代。两个学习速率值是固定的学习速率范围在(7)。

通过数字仿真结果给出2和3。

数据2和3表明,如果学习速率属于中定义的范围(7),保证稳定的识别方案。通过这个模拟显示,识别目标得到满足。这个领域学习速率的变化,识别不稳定,识别目标是遥不可及的。

4.2。二阶系统

一个例子是用来说明更新法律制约的有效性。考虑非线性离散时间工厂在哪里。

动态过程很有趣。事实上它有一阶低通滤波器的行为对于输入信号幅度约为0.1,一个线性二阶系统的行为在小振幅()和非线性二阶系统的行为的大输入振幅()[20.]。

神经模型的三层神经网络选择有三个输入,三个隐藏和一个输出节点。反曲的激活函数在所有节点中使用。

权值初始化为小随机值。学习速率参数计算瞬间。作为输入信号,正弦定义的表达式是一个选择两种情况在120年的模拟实现迭代。两个学习率值是固定的学习速率范围在(7)。

通过数字仿真结果给出4和5。

通过数字仿真结果4和5显示,学习的速度任意选择预定义的稳定域会导致一个不稳定的考虑系统的识别;然而,属于范围验证指定的学习速率稳定条件保证了跟踪能力和稳定的识别方案

示例1:(半导体制造过程)的识别。这个例子说明了我们的优势和有效性approach-on-line自调优产权(稳定)。我们认为这里的输出简单的一阶线性过程的形式21] 在哪里和工艺参数,是自回归系数,N表示噪音的术语,它遵循一个ARMA过程: 在这个模拟过程中,是一个均匀分布和系统参数选为这里,植物的电流输出取决于四个前输出和四个前输入。在这种情况下,前馈神经网络,四个输入节点给适当的过去值的和被使用。在本文中,只有四个值被送入FFNN决定输出。FFNN在训练中,我们使用100时代。测试输入信号用于确定识别结果和由(37)。
权重是非常小的随机值初始化。每次迭代学习速率参数计算。
模拟实现的两种情况。两个学习率值是固定的学习速率范围在(21)(见图6和7)。
为了比较不同学习速率的表演,规则是选择在学习速率稳定范围。
采用一种自适应学习速率限制在稳定域内,更快的收敛性,稳定性,保证和跟踪能力。

5。结论

为了避免在学习过程中不稳定的现象,限制稳定反向传播算法(CSBP)。保证一个稳定的自适应更新过程。李雅普诺夫分析是为了提取新的更新配方含有不等式约束。的收敛速度和跟踪能力CSBP算法主要是由学习速率决定。对于一个更大的学习速率,有更快的收敛但贫穷的跟踪能力;而对于一个较小的学习速率,得到收敛较慢,但更好的跟踪能力。CSBP算法,加快收敛、稳定性和跟踪能力保证。方法的适用性和有效性提出了通过仿真例子。

引用

陈和纳伦德拉k . s . .“识别和控制一个基于其线性化的非线性离散时间系统:一个统一的框架中,“IEEE神经网络,15卷,不。3、663 - 673年,2004页。视图:出版商的网站|谷歌学术搜索
k·s·k·高”使用神经网络识别和控制动力系统,”IEEE神经网络,1卷,不。1,速率,1990页。视图:出版商的网站|谷歌学术搜索
j·d·Bošković和k . s .兰德”,比较线性,非线性和神经元自适应控制器的馈料式发酵过程,”自动化没有,卷。31日。6,817 - 840年,1995页。视图:出版商的网站|谷歌学术搜索|MathSciNet
w . Yu和李x”,一些动态神经网络的稳定特性,”IEEE电路和系统,48卷,不。2、256 - 259年,2001页。视图:出版商的网站|谷歌学术搜索
Z.-P。江和y . Wang”Input-to-state稳定对于离散时间非线性系统,”自动化,37卷,不。6,857 - 869年,2001页。视图:出版商的网站|谷歌学术搜索|Zentralblatt数学|MathSciNet
m . m . Polycarpou和p . a . loannou neural-type结构化网络学习和收敛性分析。”IEEE神经网络,3卷,不。1,39-50,1992页。视图:出版商的网站|谷歌学术搜索
美国通用电气,c . c .挂t·h·李,t·张,稳定的自适应神经网络控制,Kluwer学术出版商、波士顿、质量,美国,2001年。
e . b . Kosmatopoulos m . m . Polycarpou m·a . Christodoulou和p . a . loannou”高阶神经网络结构识别的动力系统,”IEEE神经网络》第六卷,没有。2、422 - 431年,1995页。视图:出版商的网站|谷歌学术搜索
a . s . w . Yu Poznyak, x,“多层动态神经网络对非线性系统在线识别,”国际期刊的控制,卷74,不。18日,第1864 - 1858页,2001年。视图:出版商的网站|谷歌学术搜索|MathSciNet
z冯和a . n . Michel”一类离散时间系统的鲁棒性分析与应用神经网络,”诉讼的美国控制(ACC会议上的99)5卷,第3483 - 3479页,圣地亚哥,加利福尼亚州,美国,1999年6月。视图:出版商的网站|谷歌学术搜索
j . a . k . Suykens j·范德维尔,b . l . r . De沼泽。” $问_{问}$ 理论:检查和实施稳定的复发性神经网络非线性建模、”IEEE信号处理,45卷,不。11日,第2691 - 2682页,1997年。视图:出版商的网站|谷歌学术搜索
l·金·m·m·古普塔,“稳定的动态递归神经网络反向传播学习,”IEEE神经网络,10卷,不。6,1321 - 1334年,1999页。视图:出版商的网站|谷歌学术搜索
p . a . loannou和j .太阳,鲁棒自适应控制美国,新世纪,上台北,1995年。
w . Yu”,使用离散时间非线性系统辨识递归神经网络学习算法稳定,”信息科学卷,158年,第147 - 131页,2004年。视图:出版商的网站|谷歌学术搜索|MathSciNet
e·巴纳德”,训练神经网络,优化”IEEE神经网络,3卷,不。2、232 - 240年,1992页。视图:出版商的网站|谷歌学术搜索
b . Egardt自适应控制器的稳定性课堂讲稿在控制和信息科学20日,施普林格,柏林,德国,1979年。
r·a·雅各布斯”,通过学习速率适应收敛率增加,”神经网络,1卷,不。4、295 - 307年,1988页。视图:出版商的网站|谷歌学术搜索
t . p . Vogl j . k . Mangis a . k . Rigler w·t·辛克和d . l . Alkon“误差反向传播方法,加速收敛”生物控制论卷,59号4 - 5,257 - 263年,1988页。视图:出版商的网站|谷歌学术搜索
t . Tollenaere“SuperSAB:快速扩展性能良好的自适应反向传播,”神经网络,3卷,不。5,561 - 573年,1990页。视图:出版商的网站|谷歌学术搜索
学术界。李和c . c .腾”控制的非线性动态系统通过与饱和约束的自适应PID控制方案,“国际期刊的模糊系统,4卷,不。4、922 - 927年,2002页。视图:谷歌学术搜索
e . Del Castillo和a . m .赫维茨”运行的过程控制:文献综述和扩展”《质量技术卷,29号2、184 - 196年,1997页。视图:谷歌学术搜索

建模和模拟在工程

文摘