本文对一些非线性系统识别相关的问题。识别的稳定性分析神经网络模型提出了非线性动态系统。约束自适应稳定的反向传播法提出了更新和用于拟议的识别方法。修改提出了反向传播算法训练得到一个自适应学习速率保障收敛稳定性。提出学习规则是反向传播算法的学习速率条件下属于一个指定范围定义的稳定域。满足这样的条件,在学习过程中不稳定现象是可以避免的。李雅普诺夫分析导致的计算表达式的一个方便的自适应学习速率验证收敛稳定性标准。最后,阐述了在几个模拟训练算法。结果证实CSBP算法的有效性。
过去几十年见证了使用人工神经网络(ann)在许多实际应用和提供了一个有吸引力的范式为范围广泛的自适应复杂系统。近年来,人工神经网络有着很大的成功,已被证明有用的各种模式识别特征提取的任务。例子包括光学字符识别、语音识别和自适应控制,等等。保持步伐的巨大需求多样化的应用领域,许多不同种类的安架构和学习类型提出了满足不同需要的鲁棒性和稳定性。
系统辨识领域倍受关注,在过去几十年,现在是一个相当成熟的领域有许多强大的处理的方法控制工程师。迄今在线系统识别方法是基于递归方法,如最小二乘法,对大多数系统中表示为线性参数。
在过去的几年里,几位作者
最近,前馈神经网络已被证明取得成功的结果在系统识别和控制
最近的结果表明,神经网络技术似乎非常有效识别广泛的一类复杂非线性系统不能获得完整的模型信息。李雅普诺夫方法是直接使用获得稳定的连续时间神经网络训练算法(
众所周知,传统的识别算法是稳定的理想植物(
本文组织如下。部分
本节的主要担忧是引入前馈神经网络,采用的体系结构,以及一些概念的反向传播训练算法。考虑下面的离散输入输出非线性系统:
一个典型的多层前馈神经网络图所示
前馈神经网络模型。
使用梯度下降,连接神经元的重量<我talic> 我我talic>对神经元<我talic> j我talic>被更新为
研究改进算法的前馈神经网络正在成为一个具有挑战性的领域。这些研究包括启发式技术的发展,出现的独特性能的研究标准的反向传播算法。这些启发式技术包括等思想不同的学习速率
在文献中,李雅普诺夫合成
未知的非线性函数<我nline-formula>
系统输出<我nline-formula>
李雅普诺夫稳定的学习速率的识别方案是保证验证下列不等式:
考虑到李雅普诺夫函数
的计算<我nline-formula>
使用的表达式<我nline-formula>
之前的结果是有用的对于反向传播适应法律采用相同的学习速率训练神经网络架构。一个扩展是由下一节。这个扩展由两个不同限制学习的事实考虑利率的提高首先阐述了算法的效率。
让<我nline-formula>
如果选择的学习速率<我nline-formula>
考虑到李雅普诺夫函数
的表达<我nline-formula>
稳定性条件<我nline-formula>
通过模拟,学习利率选择属于定义学习利率稳定范围证明CSBP提出算法的有效性。保证收敛性对应的学习速率
在本节中,两个离散时间系统被认为是展示下面讨论的结果的有效性。
认为系统是文学中一个著名的神经自适应控制和识别。下面的复发性方程描述的系统(
权值初始化为小随机值。在每个迭代评估通过学习速率(
作为输入信号,正弦定义的表达式是一个选择
通过数字仿真结果给出
进化系统输出和神经模型的输出(<我nline-formula>
进化系统输出和神经模型的输出(<我nline-formula>
数据
一个例子是用来说明更新法律制约的有效性。考虑非线性离散时间工厂
动态过程很有趣。事实上它有一阶低通滤波器的行为对于输入信号幅度约为0.1,一个线性二阶系统的行为在小振幅(<我nline-formula>
神经模型的三层神经网络选择有三个输入,三个隐藏和一个输出节点。反曲的激活函数在所有节点中使用。
权值初始化为小随机值。学习速率参数计算瞬间。作为输入信号,正弦定义的表达式是一个选择
通过数字仿真结果给出
进化系统输出和神经模型的输出(<我nline-formula>
进化系统输出和神经模型的输出(<我nline-formula>
通过数字仿真结果
这个例子说明了我们的优势和有效性approach-on-line自调优产权(稳定)。我们认为这里的输出简单的一阶线性过程的形式
权重是非常小的随机值初始化。每次迭代学习速率参数计算。
模拟实现的两种情况。两个学习率值是固定的学习速率范围在(
为了比较不同学习速率的表演,规则是选择在学习速率稳定范围。
采用一种自适应学习速率限制在稳定域内,更快的收敛性,稳定性,保证和跟踪能力。
进化系统输出和神经模型的输出(<我nline-formula>
进化系统输出和神经模型的输出(<我nline-formula>
为了避免在学习过程中不稳定的现象,限制稳定反向传播算法(CSBP)。保证一个稳定的自适应更新过程。李雅普诺夫分析是为了提取新的更新配方含有不等式约束。的收敛速度和跟踪能力CSBP算法主要是由学习速率决定。对于一个更大的学习速率,有更快的收敛但贫穷的跟踪能力;而对于一个较小的学习速率,得到收敛较慢,但更好的跟踪能力。CSBP算法,加快收敛、稳定性和跟踪能力保证。方法的适用性和有效性提出了通过仿真例子。