使用伽马记忆滤波器使用最佳聚焦时间滞后复发性神经网络模型的典型CSTR

摘要

设计了一种带伽玛记忆滤波器的聚焦时滞递归神经网络(FTLR NN)来学习典型CSTR过程的微妙复杂动力学。连续搅拌槽式反应器在反应放热的情况下，表现出复杂的非线性操作。从文献综述中可以看出，利用神经模糊系统进行CSTR过程控制的尝试很多，但目前还没有最优的神经网络模型来识别CSTR过程。由于CSTR过程在输入输出映射中包含时间关系，因此时滞递归神经网络特别用于识别。在该模型中，提出了带动量项的标准反向传播算法。基于测试数据集上的MSE、NMSE和相关系数等性能测度，研究了处理元素个数、隐层数、训练和测试百分比、隐层和输出层的学习规则和传递函数等参数。最后，测试了不同规范的效果以及记忆滤波器的变化。结果表明，动态神经网络模型对本文所考虑的问题具有显著的系统识别能力。因此，带伽玛记忆滤波器的FTLR神经网络可以用来学习系统的底层高度非线性动力学，这是本文的一个主要贡献。

1.介绍

在任何生产过程中，当发生化学变化时，化学反应器就在工厂的中心。在尺寸和外观上，它似乎是设备中最不起眼的一项，但它的需求和性能通常是整个工厂设计中最重要的因素。根据操作模式，反应器可分为分批式和连续式。在分批模式下，反应器在反应开始时充电，而产物在反应结束时被移除。在连续搅拌槽式反应器(CSTR)中，在反应物进入槽后，通过引入搅拌器将反应物迅速分散到反应混合物中。搅拌槽式反应器就其性质而言非常适合于液相反应。搅拌槽式反应器由于体积大，因此停留时间长。这与反应器的等温特性相结合，允许在最佳温度下操作较长时间的反应。因此，搅拌槽式反应器已在商业规模上主要用于中低压力的液相反应系统。搅拌槽反应器在反应放热的情况下表现出非线性操作。 Thus, performance prediction becomes difficult due to high degree of nonlinearity hence exact mathematical modeling is not possible. However, due to development of neural networks, it is possible to develop learning machine based on neural network model that can learn from available experimental data. Thus a system model can be constructed by estimating unknown plant parameters using neural networks (as discussed elsewhere [1- - - - - -8])。

灵感来自人类大脑的结构和操作方式应该是,神经网络并行计算系统能够解决许多复杂问题等不同领域的模式识别、计算机视觉、机器人技术、控制和医疗诊断,只是一些(如讨论微积分(9])。神经网络是执行任何非线性输入输出映射的有效工具。它是Cybenko(正如Cybenko所讨论的[10)，他首先证明，在适当的条件下，他们能够一致地逼近任何连续的非线性函数，达到任何期望的精度。正是这些基本结果使我们能够利用神经网络进行系统识别。使用神经网络的一个主要原因是要创造一台能够从经验中学习的机器。他们有能力从一组观察中学习复杂的非线性映射，并预测下一个结果(正如Dudul所讨论的[11]”)。

本文利用具有伽玛记忆滤波器的聚焦时滞递归神经网络(FTLR NN)对一个典型的连续搅拌釜式反应器进行了基于神经网络的辨识和建模。最优模型的估计是基于性能指标如MSE(均方误差)，NMSE(归一化均方误差)，(相关系数)，以及对测试数据集的回归特征进行目视检查。最后，动态神经网络模型对CSTR过程具有良好的系统识别能力。

2.神经网络模型估计

阿科拉(印度马哈拉施特拉邦)工程技术学院反应工程实验室的CSTR用于实验。

它由一个通用电机4000转，0.6 a, 220 - 230v制造的孟买雷米电机。输入/输出实验数据是在实验室CSTR上通过改变输入反应物的流量从零到最大进行严格的实验得到的，并对每个实例进行相应的输出(液体浓度)测试。模拟数据由383个样本组成。这个过程实际上是多输入单输出，输出变量是液体浓度，输入变量是搅拌速度、温度和流量。在这个实验中，当搅拌速度和温度保持在正常值时，系统可以被创建为单输入单输出(SISO)。CSTR过程的另一个基准数据来自互联网，由Jairo ESPINOSA ESAT-SISTA KULEUVEN贡献，Kardinaal Mercierlaan 94, B-3001, Heverlee, Belgium。这里的过程是一个连续搅拌槽反应器，反应是放热的，浓度是通过调节冷却剂流动来控制的。它由7500个样本组成。(“如其他地方所讨论[12，13]”)。

作为过程在输入输出映射中表现出时间关系，尤其用于描述系统行为的多功能FTLR NN模型。权重是系统的可调参数，并且它们通过称为训练的过程由一组示例确定。通常称为它们的示例或训练数据是输入和相应的期望输出集。当训练NN时，下一步是评估它。这是通过标准方法在统计数据中完成的，称为独立验证。此方法将可用数据划分为培训集和测试集。整个数据通常首先随机化。接下来将培训数据分为两个分区;第一分区用于更新网络中的权重，第二个分区用于评估（或交叉验证）训练性能。然后使用测试数据来评估网络概括的程度。 The learning and generalization ability of the estimated NN based model is assessed on the basis of certain performance measures such as NMSE, correlation coefficient, and the regression ability of the NN by visual inspection of the regression characteristics for different output of the system under study (“as discussed by Narendra and Parthasarathy [14]”)。神经化（版本5.0）专门用于获得结果。

2．1．性能的措施

2.1.1。MSE（均方误差）

均方误差的公式是 在哪里=输出PES数（处理元素），=数据集中的样本数量，=网络输出的范例在Pe.,范例所需的输出在Pe.．

2．1．2．归一化均方误差

归一化均方误差定义为: 在哪里=输出pe数，=数据集中的样本数，MSE =均方误差范例所需的输出在Pe.．

2.1.3。(相关系数)

均方误差(MSE)的大小可以用来确定网络输出与期望输出的吻合程度，但它不一定反映两组数据是否在同一方向移动。例如，通过简单地缩放网络输出，我们可以在不改变数据方向的情况下改变MSE。相关系数(）解决这个问题。根据定义，网络输出之间的相关系数和期望的输出是 相关系数限定在范围内[]。什么时候= 1时，两者完全线性正相关X和D.，也就是说，它们共变，也就是说它们的变化量相同。什么时候＝，两者呈完全线性负相关关系和，也就是说，它们以相反的方式(当的增加,D.减少相同的数量）。什么时候= 0时，两者之间不存在相关性和，也就是说，这些变量是不相关的。中间值描述部分相关。例如，相关系数为0.88意味着模型与数据的拟合相当好。

2．2.基于FTLR神经网络模型的CSTR建模

由于在严格的实验后收集的数据基础上存在一个时间结构，动态建模肯定有助于提高性能。动态nn是一种拓扑结构，其设计目的是在输入-输出映射中显式地包含时间关系。时间是学习过程中不可缺少的组成部分。正是通过将时间纳入神经网络的操作，它才能够跟踪非平稳过程中的统计变化。时滞递归网络(tlrn)是利用短期记忆结构扩展的mlp。在这里，“静态”NN(如MLP)被赋予了动态属性(如Dudul [15])。这反过来又使网络对信息承载信号的时间结构作出反应。为了使神经网络是动态的，它必须被赋予内存。这种记忆可以分为“短期”记忆和“长期”记忆。长期记忆是通过监督学习建立在神经网络中的，通过监督学习，训练数据集的信息内容(部分或全部)存储在网络的突触权值中(普林西比等人讨论过[16])。然而，如果手头的任务具有时间维度，则需要某种形式的“短期”记忆来使网络动态。

一个MLP的输入处理元素被一个抽头延迟线取代，它后面跟着一个MLP NN。这种拓扑结构称为聚焦时延神经网络(TDNN)。聚焦拓扑只包括连接到输入层的内存内核。这样，只有过去的输入才会被记住。聚焦TDNN的延迟线存储输入的过去样本。抽头延迟线和连接抽头到第一个隐藏层的PEs的权重的组合是简单的线性组合，然后是一个静态非线性。

通常，gamma短期记忆机制与称为聚焦的受限拓扑中的非线性pe相结合。基本上，聚焦TDNN的第一层是滤波层，其自适应滤波器的数量与第一隐藏层中的pe相同。线性组合器的输出经过一个(隐含层PE的)非线性，然后由MLP的后续层进一步处理以进行系统识别，其中的目标是通过结合当前的信息和预定义的过去样本数量(由抽头延迟线的大小给出)，找到产生与系统当前输出最匹配的网络输出的权重。

存储层的大小取决于描述输入特性所需的过去样本的数量。这个数字取决于输入和任务的特征。这个集中的TDNN仍然可以用静态反向传播进行训练，只要在每个时间步骤都有所需的信号可用。这是因为输入层的抽头延迟线没有任何自由参数，所以只有静态前馈路径中的自适应参数。

内存PE在许多输入中接收，并产生多个输出的延迟版本，组合输入， 在哪里为延迟函数。

这些短时记忆结构可以用线性自适应滤波理论进行研究是一个线性算子。需要强调的是，记忆PE是一种短期记忆机制，以明确区分网络权值，网络权值代表网络的长期记忆。

基本上有两种类型的内存机制：通过反馈延迟和内存的内存。我们寻求找到最通用的线性延迟运算符（自动回归移动平均模型的特殊情况），其中存储迹线将从前面的内存跟踪中递归地计算．该存储器PE是广义前馈存储器PE。可以看出，广义前馈记忆PE的定义关系为(由Principe等人讨论[16]）

在哪里是卷积操作，是因果时间函数吗为点击索引。因为这是一个递归方程，应该独立分配一个值。这种关系意味着下一个存储器跟踪由具有相同功能的卷积从先前的存储器跟踪构成，但未指定内存内核。不同的选择将为投影空间轴提供不同的选择。当我们应用输入时到广义前馈存储器PE，抽头信号成为

的卷积与内存内核。为了， 我们有

在哪里可单独指定。投影的输入信号，通过对抽头信号进行线性加权得到 最明显的选择是使用输入信号的过去的样本直接，即抽头信号变为．这种选择对应于

在这种情况下,也是达三角一函数(用于分接延迟线的delta函数算子)。内存深度由严格控制，也就是说，记忆的痕迹储存着过去输入的样本。时延神经网络正是使用了这种基的选择。

内存PE在每次敲击时都会衰减信号，因为它是具有相同时间常数的泄漏积分器级联。记忆体PE是广义前馈记忆体PE的一种特殊情况 和．伽玛存储器基本上是具有相同时间常数的低通滤波器级联．伽马记忆的整体脉冲响应是

式中(:)是由?定义的二项式系数＝的整数值和，以及总体的脉冲响应为不同的P.代表intent的离散版本和伽玛函数（如de vries和principe所讨论的[17)，因此记忆的名字。

该存储器PE具有一个多极，可以沿着真实的z域轴自适应移动，也就是说，该存储器只能实现低通或高通转移函数。高通传递函数创建了一种额外的能力，通过改变gamma PE(的脉冲响应)中样本的符号来模拟快速移动的信号交流信号)。采样深度参数用于计算抽头数量包含在网络的存储器结构中。

2．3.基于递归神经网络模型的CSTR建模

完全复发网络将隐藏的层反馈到自身。部分复发网络以完全复制的网开始，并添加前馈连接，绕过复发性，有效地将复发部分视为状态存储器。这些经常性网络可以具有无限的存储深度，从而通过时间以及通过瞬时输入空间找到关系。大多数现实世界数据包含其时间结构中的信息。经常性网络是非线性时间序列预测，系统识别和时间模式分类中的最新技术。

有四种输入层结构可供选择。如果你的数据是多维的，你应该先尝试一个简单的轴突。如果你的数据是一维时间序列，那么使用其中一个记忆轴突。有两种循环结构可供选择。完全重复结构通过重复突触连接将第一层隐藏层与自身连接起来。部分复发性结构通过突触，从输入轴突到第一隐藏层之后的一层，增加了一个前馈连接。在这种情况下，循环结构充当前馈结构的一种状态。

3.递归神经网络模型的仿真

为确定不同神经网络模型的最优配置，进行了详尽细致的实验研究。在性能度量的基础上，尝试所有可能的变化来决定隐藏层的数量和每个隐藏层中的神经元数量。然后改变样本的训练和测试百分比，以获得每个神经网络模型的最佳训练-测试样本。仿真研究了不同的有监督学习规则、不同的传递函数以及输出层不同的传递函数。最后测试了不同规范对模型的影响，以确定最优的神经网络。通过对MSE、NMSE、相关系数等性能指标以及神经网络模型对测试数据集的回归能力进行细致的检验，确定了模型的最优参数，如表所示1，2，3.,4．

为了确定伽玛参数的最佳值，进行了严格的实验研究。同样，对于每个变化，网络运行三次不同的随机权重初始化。在计算机模拟中，gamma参数在0.1的区间内逐渐从0.0到1.8变化，同时FTLRNN的所有其他参数保持其名义默认值。gamma参数的变化结果如图所示2和3.．他们仔细的检查发现，随着gamma的初始增加，测试数据集中的MSE和NMSE开始下降。同时，相关系数的影响不大。这种热情的趋势一直持续到达到伽马的阈值，超过这个阈值后，MSE和NMSE开始增加，相关系数几乎没有减少。仔细观察图表2和3.的阈值分别为1.1和0.5，表明具有gamma记忆的FTLR神经网络模型的识别性能最好。

数据4和6证明了FTLR NN模型在gamma记忆分别为1.1和0.5的测试数据集上的回归能力。在这里，我们将期望的输出与带有伽马记忆的神经网络模型所产生的实际输出进行了比较，并且从近距离的视觉观察中发现，该模型(带有伽马记忆)优雅地学习了系统丰富的非线性动力学。的比较数据4和5（CSTR实验室。数据）和数据6和7(CSTR基准数据)表明，FTLR神经网络模型的回归能力远好于完全回归神经网络模型。这一事实也从表中所示的神经网络模型的性能度量比较中得到了证实5．

4.结论

可见，FTLR神经网络模型能够学习两个CSTR过程的非线性动力学。在本文中，对测试实例证明了带有伽马记忆滤波器的FTLR神经网络模型非常接近CSTR过程的期望输出。从给出的结果可以看出，当考虑到性能测量和对回归特性的目视检验时，具有实验室数据1.1和净数据0.5的伽马记忆滤波器的FTLR神经网络模型比完全循环神经网络模型有优势。因此，对于使用神经网络识别CSTR过程，可以使用带有gamma记忆滤波器的FTLR神经网络模型来学习系统底层的高度非线性动力学，这是本文的主要贡献。

参考文献

1. 葛绍生，张军，李廷海，“基于输入输出模型的连续搅拌槽的直接MNN控制”，《机械工程学报》，第4期第41届SICE年会论文集(SICE '02)，第5卷，第2770-2775页，2002。视图:谷歌学术搜索
2. O. C. Daniel和M. H. Elder，“使用前馈神经网络并行自适应控制的化学反应器基准”第六届巴西神经网络研讨会论文集里约热内卢，巴西，2000年。视图:谷歌学术搜索
3. S.-R。林和js。于，“基于神经模糊系统的连续搅拌釜式反应器鲁棒控制”机器学习与网络通知会议的诉讼程序，第3卷，第1483-1488页，2002。视图:谷歌学术搜索
4. 田勇，张建军，“基于神经网络的进料间歇式反应器优化控制”，中华人民大学学报(自然科学版)第六届欧洲智能技术与软计算大会论文集(EUFIT’98)，第1卷，第308 - 312,1998年。视图:谷歌学术搜索
5. 乔西和齐丹巴拉姆，“输入多重性反应器Hammorstein模型的辨识”，《印度化学工程》，第45卷，第33页，2003年。视图:谷歌学术搜索
6. “一种自适应积分加状态的好氧连续搅拌槽式反应器的神经控制”IEEE智能系统国际会议论文集，第1卷，第337-343页，2004。视图:谷歌学术搜索
7. 刘飞，陈建军，“基于模糊控制的CSTR控制器设计”，载IEEE制度，人和控制论会议的诉讼程序，页2249-2253,2004。视图:谷歌学术搜索
8. M. Khodabandeh和H.Bolandi，“连续搅拌釜反应器的状态估计和适应机构的模型预测控制”控制、自动化和系统国际会议论文集，第1466-1471页，2007。视图:谷歌学术搜索
9. “基于s形函数叠加的近似”，《控制、信号和系统数学》，第2卷，第2期。4，第303-314页，1989。视图:出版商网站|谷歌学术搜索|Zentralblatt数学|MathSciNet
10. S. V. Dudul，“利用两层感知器神经网络预测Lorenz混沌吸引子”，《应用软计算杂志》，第5卷，第5期。4，页333-355,2005。视图:出版商网站|谷歌学术搜索
11. 陈志强，“基于时间滞后递归神经网络模型的液体饱和蒸汽换热器的辨识”，《中国机械工程》，vol. 53, no. 1。1，页69-82,2007。视图:谷歌学术搜索
12. S. Haykin，《神经网络:一个全面的基础》，培生教育，印度德里，第二版，2003。
13. K. S. Narendra和K. Parthasarathy，“使用神经网络的动态系统识别和控制”，IEEE神经网络汇刊，第1卷，第1期。1，第4-27页，1992。视图:谷歌学术搜索
14. J. C. Principe, N. R. Euliano, C. Lefebvre，神经和自适应系统-通过模拟的基本原理，John Wiley & Sons，纽约，纽约，美国，第1版，2000。
15. B. De Vries和J. C. Principe，“gamma模型-时间处理的神经模型”，《神经网络》，第5卷，565 - 576,1992。视图:谷歌学术搜索
16. J. D. Morningred, B. E. Paden, D. E. Seborg, and D. A. Mellichamp，“一种自适应非线性预测控制器”，刊于美国管制会议论文集(ACC '90)，第2卷，第1614-1619页，1990。视图:谷歌学术搜索
17. G. Lightbody和G. W. Irwin，“基于嵌入式神经系统模型的非线性控制结构”，《IEEE神经网络学报》，第8卷，第2期。3，第553-567页，1997。视图:谷歌学术搜索

版权

版权所有©2009 S. N. Naikwad和S. Dudul。这是分布下的开放式访问文章创意公共归因许可证，允许在任何媒介上不受限制地使用、传播和复制，但必须正确引用原作。