求解广义线性矩阵方程的一般复发性神经网络

抽象的

本简述提出了用于在线求解在线的非线性复发性神经网络的一般框架，以通过全球收敛性解决在线概括的线性矩阵方程（GLME）。如果利用线性激活函数，则非线性复发性神经网络的神经状态矩阵可以全球和指数地收敛到GLME的独特理论解。另外，与使用线性激活函数的情况相比，提出了两种特定类型的非线性激活功能，用于一般非线性反复性神经网络模型以实现优越的收敛性。示出了说明性实施例，以证明一般非线性复发性神经网络模型的功效及其在由上述非线性激活功能激活时的优异收敛性。

1.介绍

求解广义线性矩阵方程（GLME）及其变量是科学和工程领域（如反馈控制系统设计）中广泛遇到的一个重要问题[1.]，智能天线阵列处理[2.]）。众所周知的Lyapunov方程和Sylvester方程可以被视为GLME的主要特殊情况，具有减少的系数和可变矩阵，这对过去几十年来说已经吸引了研究人员和工程师的广泛兴趣[3.–7.]。在不失一般性的情况下，在此简介中，GLME问题被制定为以下形式： 在哪里 , ， 和 表示系数矩阵和 表示要获得的未知矩阵。通常，分析哪种情况（1.）将以传统的数值方式进行。保证此类glme（1.）通过独特的理论解决方案，系数矩阵可解决） 和 可以实际配置它们的特征值同时存在正或负面。在许多情况下，（1.）可以是多个甚至没有，取决于什么样的组合矩阵和将与未知矩阵相关联.由于其固有的缺点，许多传统的串行方法可能不足以解决在线GLME，并且并行计算方法似乎更优选[8.–13.]。

基于模拟求解器的动态神经网络作为另一种有前途的并行计算方法，在计算智能领域得到了广泛的应用[12.,14.–16.]。与许多传统的数值方法不同，基于动态神经网络的方法可以在特定的并行和分布式软件或/和硬件架构上更加可实现[17.,18.]。这可以高度放大当前神经网络对各种潜在应用领域的高性能计算。一种基本类型的动态神经网络，复发性神经网络类似于自然瞬态和稳定过程，已应用于具有大规模模拟/数字电路原型的在线并行计算任务中[19.]。

我们本简要的主要贡献是开发经常性神经网络模型的一般框架来解决Glme（1.）。由于神经网络硬件实现中的非线性现象频繁发生[19.]，提出的通用非线性框架可能更适合基于模拟的计算。一般递归神经网络的神经状态可以全局收敛到理论解。如果一般的递归神经网络被线性函数激活，则可以实现指数收敛。另一方面，与线性模型相比，此类一般神经网络的某些非线性形式可能能够获得更精确的解和更快的收敛速度，因此我们为一般递归神经网络模型提出了两个特定的非线性激活函数，以获得更优的求解GLME的性能(1.）。

2.一般复发性神经网络求解器

在本节中，我们介绍并分析了求解GLME的递归神经网络的一般模型(1.）。如果通过线性函数激活此类模型，则状态矩阵 一般复发性神经网络可以全球和指数地融合到独特的理论解决方案 .通过利用特定的非线性奇数单调增加的激活功能，预计会达到优异的收敛性。在随后的小节中，我们将与其线性形式一起讨论通用非线性复发神经网络模型的收敛性。

2.1. 一般非线性神经网络模型

在此简介中，提出了一般非线性反复性神经网络模型来解决glme（1.） 如下： 在哪里运营商 表示非线性激活函数阵列，其每个标量值映射单元 是一个单调增加的奇数激活函数和下标表示矩阵/载体的转换。这种经常性神经网络模型（2.）可以作为经常性神经网络的延长非线性版本概括[16.[随后的线性模型。对于一般非线性复发性神经网络模型（2.），我们将有以下定理。

定理1。神经状态矩阵 普通非线性复发性神经网络模型（2.)，从任何初始值开始 ，全局会聚到理论解决方案 glme（1.）。

证明。首先，我们定义神经状态与理论解决方案之间的距离 .因此，通过代替 神经网络模型(2.），可以进一步等同地转化为 接下来，对应的李雅普诺夫函数候选者定义如下： 运营商在哪里,， 和分别表示矩阵的Frobenius范数、向量的两个范数以及矩阵和向量之间的Kronecker积 生成通过堆叠所有列向量获得的新列向量 在一起
时间衍生 是 考虑以下基于(2.）， 我们可以进一步得出(5.） 作为 对于非线性激活函数阵列，它的单个标量值项是奇怪的，单调地增加，可以保证 因此， ，这意味着 全局会聚到零矩阵 根据李雅普诺夫理论[20.];也就是说，州矩阵 的(2.)全局收敛到理论解 glme（1.). 以上所有这些都完成了证明。

根据定理1.，通用非线性神经网络模型(2.）可以通过许多奇怪的单调越来越多的函数来激活来解决glme（1.)这与现有的理论解决方案（唯一或多个）是一致的，这将广泛扩大(2.）走向歧管模型的生成。正如我们所知道的那样，在神经网络的模拟/数字电路原型中经常遇到非线性元素[19.,21.];涉及非线性激活功能可以有利于潜在的设计和含义。另一方面，求解GLME需要更快的收敛性（1.）当线性模型可能不满足增加的计算要求时。预期，非线性神经网络模型（2.）可以获得卓越的融合（10.）如果利用了适当的激活函数。在诱导上卓越的非线性功能激活模型之前，我们在此解决了一般非线性复发性神经网络的线性模型，并讨论了其收敛性。

2.2。线性神经网络模型

解决glme（1.），我们首先定义了标量标值的错误功能 有关联 （1.），运营商表示frobenius规范。为了消除错误功能零零增加，采用梯度 - 下降方式： 其中设计参数 缩放收敛速度。

根据矩阵差异理论的初步[22.]，（9）进一步扩展到以下动态形式：

线性模型（10.），我们将有以下定理。

定理2。线性神经网络模型(10.)用于求解GLME(1.)，从初始条件开始 ，国家矩阵 的(10.）可以全球指数融合到独特的理论解决方案 .

证明。使用转型 之间和初始条件 ，动态方程（10.）等效地得出如下： 具有 经过考虑的， （11.）可以简化为 类似地，我们定义了以下李雅普诺夫函数候选者： 随着时间的衍生品存在 存在一个正标量 [23.]是最小的特征值 满意 如果GLME的唯一解条件(1.）持有。因此，我们可以 那是， 这可以进一步等同地重写为 利用李雅普诺夫理论[20.]，（14.)及(18.）表示状态矩阵 的(10.）全球和指数融合到独特的理论解决方案 glme（1.). 因此，证据是完整的。

值得注意的是，如果glme（1.）具有多种理论解决方案 ，标量等于零。在这种情况下，线性模型（10.)至少可以保证其全局收敛，但不能以显式指数收敛速度收敛。

3.具有特定非线性激活功能的优越收敛

根据定理1.，奇数单调增加的激活功能能够保证全球经常性神经网络的全局收敛（2.）。如果采用线性激活函数，则一般复发性神经网络模型减少到线性模型（10.）。这种线性模型（10.)具有全局指数收敛性。为了获得优于全局指数收敛的线性模型(10.），应正确选择特定类型的非线性激活功能。由于上述考虑因素，提出了两种类型的非线性激活功能，功率和双曲正弦函数，以激活一般复发性神经网络模型（2.）。数字1.显示了中使用的上述三个激活函数的曲线图(2.）。相应地，我们将在两个神经网络模型的融合属性上具有以下定理。

定理3。如果是一般复发性神经网络（2.）由Power Sum函数激活 ，国家矩阵 的(2.）全球和高级融合到独特的理论解决方案 ，与线性模型相比(10.）。

证明。为了证明（2.)由幂和函数激活 在这种情况下，我们定义了以下Lyapunov功能候选人： 随着时间的衍生品存在 在哪里 和 表示这一点传染媒介的元素 . 这意味着当使用幂和函数时(2.）与（即，更快的收敛）相比，具有较大的Lyapunov功能消失率（即，10.). 因此，证据是完整的。

定理4。如果是一般复发性神经网络（2.）由双曲正弦函数激活 有系数 ，国家矩阵 的(2.）全球和高级融合到独特的理论解决方案 ，与线性模型相比（10.）。

证明。类似地，以下Lyapunov函数被定义为调查融合： 它的时间衍生是 这表明当采用双曲线正弦激活功能时，非线性复发性神经网络模型（2.）与线性模型的情况相比，具有全局矩阵接近零，随着状态矩阵接近零，具有较大的Lyapunov功能消失率（即，更快的收敛）（10.）。这些完成了证明。

4.举例说明

在本节中，给出了三个例子来说明一般非线性递归神经网络的有效性(2.）在不同类型的激活功能（线性，电量和双曲线正弦激活功能）下，其特定模型用于在线解决GLME（1.）。

例1。让我们考虑以下GLME : 在哪里 glme（24.)具有独特的理论解 由于系数矩阵的特征值,,， 和都是正值。我们采用一般的递归神经网络模型(2.） 和 由线性函数、幂和函数激活 和双曲正弦功能 .

从图中2.，我们可以观察到解决方案错误在0.02秒下降差约零差值，并通过用于（2.）。这些可以证明一般复发性神经网络模型的有效性（2.）用于解决glme（24.）。

例2。让我们考虑以下多个理论解的GLME : 在哪里

我们使用线性模型（10.）使用设计参数 解决glme（27.）。状态矩阵条目的轨迹 如图所示3.. 从数字3.，我们可以看到，从两个不同的初始矩阵开始 ，国家矩阵 线性模型（10.）分别收敛到两个不同的轨迹（或说两个不同的理论解决方案 ）。这表明初始值的选择大大影响了经常性神经网络的稳态结果（2.）并确定GLME溶液的收敛点（27.)，如果GLME存在多个理论解(27.）。相应地，残余错误合成（10.例如，从20个不同的初始值的有限时间内总是可以在零中递减到零，如图所示4..

例3。让我们在更大的维度中考虑以下GLME : 其中系数矩阵 , ， 和 是所有积极的定义随机生成和落在间隔内 .我们利用非线性神经网络模型（2.)由幂和双曲正弦函数和线性模型激活(10.)解决GLME(29.）使用设计参数 .从表格1.，我们可以观察到一般的递归神经网络模型(2.）由功率和和双曲线正弦激活功能激活的速度快于线性模型的速度更快（10.），所有剩余错误都达到了达到的水平在1秒内。从上面这三个例子的计算结果来看，我们可以看到所提出的一般非线性反复性神经网络可以解决glme（1.）问题良好。

结论

在本文中，我们提出了一个通用的递归神经网络模型来求解GLME。回归神经网络的一般非线性模型在求解GLME时具有全局收敛性。通过使用特别提出的非线性激活函数，与具有指数收敛速度的线性模型相比，可以获得更好的收敛性。算例结果表明，非线性回归神经网络模型在求解GLME问题上的有效性和优越性。

利益冲突

作者声明他们没有利益冲突。

致谢

该工作得到了中国国家自然科学基金（NSFC）的支持不支持。61603078和中国电子科技大学中央大学的基本研究资金（uestc）授予否。Zygx2015kyqd044。

工具书类

1. v埃尔南德斯，E。s昆塔纳和M。Marques，“在分布式内存多处理器上解决控制问题中的线性矩阵方程”，年第33届IEEE关于决策和控制会议的诉讼程序。第1部分（4）部分，第448-454号，1994年12月。查看在：谷歌学术
2. H.Lev-ARI，“利用应用于多晶体天线阵列处理的线性矩阵方程的高效解”信息和系统中的通信，卷。5，不。1，pp。123-130，2005。查看在：出版商网站|谷歌学术
3. Y方，K。A.洛帕罗和X。冯，“李雅普诺夫方程解的新估计，”电气和电子工程师学会。自动控制事务，卷。42，不。3，pp。408-411,997。查看在：出版商网站|谷歌学术|Mathscinet.
4. W.H. Kwon，Y. S. Moon和S. C. Ahn，“代数Riccati和Lyapunov方程中的界限：调查和一些新结果”国际控制杂志，卷。64，不。3，pp。377-389,1996。查看在：出版商网站|谷歌学术|Mathscinet.
5. B.周和G.-r.段，“广义Sylvester矩阵方程AV-EVF = BW的新解决方案”系统和控制字母，卷。2，不。3，pp。193-198,2006。查看在：出版商网站|谷歌学术|Mathscinet.
6. B.周和G.-r.段，“关于广义的Sylvester映射和矩阵方程，”系统和控制字母，卷。57，没有。3，pp。200-208,2008。查看在：谷歌学术
7. s李和Y。李，“求解时变复杂sylvester方程的非线性激活神经网络，”Cyebericics上的IEEE交易，第44卷，第8期，第1397-1407页，2014年。查看在：出版商网站|谷歌学术
8. Y. Zhang，D.江和J. Wang，“一种具有时变系数的求解西尔维斯特方程的经常性神经网络”神经网络上的IEEE事务，卷。13，不。5，pp。1053-1063，2002。查看在：出版商网站|谷歌学术
9. F. Ding和Chen，“基于梯度的迭代算法，用于解决一类矩阵方程”，“IEEE自动控制事务集，卷。50，不。8，pp。1216-1221,2005。查看在：出版商网站|谷歌学术|Mathscinet.
10. L. Xie，J. Ding和F. Ding，“总基于线性矩阵方程的梯度迭代解决方案”计算机和数学与应用，卷。58，不。7，pp。1441-1448,2009。查看在：出版商网站|谷歌学术|Mathscinet.
11. F丁和T。陈，“耦合Sylvester矩阵方程的迭代最小二乘解，”系统和控制字母，卷。54，没有。2，pp。95-107，2005。查看在：出版商网站|谷歌学术|Mathscinet.
12. Y. Chen，C. Yi和D. Qiao，“基于梯度搜索的Lyapunov矩阵方程改进了神经解”，“信息处理字母，卷。113，没有。22-24，pp。876-881,2013。查看在：出版商网站|谷歌学术|Mathscinet.
13. K陈，“在线求解Sylvester方程的改进神经动力学，”信息处理字母，第116卷，第7期，第455-459页，2016年。查看在：出版商网站|谷歌学术|Mathscinet.
14. S.张和A. G. Constaninides，“Lagrange编程神经网络”电路和系统II的IEEE事务II：模拟和数字信号处理，第39卷，第7期，第441-452页，1992年。查看在：出版商网站|谷歌学术
15. JJHopfield，“具有紧急集体计算能力的神经网络和物理系统，”美国国家科学院的诉讼程序，第79卷，第8期，第2554-2558页，1982年。查看在：出版商网站|谷歌学术|Mathscinet.
16. J王，“求解线性矩阵方程的递归神经网络，”计算机和数学与应用，第26卷，第9期，第23-34页，1993年。查看在：出版商网站|谷歌学术
17. Z张和Y。张，“两个递归神经网络辅助的加速度水平无漂移方案的设计和实验，”IET控制理论应用，卷。7，不。1，pp。25-42,2013。查看在：出版商网站|谷歌学术|Mathscinet.
18. Z. Zhang，Z. Li，Y. Zhang，Y. Luo和Y.Li，“基于神经动态方法的双臂CMG方案，具有时间不同的约束，适用于人形机器人”，“神经网络和学习系统的IEEE交易，卷。26，不。12，pp。3251-3262,2015。查看在：出版商网站|谷歌学术|Mathscinet.
19. C.米和M. Ismail，模拟VLSI神经系统的实现，卷。80，Springer Science＆Business Media，2012。
20. S. Sastry和M. Bodson，自适应控制：稳定性、收敛性和鲁棒性，Courier Corporation，2011年。
21. J刘先生。A.布鲁克和K。Hirotsu，“一种具有用于振荡消除的片上并行学习的CMOS前馈神经网络芯片，”神经网络上的IEEE事务，第13卷，第5期，第1178-11862002页。查看在：出版商网站|谷歌学术
22. A. H. Roger和R. J. Charles，矩阵分析，剑桥大学出版社，纽约，纽约，美国，2012年第2版。查看在：Mathscinet.
23. Y. Zhang和K. Chen，“王神经网络的全球指数收敛与稳定，用于解决在线线性方程”，“电子字母，卷。44，不。2，pp。145-146,2008。查看在：出版商网站|谷歌学术

版权

版权所有©2017 Zhan Li等人。这是分布下的开放式访问文章知识共享署名许可协议如果正确引用了原始工作，则允许在任何媒体中的不受限制使用，分发和再现。