文摘

神经网络是一种大脑的认知过程,模型与一个高度相互关联的多处理器体系结构。的神经网络具有令人难以置信的潜力,这些人工神经网络固有的观点有良好的学习能力和学习能力不同的输入特性。在此基础上,提出了一种新的混沌神经元模型和混沌神经网络(CNN)模型。它包括一个线性矩阵,一个正弦函数,一个混乱的三个混沌神经元组成的神经网络。一个混沌神经元受到正弦函数的影响。网络拥有丰富的混沌动力学和能产生multiscroll隐藏的混沌吸引子。本文研究了它的动态行为,包括分岔行为、李雅普诺夫指数,庞加莱截面表面,盆地的吸引力。在分析的过程中分岔和吸引力的盆地,发现网络显示隐藏的分岔现象,和吸引力的盆地的相关属性。之后,一个混乱的神经网络,利用FPGA实现,实验证明了理论分析的结果和FPGA实现互相一致。最后,构造了一个能量函数优化计算基于CNN为了提供一种新方法来解决TSP问题。

1。介绍

毫无疑问,人类的大脑是最复杂和奇妙的信息处理器官。它是由人类经过长期自然进化和包含大约1000亿个神经元。这些神经元相互传输信息进行认知功能和控制人类行为和思想特征。大脑中枢神经系统(CNS)的一部分,人体的结构,它是由大量神经元细胞和连接约1015突触,形成一个复杂的神经网络,在有序的、分层的方式传递信息。McCulloch和皮特抽象人类大脑神经元和形成神经网络构建了一个简单的模型,即人工神经网络(1]。人工神经网络可以分为三类:浅感知器,简单的人工神经网络,神经网络(2- - - - - -13]。

神经元是神经网络的基本处理。每个神经元都有一个输出,通常涉及到它的状态和可能影响其他神经元。每个神经元接收一些输入的连接称为突触。输入是激活输入神经元乘以神经元的突触的重量。激活神经元计算产品,通过应用一个阈值函数和阈值函数建模的非线性函数。当设计一个神经网络,最重要的事情是确保在相应的系统动态系统收敛。另一方面,丰富的动态,更广泛的应用范围。例如,当一个神经网络模型作为解决组合优化问题的一种近似方法,瞬态混沌性质提供了更高的搜索全局优化的性能或近似优化的解决方案。通过考虑时间和空间的和从混沌神经元的外部输入和反馈输入,可以采用混沌神经网络混沌神经元。这项研究在14)提出了一种新的四维混沌神经记忆细胞神经网络,研究了其动态行为,并设计基于滑模控制的混沌同步。拟议的混乱的记忆CNN系统可用于安全通信。这项研究在15]研究了建设盲目超限分辨图像修复模型基于混沌神经网络。在报纸上,一个简化的混沌神经网络模型构造。图像的灰度值作为网络的输入。生成的托普利兹矩阵是用来计算重量和偏见的连接混沌神经网络的输入。因此,这个问题,传统的盲目超限分辨图像修复模型基于神经网络陷入局部最小值是解决。这项研究在16)认为的电路实现和应用混沌神经网络可重构的记忆。混沌神经网络已经被广泛应用于联想记忆,因为它丰富的混沌特征。摘要不仅是执行电路实现,而且autoassociative记忆,异联想记忆,叠加模式分离,多对多联想记忆,他们的应用程序在三个视图图是通过仿真实验实现。这项研究在17)检查当地的混沌神经网络的同步控制饱和执行器和示例数据。的作者(18]研究了全球力量速度同步比例时滞混沌神经网络模型的基于冲动控制。这项研究在19]分析了滑模同步控制的时滞混沌神经网络基于观察者。这项研究在20.)提出了一种混沌神经网络的加密。这项研究在21)被认为是神经网络混沌电路的动态行为。这项研究在22)检查基于记忆电阻器的混沌神经网络多稳定性的问题。

灵感来自以前的工作,我们模拟,研究了混沌神经网络组成的一个线性矩阵,一个正弦函数,和三个混沌神经元,其中一个是正弦函数的影响。在本文中,我们首先提出一种新的混沌神经网络模型,然后通过执行一个非线性动态分析,包括分岔行为、李雅普诺夫指数谱,庞加莱截面表面,吸引力和盆地分析,给出混沌神经网络的FPGA实现。更少的研究已经在现有的混沌神经网络进行研究文献;因此,这种类型的系统的动力学研究是至关重要的和有意义的。

2。混沌神经网络模型

本文基于Hopfield神经网络模型中,我们扩展了外部和内部的神经元膜电导的线性层神经网络模型。提出了一种新的混沌神经网络模型所示以下方程: 在哪里x我C电容器上的电压吗我,年代ij薄膜的电导是抵抗内外的神经元,我我外部输入电流的非线性,矩阵W=Wij突触是神经元之间的连接强度的重量。神经元的激活函数Vj被定义为

当C我= 1,n= 3,新的混沌神经网络模型所示以下方程: 在哪里 和 。 在哪里一个= 20;方程(3)可以改写如下:

连接三个神经元的神经网络图所示1。


图1
连接三个神经元的神经网络。

本文提出的混沌神经网络可以被视为一个非线性联想记忆或content-addressable内存,内存函数来检索模式的应对这种模式带来的不完备或噪音。的本质content-addressable内存映射是一个基本的内存x我稳定不动点在动态系统中,稳定不动点的网络相空间的基本记忆网络。我们可以描述他们的特定模式的出发点相空间。如果出发点是靠近定点,它代表了内存检索和记忆本身的系统应该收敛。因此,混沌神经网络是一个动态的系统,其相空间包含一组稳定的不动点,代表了基本的系统内存。

在本文中,我们利用四阶龙格-库塔方法来解决系统(4),设置初始值为(0.1,0.1,0.1),并获得系统的相图(4)。从相图,系统可以产生four-scroll混沌吸引子。,数字2(一个)- - - - - -2 (c)。

(一)
(一)
(b)
(b)
(c)
(c)
图2
系统的混沌吸引子(4)。(一)x- - - - - -y飞机,(b)y- - - - - -z飞机,(c)x- - - - - -z飞机。

然而,我们发现,该系统(4)有无穷多平衡分和系统的李雅普诺夫指数(4LE2 = -0.001804) LE1 = 0.560261,和LE3 = -4.056202,所以系统(4)是一个multiscroll隐藏系统吸引子。李雅普诺夫指数如图3。


图3
系统的李雅普诺夫指数(4)。

3所示。分析分岔、李雅普诺夫指数和庞加莱截面

系统的控制参数(4从0到22)变化,系统的初始值(4)是(0.1,0.1,0.1)。的步长是0.04,和系统的分岔图(4)如图4(一)。系统(4随着时间的推移)胚期翻倍陷入混乱。

(一)
(一)
(b)
(b)
图4
(a) a (b)的分岔图的李雅普诺夫指数谱改变一个从0到22。

我们可以观察到黑暗行分岔图。人们普遍认为,所有实线分叉点后消失;然而,他们仍然可以解决代数方程;因此,没有理由停止后分歧点。但是我们为什么不能看到了吗?这是因为他们有分岔后变得不稳定周期轨道。那么为什么不能不稳定周期轨道的分岔图吗?从本质上讲,这是一个问题,如何跟踪不稳定周期轨道。因为它是一个隐藏的吸引力子系统,每一个点上的不稳定周期轨道是不稳定的。只要有一个小错误,它将越来越偏离平衡点。 The hidden attraction subsystem itself is affected by the initial state. In the bifurcation diagram, we can also observe hidden bifurcation phenomena.

正的李雅普诺夫指数的最基本元素是当地的来源不稳定的混沌吸引子。混乱的一个最基本的特征是它对初始条件的敏感性高。两个轨道由两个非常接近,不同的初始值将单独的指数随着时间的推移,造成这种轨道分离指数。这一现象的根源是正的李雅普诺夫指数混沌系统。因此,李雅普诺夫指数基本上描述了当地不稳定在一个混乱的运动。然而,如果只有这个局部不稳定因素,整个吸引子会发散,,事实上,混沌吸引子只存在于某一范围的相空间。因此,我们认为,应该有多稳定性因素隐藏的混沌吸引子,除了当地的不稳定因素。隐藏的混沌吸引子是两种趋势相互作用的结果,也就是说,当地的不稳定和多稳定性,最终形成整个混沌吸引子的分形结构。它充分反映了一个事实,那就是隐藏的混沌吸引子是一个当地不稳定和多稳定性的辩证统一。在本文的下一节中,我们将使用李雅普诺夫指数来描述的吸引力的流域系统(4)[23,24]。

从图分析4 (b)显示了正的李雅普诺夫指数变化,这表明系统(4)交替之间的准周期的状态和混乱的状态,充分描述了当地的不稳定和变化多稳定性的系统(4)。这基本上是一样的状态变化的分岔图所示。

相空间的连续轨迹出现一些离散点在庞加莱映射部分。如果过渡过程的初始阶段是忽视,只有稳态形象的庞加莱截面。当只有一个不动点和几个离散点的庞加莱截面,可以确定准周期性的运动。庞加莱截面呈现出封闭曲线时,它可以确定准周期性的运动。当有密集点庞加莱截面层次结构,它可以确定运动是在混乱的状态。

庞加莱映射的x- - - - - -z面系统(4)如图5。庞加莱图在不同的飞机系统的显示,许多密集的点,这表明,该系统具有混沌的分岔特性和折叠的能力。


图5
庞加莱映射的x- - - - - -z飞机。

4所示。分析流域的吸引力

混沌神经网络,我们可以分析系统的稳定性,考虑到系统的李雅普诺夫指数函数(能量函数)。网络是在初始状态时,网络将李雅普诺夫指数函数下降的方向,直到达到一个局部最小值。李雅普诺夫指数函数的局部最小值点代表了相空间的稳定点。每个吸引子都是围绕着一个巨大的盆地的吸引力。从这个意义上说,这些点也称为流动。这些盆地的吸引力代表一个稳定的网络状态。当一个稳定点进入最低的盆地区域的吸引力,可以获得网络的解决方案。盆地的吸引力的大小是被吸引的半径,它可以被定义为所有国家之间的最大距离盆地中包含的吸引力或一个吸引子可以吸引的最大距离。流动的数量代表了内存容量或联想记忆网络的存储容量,存储容量时的最大数量noninterfering记忆的网络在一定公差关联错误概率。存储容量与联想记忆的容许误差,网络结构、学习方法和网络设计参数。 In short, the more attractors are present in the network, the greater the storage capacity is. The basins of attraction of the attractor act as an index to measure the fault tolerance of the network, that is, the larger the basins of attraction, the better the fault tolerance performance of the network, and the stronger the association ability of the network.

在动态系统与多个吸引子,相应的盆地可能分形边界和一种更为复杂的结构。因此,这意味着在系统(4)一个吸引子共存将有这样一个复杂的流域边界的结构。红色区域代表盆地的吸引力吸引子在无穷远处,轨迹发散的点集。黄色区域表示盆地的混沌吸引子的吸引,这显示了多个吸引子的共存和网络的容错。黄色区域越大,网络的容错性越好。蓝色区域是过渡区。盆地的部分吸引力是一系列对称的细丝,分布不均,但自相似外观。从图6,它可以发现系统(4)有四个吸引子共存。

(一)
(一)
(b)
(b)
(c)
(c)
图6
盆地的吸引力系统(4)。(一)x(0)-y(0),(b)x(0)-z(0)飞机,(c)y(0)-z(0)飞机。

吸引力的标准存在的盆地在动态系统(25)如下:(1)有一个光滑的不变子空间包含混沌吸引子(2)还有另一个渐近不变子空间之外的最终状态(不一定是一个混乱的状态)(3)不变子空间的横向李雅普诺夫指数是负的(4)的不稳定周期轨道的横向稳定吸引子与积极的有限时间的变化

这项研究在25]证明了耦合的洛伦兹系统满足条件1和2。有两个不变量在六维相空间(三维)导管;从每个子空间的轨迹将会永远存在,它将发展向各自的著名的洛伦茨吸引子。同步耦合的洛伦兹系统的吸引子,文献提出了使用筛区域描述同步耦合的洛伦兹系统的吸引子。在本文中,我们使用限定时间横向李雅普诺夫指数进行比较与一个特定的轨道的横向指数和获得的结果类似(25]。

我们发现吸引力的盆地的动态系统有以下属性:(1)轨道系统倾向于一个固定的点(2)系统周期和准周期(3)系统混沌或超混沌行为(4)系统的时间序列在有限时间趋于无穷时

联想记忆网络的改善必须克服的一个基本问题;与记忆,除了吸引子样本,也有“多余的”稳定状态(伪状态)。伪状态的存在影响了联想记忆网络的容错。如果盆地的吸引力可以减少或消除伪状态,联想记忆网络的容错可以提高,可以增加内存容量。

5。FPGA实现

的硬件实验系统(4)是由定点数的方法,基于FPGA技术。我们使用Xilinx zynq - 7000系列XC7Z020 FPGA芯片和AN9767双端口并行14-bit数模转换模块125 MHz的最大转化率和采用Vivado 17.4和系统发电机实现Matlab-FPGA的联合调试。此外,我们使用示波器来可视化模拟输出。后分析、合成和编译Vivado,进一步证实了混沌神经网络系统是正确的,确认时间后仿真结果是正确的,我们通过Vivado生成一些文件,生成的一些文件下载到FPGA开发板,FPGA的输出转换成模拟信号使用AN9767数模转换器,然后AN9767数位类比转换器连接到示波器观察系统的相图(4)吸引子。分别由示波器显示的相图,如图7。

(一)
(一)
(b)
(b)
(c)
(c)
图7
系统的混沌吸引子(4)。(一)x- - - - - -z飞机,(b)y- - - - - -z飞机,(c)x- - - - - -y飞机。

6。CNN-Based TSP问题的优化计算

旅行商问题(TSP)是一个经典的话题关于组合优化。在一个典型的TSP的场景中,一个推销员必须冲在从一个城市到另一个推广他的产品,然后回到原来的城市。他应该如何选择最短的路线通过所有的城市吗?

根据图论,这个问题,在本质上,找出最低重量加权的哈密顿回路和directless图。鉴于这个问题的可行解的总排列所有的顶点,顶点增加,由此产生的组合爆炸;因此,它是一个np完全问题。这个问题的广泛应用在交通、电路板,电路设计,物流配送已经导致其广泛的研究国内外学者之一。各种具体的算法被用于早期研究解决它,例如,和技术,线性规划技术,和动态编程技术。然而,随着问题规模的雪球,这些方法无法工作了。因此,在以后的研究中,学者转向近似或启发式算法,主要包括遗传算法(26,27),模拟退火(28,29日],蚁群算法[30.,31日),禁忌搜索算法(29日,32],贪心算法[33,34)和神经网络(35]。

此处的混沌神经网络(CNN)是一种反馈神经网络结构类似于一个控制系统,有一个输出终端的反馈到相应的输入。在一个给定的输入激励,不断循环的状态将会改变,在输入和输出的值终端也这样做,直到被稳定。每个输出代表一个国家。因此,CNN在此是一个电力系统具有多个输入和输出。在动态系统中,平衡态可以被理解为一个能量的一种形式的价值在一个动态的系统不断减少到最低限度。系统可以通过设置不同的能量聚集在不同状态的功能。

首先,问题是映射到CNN。要映射的问题可以表示为一个换向器矩阵。的情况下n城市,旅游路线应由一个表示 组成的矩阵n2神经元。矩阵每行和每列的换向器只有一个元素,1,和所有其他的元素,0。这样一个矩阵可以帮助我们唯一地标识最短旅行路线。网络中能量最低的点对应的最短旅行路线,必须巧妙地构造一个能量函数。根据系统(1),构造了一个能量函数来解决旅行商问题。与Hopfield神经网络相比,混沌神经网络消除了一些缺点,如计算速度、较低的参数设置,更大的可能性,降落在一个无效的解决方案,和更高的困难,确定最优解。能量函数的表达式在公式(5),能量函数的变化如图7。从图的分析8,当路径得到优化结果,最终状态的能量函数接近于0。


图8
能量函数的变化。

28个城市设置。基于四个优化练习,我们获得的发现:最优能量函数是1.5193,初始路径长度为13.1544,最短的路线长度是5.3188。仿真结果表明,CNN在此可以很好地解决旅行商问题。结果如图所示9。

(一)
(一)
(b)
(b)
图9
TSP的解决方案。

7所示。结论

在本文中,我们提出一种新的混沌神经网络模型和生成的CNN模型。CNN混沌动态行为和丰富可以生成multiscroll隐藏的混沌吸引子。然后,我们研究的动态行为,包括分岔行为、李雅普诺夫指数,庞加莱截面,和吸引力的盆地,盆地的景点知识相关的特征。此外,我们通过FPGA实现CNN。实验证明了理论分析和FPGA实现了一致的结论。最后,我们构造了一个基于CNN的能量函数优化计算,提供一种新方法来解决TSP问题。由于混沌系统和混沌神经网络已经被广泛应用于图像加密(36- - - - - -40和安全通信41- - - - - -44),这两个方面的应用将是未来研究的重点。

数据可用性

所有数据用于支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究支持部分由中国国家重点研发项目为国际科技合作项目(2019 yfe0118700),中国国家自然科学基金(61973110和61973110),湖南年轻人才科技创新项目(2020 rc3048),湖南省自然科学基金(2020 jj4315和2019 jj50648),湖南省杰出青年项目和教育部门(20 b216)。