文摘
本文研究一个小神经网络有三个神经元。首先,激活函数符号函数。尽管网络是一个简单的混合动力系统与子系统指数稳定,我们发现它可以表现出非常复杂的动力学极限环和混乱等。自签名函数是一个s形函数的极限情况,我们发现混乱强劲存在一些不同的激活函数,这意味着这种混乱在这个网络与其体重相关矩阵比激活函数的类型。混乱,我们提出一个严格的计算机辅助研究的拓扑马蹄理论。
1。介绍
从混乱中发现的大量证据生物自然神经系统的研究,研究人员意识到混沌神经网络更有利于摆脱局部最小值,可能起着关键作用在信息的存储和检索1- - - - - -3]。因此,彻底调查神经网络的混沌动力学神经网络研究具有重要意义,已成为近几十年来流行的研究领域。大量的人工神经网络提出了为了实现混沌和超混沌吸引子4- - - - - -12]。
一般来说,神经网络在现实世界中有很高的维度,这是很难研究。幸运的是,在解剖学和生理学的研究表明,生物神经元的大脑功能电路组成(13,14]。这意味着研究高维混沌神经网络之前的第一步应该是在低维混沌的详细调查网络只有几后面加(15- - - - - -19]。
神经系统的非线性通常来自于激活函数,这是造成混乱的原因。有许多类型的乙状结肠函数用于文学,例如双曲正切函数,分段线性函数,物流(乙状结肠)功能,符号功能。我们感兴趣的是混沌神经网络中能否发生与所有这些函数或混乱是否能发生任何类型反曲的激活函数。
为了回答这两个问题,本文将s形函数的极限放大输入规模和研究一个小Hopfield神经网络(HNN)与硬开关。这种符号函数不仅是非常容易实现,而且动力和生物学意义的基因调控网络(4,5]。一个有趣的现象我们发现本文是HNN可以证明混乱,尽管这是一个交换系统,只有由稳定子系统;这样的混乱仍然存在,即使我们替换符号函数与其他激活功能。
下面的纸是组织如下。部分2介绍了HNN和演示了其混乱的行为有不同的激活函数;部分3首先回忆起一些拓扑马蹄理论结果,然后介绍了计算机辅助证明存在的混乱;部分4得出的结论。
2。小型网络的混乱与不同的激活函数
Hopfield神经网络描述(20.] 在哪里是一个s形的激活函数,是一个矩阵,称为权重矩阵或连接矩阵描述神经元之间的连接强度。
在本文中,我们只考虑三个神经元,也就是说,并采取,那么小的网络可以用下面的方程用向量形式: 在哪里,。
现在我们,,, 在哪里是一个参数。然后我们可以很容易地解决(孤立的平衡分2),而参数从来,如表中所示1。自(2)是对称的原点,原点平衡成对出现,总是一个平衡。数值计算表明,原点总是不稳定的。自只需要的价值,,从方程中,很容易看出,平衡总是指数稳定。
探索复杂动力学(2),我们模拟系统然后数值发现有限制圆圈和奇怪吸引子,分岔图的图1。动力学极大地依赖于其初始条件;也就是说,不同的初始值可能会导致不同的动力学。在我们的模拟,我们选择。分岔图表示系统(2)很可能是混乱的时候接近为零。
小心数值计算之后,我们获得一套不变的叫做吸引子,几乎每一个轨迹与初始点附近的这组倾向于这组,虽然这集包含一个轨迹,也就是说,密度,如图2为。它似乎是一个混沌吸引子。在下一节中,我们将证明这个吸引子拓扑马蹄理论确实是混乱的。
因为大多数s形函数的符号函数是一个限制大规模输入,我们在本节将研究中存在的混乱HNN (1与其他反曲的激活函数)。为此,我们周到以下方程: 在哪里是一个积极的比例因子。替换与,我们有等效系统
所以对于任何类型反曲的激活函数输出范围来,如果足够大,将足够接近不连续信号功能。的健壮性(2)表明,(4与相同的权重矩阵()可能表现出混乱3)。考虑的偏见,(1为任何类型)可能出现混乱时反曲的激活函数。
为了说明这一事实,我们将与一个双曲正切函数,举例一个逻辑函数,一个分段线性函数,和一个非常复杂的功能。
案例1。 采用双曲正切函数。让。为了使神经系统(5)混乱,我们。然后,我们得到一个吸引子图所示3。李雅普诺夫指数是,,。第一个是积极表明吸引子是最有可能混乱。
例2。 物流(乙状结肠)函数。取,然后。前一小节,我们有一个Hopfield神经网络与物流(乙状结肠)激活函数:
在这里,是偏见。
例3。 是一个分段线性函数。让。为了使神经系统(5)混乱,我们也需要。然后,我们得到一个吸引子图所示4。三个李雅普诺夫指数,,。第一个是积极暗示混沌吸引子。
例4。 是一个复杂的分段线性函数。系统(4)和权重矩阵(3),我们将更加复杂随机如图5。让,一个混沌吸引子出现如图6。自激活函数过于复杂,不容易计算的李雅普诺夫指数吸引子图6有足够的精度;所以,下一节我们将证明这个吸引子拓扑马蹄理论确实是混乱的。
从数据可以清楚地看到3来6,尽管他们的激活函数不同,混沌吸引子存在于所有四个病例和他们都类似。上述四个病例表明,混沌的存在在这个类型的神经网络强大的激活函数。换句话说,小的复杂动态神经网络应该更与其体重相关矩阵。
3所示。计算机辅助证明的混乱
拓扑马蹄的存在被认为是最重要的一个签名的混乱。马蹄的理论,一个不仅可以严格证明混乱而且还揭示了机制混乱的不变集。因此我们将计算机辅助证明本节HNN的混乱。首先,让我们回忆起一个定理拓扑马蹄和m-shift然后提出我们的主要结果。
让是一个度量空间,是一个紧凑的子集,映射满足假设存在吗互不相交子集紧凑的的限制,对每一个,也就是说,是连续的。
定义1。让是一个紧凑的子集,这样对于每个,非空的和紧凑;然后被称为连接对吗。让是一个家庭的连接年代就令人满意的属性:。然后据说是连接家庭有关。
定理2。假设存在一个连接家庭有关。那么存在一个紧凑的不变集,这样是semiconjugate转变。
在这个定理变化有时也被称为伯努利转变,用,在那里是集所有bi-infinite序列 和地图的转变被定义为
众所周知,康托尔集,紧凑,完全不连通,完美。作为一个动力系统上定义的,有可数无穷周期轨道的轨道组成的所有时间,不可数无穷周期轨道,一个密集的轨道。这三个属性的一个直接后果是,动态生成的地图是对初始条件敏感的转变。自是拓扑semiconjugate,这意味着存在一个连续满射这样,也必须对初始条件敏感。数学上,系统的复杂性可以测量其拓扑熵,这大概意味着指数增长的轨道的数量随着时间的进步。的另一个结果semiconjugate,拓扑熵,用,而不是更少。当,,因此该系统混乱。更多细节上面的符号动力学和马蹄理论,我们参考读者21- - - - - -24]。
接下来我们将学习马蹄铁嵌入到吸引子图的存在2。为此,我们将利用横截面的技术和相应的庞加莱映射。考虑到剖面,如图2。庞加莱映射选择如下。为每一个,第二个返回点是吗在流的初始条件。
找到马蹄中,我们使用的有效方法21,25)已与MATLAB工具箱实现称为“一个工具箱寻找马蹄铁在2 d地图”(下载:http://www.mathworks.com/matlabcentral/fileexchange/14075)。方法是如此强大,它已经成功地应用在许多混沌系统(26- - - - - -29日),一个分数阶系统(30.现有超混沌系统[],甚至31日]。
经过多次尝试,我们精心挑选两个建起和在本节中平面与他们的顶点如下:
通过区间分析,我们计算的庞加莱映射和然后有以下声明。
定理3。庞加莱映射的对应于横截面和,有一个封闭的不变集的是semiconjugate 2-shift地图。
证明。为了证明这句话,我们会发现两个不相交的子集紧凑和的,这样的存在连接家庭很容易。
第一个子集需要如图7,庞加莱映射发送这个子集的形象如下:
显示,映射的一边和映射的吗。在这种情况下,我们说的形象是完全在所有和关于和。
第二个子集需要如图8,庞加莱映射发送这个子集的形象如下:
显示,映射的一边和映射的吗。在这种情况下,我们说的形象是完全在所有和关于和。
一般来说,(2)可以被视为一个交换系统组成的八个非常简单的连续子系统和12个季度飞机被称为转换飞机;细节,请参阅[5]。在此系统中,每一个社区的吸引子轨迹横向与切换平面相交,和庞加莱映射可以被看作是一系列连续的组合子映射的子系统。因为每个子系统都是线性的,很容易证明四边形区域或子映射是连续的;因此,是连续的。
注意,子集和相互脱节的。从整个acrossness很容易看到的和关于和存在一个连接家庭有关和。针对定理2,这意味着庞加莱映射是semiconjugate 2-shift地图。
从定理很容易理解3的熵不小于,所以吸引子图2实在是一个混沌吸引子。
所以我们可以证明存在的混沌吸引子图所示6通过相同的方式3。新顶点的两个子集和是
的画面和如图9,我们可以看到的图像和在同时和,类似于数据7和8。从定理2,我们推断存在一个连接家庭有关和,在那里是相应的庞加莱映射。从拓扑马蹄理论后类似的争论。积极的熵表明吸引子图6确实是混乱的。
4所示。结论
在本文中,我们研究了一个3 d Hopfield神经网络与信号激活函数。计算机仿真表明,该HNN可以表现出混沌吸引子和极限环。为了验证混沌行为,提出了一种计算机辅助验证存在的马蹄铁嵌入在这个系统。我们还表明,混沌HNN可能表现出的与任何类型的s形的激活函数。换句话说,这些混乱应该与它的权重矩阵比激活函数的类型。此外,由于HNN交换系统组成的稳定的子系统,这一事实表明,混合动力系统的动力学可以比我们曾经认为的要复杂得多。这可能是研究者感兴趣的神经网络的非线性动力学等等。
确认
这部分工作是支持由中国国家自然科学基金(61104150)、重庆(cstcjjA40044),自然科学基金项目和重庆邮电大学博士基金(A2009-12)。