文摘
混沌神经网络,也用缩写CNN,拥有丰富的动力学行为,可以利用前景的工程应用。然而,由于其复杂的突触学习规则和网络结构,很难迅速更新其突触权重和实现其大规模物理电路。本文地址小说CNN的一个实现方案与记忆性神经突触,CNN的进一步发展提供一个可行的解决方案。忆阻器,广泛被称为第四种基本电路元件,被蔡理论上预测在1971年和2008年开发了惠普实验室的研究人员。基于忆阻器的混合纳米级CMOS技术将彻底改变数字计算和神经形态。拟议的记忆性CNN有四个显著的特点:(1)纳米记忆电阻器可以突触电路大大简化,使突触权重更新很容易;(2)它可以单独存储从叠加输入模式;(3)它可以处理一对多联想记忆;(4)它可以处理多对多联想记忆。提供仿真结果说明了该方案的有效性。
1。介绍
在过去的三十年中,混沌已被许多研究人员广泛研究非线性电路的理解复杂的动力学现象。人们已经发现,混沌动力学可能存在于人脑生物神经细胞和联想记忆中扮演重要的角色1,2]。模拟生物神经元混沌神经元模型提出了Aihara等人,随后许多联想混沌神经网络模型已经由其他研究人员(3- - - - - -13]。
在传统的关联混沌神经网络的研究中,研究者普遍认为,网络上的每个历史事件的作品以同样的程度,也就是,然而,现实的情况。事实上,它已经被观察到长期记忆存储历史事件在人类的大脑总是以指数速度随时间衰减。此外,对于传统的混沌神经网络,它的结构非常复杂,其规模难以扩大,它的信息处理能力是有限的。这些特征在CNN的进一步发展造成重大障碍。基于我们以前的工作(10- - - - - -13),在本文中,我们提出一种新颖的联想与新指数衰减混沌神经网络时空效应和时空的一部分求和的行为是更类似于生理感官。跨过记忆神经元突触被设计利用变量(记忆电阻的电阻)记忆和记忆能力(即使关机)的忆阻器14,15]。这将简化神经元之间的联系,大大降低混沌神经网络的复杂性。
一个忆阻器两端的电子或记忆性装置本质上是一个基本的元素和非易失性连续可变电阻可以调制通量或电荷。1971年,蔡理论上制定和记忆电阻定义和描述的记忆(记忆电阻的电阻)的定义本构关系,(14]。大约四十年,直到最近才关注TiO2基于纳米级实用记忆电阻是由惠普实验室(16,17]。因为金属氧化膜的惊人的行为作为一个简单的记忆电阻结构报道,立刻获得大量来自学术界和工业界的研究人员的广泛兴趣。由于完美的特点,提出了范围广泛的应用程序包括电阻随机存取内存(RRAM) [18,19),人工神经网络(20.- - - - - -22],混沌电路[23,24),布尔逻辑的实现(25,26)、信号处理和模式识别(27- - - - - -29日]。在这里,我们表明,模拟可以实现在纳米TiO记忆性影响2基于忆阻器和这种类型的设备展览可靠突触的行为。它将彻底改变计算机的工作方式。此外,它有潜在的应用在现代智能信息处理。
在本文中,我们提出了一个新的混沌神经网络实现方案与记忆性神经突触(MCNN)。经典的CNN Aihara等人提出的是回顾和混沌神经元的动力学行为进行了分析实验2。后,MCNN提出了部分3。首先,通过数学理论描述的忆阻器模型,其行为是由计算机模拟,其原理特点进行了详细分析。接下来,我们解释MCNN及其动力学方程的结构也简化记忆性突触回路。最后介绍了联想记忆能力的MCNN。为了说明MCNN的有效性,我们设计一系列的计算机模拟4。报告结果表明,MCNN可以处理的分离叠加模式,一对多和多对多关联成功。通过整合记忆电阻的优点、混沌和神经网络,这个设计将提供理论和实践基础发展智能信息处理系统。
2。混沌神经网络的动态行为分析
在本节中,我们简要回顾混沌神经网络。一系列的燃烧率的数值分析,分叉结构,和李雅普诺夫指数说明CNN丰富的动力学行为。
2.1。CNN基于Aihara的模型
混沌神经元的动力学方程模型与连续函数所描述的(1), 在哪里是在离散时间混沌神经元的输出,这是一个模拟值在0和1之间;是一个连续的输出函数,如物流功能的陡度参数是一个函数描述模拟输出和耐火度之间的关系可以被定义为是外部刺激;,是积极的耐火材料尺度参数、阻尼因子和阈值。如果定义的内部状态作为 我们可以减少(2.1)以下 在哪里被称为分岔参数和定义的
上面描述的神经元模型与混沌动力学可以广义神经网络的元素称为混沌神经网络(CNN)。的动态th和时空混沌神经元反馈输入和外部输入的总和CNN组成的混沌神经元和外部输入可以建模为应用 在外部输入的反馈输入,耐火性被定义为(2.6)- (2.8),分别。 在哪里作为外部输入和神经元之间的突触权重。同样的,显示两个神经元之间的突触权值和由Hebbian学习算法训练,如
2.2。动态行为分析
神经元的放电频率是一个基本的特征的信息传达到其他神经元。它是变量和表示其激活状态的强度。因此,它范围从零到附近某些最大根据其需要传达一个特定水平的激活。传统上,它被认为最相关的信息被包含在平均神经元的放电频率。发射率通常被定义为时间平均意义的峰值出现在一个给定的时间窗口。除时间窗的长度给出了平均发射率(30.]。在这里,平均发射率或激励一个混沌神经元中描述的数量(2.3)被定义为 在哪里是一个传递函数代表waveform-shaping动态轴突与严格的动作电位阈值传播启动触发区和假设是什么为和为。通过调整分岔参数从0到1,当其他参数设置,,,,平均发射率如图1。
它最初是一个混沌系统的特征,附近的轨迹分离指数随着时间的推移。李雅普诺夫指数和李雅普诺夫特征指数的动力系统是一个数量的特征分离的速度极其密切的轨迹。分离的速度,可以对不同的初始分离向量的方向。因此,有一个范围的李雅普诺夫exponents-equal数量相空间的维数。通常指的是最大的最大李雅普诺夫指数(标定),因为它决定了可预测性的动力系统的概念。具体来说,大中型企业的通常是作为一个积极的迹象表明,系统是混乱的31日]。
的定量分析系统(2.3),李雅普诺夫指数定义如下,
该系统的响应特性如图所示2。从图2(一个)显然,一个可以看到分叉结构。图2 (b)显示了这个系统的李雅普诺夫指数谱。使用的参数的值设置为相同的数字1。
(一)
(b)
3所示。记忆性的混沌神经网络神经元的突触
在这一部分中,首先介绍了忆阻器来描述其典型特征。然后一个新的混沌神经网络(MCNN)记忆性突触详细提出。最后,MCNN的联想记忆能力模型进行了分析。
3.1。忆阻器模型描述
所有二端非易失存储器设备基于电阻开关记忆电阻器,无论设备材料和物理运行机制(15]。类似于电阻(电压有关和当前)、电容(相关费用和电压)和电感(流量有关和当前),忆阻器流量有关,收费的设备。
一般记忆性设备的行为可以被描述为一对耦合方程如下:
(在哪里3.1)是记忆性设备和方程是一个(或一群)内部状态变量是由励磁设备的历史。一个典型的惠普TiO的数学模型2基于忆阻器可以被描述为(16] 在那里,是总记忆,和显示整个TiO的厚度2电影和高导电区域,分别。如果或忆阻器到达极限值记忆,或。表示的初始值。是单位的平均离子流动参数m2年代−1V−1。
通过仿真分析了忆阻器的特性。通过应用一个正弦电压,我们可以观察到象征性的磁滞回线(在图3(一个))局限于第一和第三象限飞机。从这个数字开关的特点可以看出28),也就是说,忆阻器可以切换之间的高阻状态(“关闭”)和低阻状态(“”),已提出在二进制的记忆中,布尔运算,横梁数组,和信号处理丰富。应该注意的是,捏了磁滞回线特点意味着设备是一个忆阻器,但这条曲线本身是无用的模型自其轮廓形状变化的振幅和周期正弦波的频率像外加电压或电流源,因此不能用于预测当前应对任意应用电压信号,反之亦然(15]。此外,它也可以发现,在低频交流励磁,有一个显而易见的的磁滞回线,但在高频情况下,磁滞回线崩溃和记忆电阻退化成为一个固定电阻。
(一)
(b)
(c)
(d)
两种方法之一来预测的反应设备本构关系(在图3 (b))。如这个图所示,memductance当时等于的斜率曲线在,叫做小信号memductance。同样,如果刺激是一个电流源,记忆当时等于的斜率曲线在,叫小信号记忆。假设本构关系曲线是连续的和刺激足够小振幅与一个固定的频率,即称为小信号条件(15),小信号memductance或大约保持常数等于记忆曲线斜率随着时间的推移,区别一个线性电阻。
记忆与映射的等价表示为状态曲线也遵循欧姆定律除了记忆并不是一个常数,像图中的示例所示3 (c)。通量的减少记忆不断增加,反之亦然。当流量到达极限,最小值或最大值,对于一个给定的记忆性设备,记忆保持的终极价值,或。
图3 (d)清楚地介绍了记忆和应用电压之间的关系。通过一系列小的电压脉冲的大小相同,但方向相反极性,我们观察到stair-like减量(或增加)的相应的记忆。如果偏差是一个很大的刺激,记忆不断变化。因此,一个可以调整,根据需求灵活选择不同的记忆在不同的应用程序通过控制振幅,极性和持续时间的刺激。
3.2。记忆性混沌神经网络
根据以往的作品(10- - - - - -13,28),我们提出一种新的混沌神经网络与记忆性神经元突触(MCNN)。这种MCNN模式从传统的有线电视新闻网:有四个特点不断的外部输入替换初始输入,时空效应被替换为一个新的指数递减效应,和求和替换整个时空总和的一部分。在传统的关联CNN,研究者认为每个历史效应在网络相同的平等水平,所以他们通常假定衰减参数为常量值远离真相的事实。忆阻器是利用突触权重。刺激记忆电阻器展览动态电阻建模的历史,这是非常类似于生物神经元的突触和提出了人工神经网络(ANN)的突触连接。上述特性的MCNN是更适合模拟生物神经元。此外,由于忆阻器是一种纳米级设备,它可以简化突触电路显然,MCNN预计将实现在物理实现VSLI芯片的一部分。
图4显示的结构提出MCNN模型,该模型由三层和所有的神经元完全连接,这是类似于Hopfield神经网络。
MCNN,动态的混沌神经元中th层给出如下:(1)而, (2)而、替换与在(3.3)。
在这里,是混沌神经元的输出。,层数,混沌神经元的吗层和th层;是输入的th神经元的th层;是输入和神经元之间的连接权的th层;表明之间的重量混沌神经元中th层和th神经元的层。衰减参数和传递函数被定义为和,分别。为简单起见,和。此外,我们利用Hebbian学习监管作为突触权值的学习算法。
3.3。在MCNN记忆性神经元突触
我们提出一个简化的记忆性突触电路使用记忆电阻器的神经元突触利用连续变量的记忆和记忆记忆电阻器的能力。图5显示记忆性突触电路的原理图,输入电压源假定作为神经元的输出,和突触的输出电路与下一个神经元权重后作为输入信号。忆阻器放置在反馈路径常数可以通过编程的编程电流使用电路的电压电流转换为一个大的编程电压。假设理想运放,然后由低频电压编程后的记忆一段时间的宽度是由 突触的重量(在(3.3)实现的增益放大器:
不同的权重值可以很容易通过改变记忆获得和记忆可以通过设置不同的编程电压。编程操作后的突触体重保持不变(编程电压切断)基于忆阻器的记忆能力。如果突触权重应该是正值,连接记忆性突触的反向放大器电路可能是一种有效的方法。
接下来,当MCNN一直训练通过设置其连接权值,它会正常工作在某些应用程序中,如联想记忆。如前面所述,记忆电阻器可以视为一个内容电阻器在高频(或非常短的操作时间)或足够小的外部激励。本文模拟程序的每一步使用很短的时间,在MATLAB 0.01年代,因此为了简化实验,我们假设记忆大约水平值设置在编程阶段。在实践层面上,一个真正的忆阻器,它有一些特定的阈值电压在文献[19]。因此,MCNN物理实现的,这种行为可以实现通过使用一些voltage-controlling解决方案,使记忆的根据操作要求。
3.4。联想记忆的MCNN
在这里,我们将主要分析的能力,记忆性混沌神经网络的联想记忆任务的三个重要应用MCNN为例子。
3.4.1。分离叠加模式
让我们假设一个培训模式集是神经网络的记忆。当给网络作为一个外部应用的不断输入,网络搜索的输入模式,模式呢是回忆道。当叠加模式是给定的,周围的网络搜索和。由于混沌神经元改变他们国家的财产混乱,和分别可以回忆。我们也可以简化分离过程如下:
3.4.2。一对多关联
基于分离的属性叠加模式,假设以下训练集三层MCNN已经记住了,什么时候不断给网络的第一层作为输入,第一层搜索和回忆毫无疑问,第二和第三层可以搜索和分别由混乱的巡回。所以,,可以回忆在三层,分别实现一对多关联。
3.4.3。多对多关联
让我们考虑下面的训练集,两种模式包含一个常见的词。当是不断给网络的第一层,内部状态的混沌神经元在第二层是由以下公式: 在哪里之间的连接权矩阵是第一层和第二层,是噪声项,是一种由贪婪导致的重叠词常见的术语。同样,叠加出现在第三层。周围的网络搜索和第二层的混乱的巡回和搜索和在第三层。然后,模式和可以在不同的时间回忆,实现多对多的关联。
4所示。仿真结果
为了证明的有效性和联想记忆能力提出MCNN,我们执行一系列的计算机模拟。因为双数据(−1或1)用于模式,计算出的权重值可以基于Hebbian算法的简单推导公式(第一个公式(2.9)根据记忆模式的数量,也就是说,,在那里价值和重量吗模式的数量。例如,如果重量计算中使用的有三种模式,属于重量值。
在接下来的实验中,模式的训练集用于计算权重是一个,两个,三个,分别。属于所有的重量值,值“0”意味着没有两个神经元之间的连接,所以我们不需要考虑的。此外,众所周知,记忆必须是积极的,所以突触的输出电路是负的(从(3.5))。因为重量值和意味着重量相同的记忆状态,但带有相反的信号,所以我们使用反向放大器连接到突触电路实现积极的重量。因此,对于一个给定的电阻器忆阻器应该设定的三个州,实现权重(和)。图6显示了这样三个州,我们有记忆和相应的电压脉冲(1 V, 0.36年代),(1 V, 1.02年代),(1 V, 1.42年代)。接下来,通过记忆性突触的突触权重获得电路,我们将研究MCNN的联想记忆能力。
(一)
(b)
(c)
4.1。MCNN分离叠加模式
我们设计了包含49 MCNN神经元实现分离叠加模式和训练集如图7。叠加模式连续输入到网络和产出的数量是20。网络参数设置为,物流功能。这个MCNN层和总有效属于重量值。
(一)
(b)
(c)
(d)
图8显示了分离叠加MCNN的输出模式,模式分开叠加模式在步骤6,9日13日和16日和模式分离步骤5、8、11、14、17成功。这大约需要0.01秒在软件MATLAB处理进展。
4.2。一对多关联MCNN
我们已经设计了一个3 - layer MCNN与每一层包含81个神经元。的参数是:,物流功能。在每一层属于有效的重量值这两层之间也属于。
图9显示了训练集。在整个模式设置存储在MCNN Hebbian学习算法,当一个模式给网络作为外部输入不断,整个模式集可以回忆完美(图10),实现一对多关联。这大约需要0.3秒在软件MATLAB处理进展。
4.3。多对多关联MCNN
3 - layer 81-81-81 MCNN设计与时空总和的一部分(多对多关联在上面的实验中一样)。的参数是,物流功能。在每一层属于有效的重量值这两层之间。
训练集如图11存储在MCNN,前两个模式包括常见的词吗。条款和记得在第一层,条款,记得在第二层,1,2,3,第三层。为了清晰地显示输出,我们把三层的输出同时在一起。图12显示了响应时给第一层作为外部输入,在吗出现了9次,10次出现在30步骤的输出。这意味着实现MCNN的多对多联想记忆。这在MATLAB软件模拟大约需要0.4秒。
从上面的实验,可以看出MCNN可以成功实现联想记忆,这表明它可以执行典型的应用程序作为传统的CNN。此外,这种MCNN在传统的特色。首先,它需要设置它的连接权重实现CNN的记忆能力,这是通常被称为训练工作。为了执行不同的任务,这些权重应该相应地更新。传统上,改变这些权重是困难的,因为突触回路是固定的和复杂的。与此同时,这也是一个关键因素为什么CNN几乎没有被广泛实现的。幸运的是,记忆电阻具有快速交换(< 10 ns),低能量(~ 1 pJ /操作),写高耐力(1010),多状态操作、可伸缩性synapse-like行为,和CMOS兼容。记忆电阻的大小的1/10是晶体管,需要更少的能量,所以记忆性突触电路更简单的和小于传统的电路。更重要的是它可以很容易更新连接权重通过重组记忆电阻器的突触回路与适当的编程电压,可以节省大取代突触电路作为在传统CNN和使MCNN希望在大规模物理电路实现。
5。结论
新的混沌神经网络的实现方案与记忆性神经元突触(MCNN)是解决。指数衰减时空效应和时空总和的一部分被认为是MCNN,哪个更接近生物神经元的行为和信息处理,如联想记忆的效率更高。记忆电阻器的特性进行了分析,包括的特点,本构关系,记忆与国家地图应用电压和记忆之间的关系。一个记忆性突触基于可变增益放大器的电路设计。重量值可以很容易地利用更新的变量编程记忆电阻的记忆。当一个输入信号通过记忆性突触电路、加权操作实现。报道仿真结果表明记忆性混沌神经网络的有效性,也就是说,它可以单独存储模式从叠加输入模式和处理一对多联想记忆和多对多联想记忆。此外,记忆性突触电路使MCNN的网络结构更简单、更强大。与此同时,由于结构简单(两端),小型设备(纳米级)记忆电阻的大小,提出MCNN模型在物理实现有一个更光明的未来,在集成电路芯片拥有潜在的实现。
确认
支持的工作是由中国国家自然科学基金会拨款60972155和60972155下,基础研究基金在格兰特XDJK2012A007的中央大学,在重庆大学优秀人才支持基金会授予2011 - 65年大学关键老师支持重庆的基础下授予2011 - 65年的“春天的阳光计划”研究项目下的中国教育部批准号z2011148,中国国家博士后科学基金会在格兰特CPSF20100470116。