文摘

Brain-inspired,人工神经网络方法为每个模式提供了发展流动的能力如果反馈连接是允许的。也展示伟大的稳定性和适应性对于噪声和模式退化和可以执行推广任务。特别是,双向联想记忆(BAM)模型显示了模式识别的能力的巨大希望被训练使用监督或无监督计划。本文描述了这样一个BAM,一个可以真正的编码模式和二进制值,执行适应时间序列的多步模式识别,实现多对一关联。此外,它将表明,BAM可以推广到多个联想记忆,而且它可用于存储来自多个数据源的关联。各种行为只有拓扑重组的结果,同样的学习和传播功能在整个模型保持不变。因此,一个一致的体系结构是用于不同的任务,从而提高其实际吸引力和建模的重要性。模拟显示BAM的各种能力,通过使用几种类型的编码和召回情况。

1。介绍

能够识别和召回的各种性质和模式在不同的上下文中是人类实现经常和一些努力。但是这些任务很难繁殖的人工智能系统。成功的方法包括分发信息并行处理单元,网络在生物神经网络完成。这个brain-inspired,人工神经网络方法提供了能力发展流动对于每个模式如果允许反馈连接(例如,1,2])。也展示伟大的稳定性和适应性对噪声和模式退化,并能完成推广任务。特别是,双向联想记忆(BAM)模型显示了模式识别的能力的巨大希望被训练使用监督或无监督计划(3]。鉴于双相情感colon-matrix对,,BAM学习是通过一个简单的Hebbian规则,根据方程: 在这个表达式,和是矩阵,表示双极对相关的设置,然后呢是权重矩阵。保证完美的存储和检索,输入模式需要正交(通常,单位矩阵;(4])。在这种情况下,所有积极的权重矩阵的特征值相等,当一个输入了回忆,可以检索到正确的输出。例如,如果输入代表了编码模式,然后将得到的输出 的因此,输出对应编码的刺激。方程(1.1)使用一次性学习过程因为Hebbian协会严格添加剂。更自然的学习过程会使学习增量,但那时,权重矩阵将增长无限的重复学习期间输入的刺激。此外,特征值的频率将反映的每一个刺激。这个属性可以接受的正交模式,但它会导致灾难性的后果当模式相关的。在这种情况下,权重矩阵将由其第一特征值,这将导致召回任何输入相同的模式。相关模式,妥协是使用一次性学习规则限制了统治的第一特征值,并使用一个周期性的非线性传输函数允许网络过滤出不同的模式在回忆。Kosko BAM sgn传输函数有效地使用一个回忆的嘈杂的模式,尽管体重矩阵由使用(1.1)不是最优的。使用的非线性传输函数通常BAM网络由以下方程表示: 在哪里符号函数和吗是一个给定的离散时间一步。最初,BAMs可怜的存储容量,只能存储二进制模式和仅限于静态输入。如今,存储和回忆性能大大改善;BAMs可以学习和回忆二进制模式具有良好的性能(例如,(5- - - - - -20.]),能力一直延伸到实值模式(例如,7,8,21- - - - - -24])。注意力也给学习和检索时间序列(见[25]审查)。这些多步协会研究本质上与梯度下降法技术(例如,26,27)、竞争技术(例如,28])或复杂的架构(例如,[29日,30.])。很少有作者研究这种类型的协会的情况简单的BAM网络(例如,7,31日- - - - - -33])。

本文将关注BAM属性不同的关联。首先分析传输函数的研究分析和数值。这将是紧随其后的是模拟典型的一对一的关联。下一节将介绍多对一关联,允许从表示中提取意味着不同的原型。然后,我们专注于颞协会。在这种情况下,将极限环和稳态行为。最后,更复杂的架构将探索通过多向联想记忆(MAM)架构,同时保持相同的学习和传播功能。

2。传输函数的分析

本节描述如何传输函数来自分析和一维三次函数的数值结果。

2.1。一维对称设置

使用的传输函数模型基于经典Verhulst方程(34]。以来,这二次函数只有一个稳定的定点,扩展到一个立方形式所描述的动态方程 在哪里代表输入值,是一个免费的参数影响的平衡态(2。1)。图1说明了它的形状。定点的根源。例如,如果了相应的定点0和1。定点的稳定性能取决于计算的导数(2。1): 如果在给定的定点导数大于零,那么一个小扰动导致增长;别的,如果导数是负的,那么一个小扰动导致腐烂。第一个情况代表了一个不稳定的定点,而第二个代表一个稳定。在前面的示例中,两个和是稳定的定点,是一个不稳定的定点。这是见图1分别由填充和空圈。

另一种可视化的动态递归神经网络是基于能量的物理思想(1]。的能量函数,指出,可以定义 负号表示的状态向量移动下坡能源景观。用链式法则,它遵循从(2。3), 因此,下降沿轨迹,或者换句话说,全球状态向量收敛到较低的能量状态。平衡发生在局部最小值对应的向量场位置稳定的不动点,和局部极大值对应于不稳定的。找到他们,我们需要找到这样 一般的解决方案是 在哪里是一个任意常数(我们使用为了方便)。图2说明了能量函数当。系统展示double-well潜在的两个稳定平衡分(和)。

的参数中扮演一个重要的角色在决定的数量和位置的定点。图3说明了情况。为小于零,系统只有一个(稳定)定点,;为大于零,有三个定点:和,其中第一个是不稳定,另外两个是稳定的。最后,对于等于零,我们有一个音叉分岔点。我们推断前,我们必须有系统存储二进制刺激。

2.2。m维对称设置

在一个维空间,(2。1),成为一个向量形式 在那里,,和是网络的维度。当权重矩阵是对角,系统分开,分析很简单。定义一维系统中,定点的根(2。7)。其稳定性的性质是由每一个找到其雅可比矩阵的特征值。根据特征值的不同,不同类型的定点行为。例如,如果将会有9个定点如图4。其中四个是稳定的:,,,;他们用填充的圆圈表示。其他五个不稳定,用空的圆圈表示。这里也可以确定定点的稳定的能源系统。在矩阵表示法,能量函数 在双极模式的情况下,如果被设置为,那么就等于的能量系统。

函数绘制在图5对于二维系统,使用以前的值。稳定的不动点的局部最小值对应于情节和他们召回空间分割成四个相等的井。例如,如果所需的输出(定点)是正确的,这定点吸引一个均匀分布的概率模式的元素是25%。

2.3。使用欧拉数值近似方法

从之前的分析,两个稳定不动点的存在是正的。为简单起见,如果所有的元素设置为1,那么(2。7)成为 最后一个微分方程可以近似的离散时间利用欧拉方法: 在哪里小正的常数和吗是一个给定的离散时间一步。重新安排的条款收益率 然而,事实上,(2.11)没有反映出重量的影响关系。考虑修改单元之间的连接强度的学习规则,我们的姿势,在那里表示连接的权重。方程(2.11),那么就 最后一个函数如图6。图所示,,然后将有相同的值为1。

传输函数的导数的斜率将决定其稳定性。在我们的例子中,它需要定点稳定单调方法。因此,必须积极和斜率小于1 (35]: 当这个条件是满意双极刺激。在这种情况下,。另一种方法来分析整个网络的行为是通过执行一个李雅普诺夫分析。这种分析将使我们能够区分非周期(混乱)从周期吸引子。李雅普诺夫指数近似为一维的情况下网络 在哪里是网络的迭代的数量,设置为10000建立近似。再次,为简单起见,我们执行分析的独立单元。换句话说,从导数项(2.13)当(为简单起见),所以是由 为了估计的范围值对于一个给定的时期,可以执行一个分岔图。图7说明了李雅普诺夫和分岔分析和显示的值小于1.0,网络收敛于一个定点吸引子。然而,在更高的值(例如,1.6),网络可能收敛于一个非周期吸引子。

2.4。数值近似使用四阶龙格库塔方法

另一个网络的动力学的数值近似是利用四阶龙格库塔(叉)方法。欧拉方法相反,叉使用平均估计近似下一个时间步 在哪里是一个很小的近似参数。再次,考虑到重量连接,我们的姿势。方程(2.16)因此成为 最后一个函数如图8。图所示,如果,然后将有相同的值为1。再次,像任何非线性动态系统,保证给定输出收敛于一个定点传输函数的导数的斜率,必须积极和不到一35]: 当这个条件是满意双极刺激。在这种情况下,。这里也分岔和李雅普诺夫指数图进行。图8显示,如果该值低于1.7,网络将收敛到一个定点。然而,如果价值太高了,一个给定的输入将收敛于一个非周期吸引子。

2.5。欧拉和叉之间的性能比较近似

这个模拟的目的是比较欧拉和叉之间的性能近似。虽然叉常微分方程给出了更精确的近似(2。7),我们需要评估如果更好的近似转化为更好的吸引半径。

2.5.1。方法

低和高内存负载被用作比较的基础。低内存负载情况下,前10相关模式联系在一起。的模式是像素图像白色像素给出的字母字符值−1和一个黑色像素值1。这导致了内存负载等于20% (10/49)49-dimensional空间的能力。通常情况下,如此高的负载值不能由Kosko的BAM约14%。高内存负载情况下,协会也扩展到所有26个相关模式。最后情况导致内存负载等于53% (26/49)。通常,50%左右是最大负载优化Hebbian-type联想记忆可以存储没有重大性能下降(36]。图9说明了用于仿真的刺激。49岁的图像转换成向量维度之前输入到网络。

这两种方法进行测试与输出参数设置为0.05和0.025。这些值远低于理论极限分析发现。仿真结果(不是报道)表明,更高的价值使模型无法关联模式。之间的关联模式是实现使用学习规则(3.4)和(3.5),将在下一节中描述。

后将对所需的模式,吸引了欧拉和叉的半径是评价嘈杂的回忆任务。回忆嘈杂的模式的首要任务是通过生成随机正态分布向量添加到模式。每个嘈杂的模式向量与平均分布(0)和标准差(代表所需的噪音)的比例。的模拟,变化从0.1到1.0。第二个任务是召回相关的正确的刺激从嘈杂的输入通过随机翻转像素的输入模式。像素翻转的数量不同,从0到10,因此对应于一个噪音0到20%的比例。

2.5.2。结果

图10说明了各种表演。如果内存负载很低(10模式在49个像素)如左边所示列,那么欧拉近似随机像素翻转的轻微优势叉。这种优势是增加如果内存负载高(26模式在49个像素)显示在右列。此外,输出参数的值越高,性能越高。然而,如果输出参数设置为高,那么网络不可能聚集到一个定点。因此,选择一个输出传输将基于欧拉方法。

3所示。模型描述

3.1。体系结构

拟议中的BAM哈桑提出的体系结构类似于一个(37)如图11,在那里和代表初始输入状态(刺激);是在网络上的迭代次数;和和权重矩阵。网络由两个Hopfield-like神经网络以从头到脚的方式相互联系。这些互联层允许反复流双向的信息加工方式。的y层返回信息层,反之亦然。如果类似的模式提出了两层,那么网络就像一个autoassociative记忆和模式层具有不同的相关联层,那么网络就像一个异联想记忆(3]。因此,它包括监督学习和无监督(self-supervised)。在这个特殊的模型中,可以将两层不同的维度和通常的BAM设计相反,权重矩阵从一边并不一定的转置,从另一边。

3.2。传输函数

,基于数值结果的部分2.5。2后,所表达的传输函数方程。输入激活的- - -层计算如下: 获得的输出然后使用欧拉近似(2.12)由以下方程: 在哪里和在每一层的数量单位,是各自的索引向量元素,和表示层的内容,是一个通用的输出参数。这个函数的形状如图6。这个函数的优点展示连续值(或灰度)吸引子行为(对于一个详细的示例,看到7当用于复发性网络])。这些属性与标准非线性传输函数,只表现出双相吸引子的行为(例如,3])。

3.3。学习

网络试图解决非线性约束如下: 在哪里是前面定义的传输函数(3.2)。的形式约束和周期性的底层网络需要一个学习的过程,执行在线:修改权重获得函数的输入和输出。此外,由于增量学习青睐,网络必须能够self-converge。因此,学习是基于时差Hebbian协会(7,38- - - - - -40]。这是正式表达了以下方程: 在哪里代表了学习参数。在(3.4)和(3.5),重量更新遵循下面的一般过程:首先,初始输入和美联储到网络,那么,这些输入迭代t*通过网络(图1)。这将导致输出和用于重量更新。因此,权重将self-stabilize反馈时一样的初始输入(和;换句话说,当网络开发了定点。这与大多数BAMs,学习执行完全激活(线下)。学习收敛的学习参数的值的函数。为简单起见,我们假设输入和输出是相同的。因此,找到学习的最大值参数可以设置为我们需要找到学习方程的推导时,斜率为正,然后解决它[35] 如果在一维模式的情况下一维网络,简化情况 在这种情况下,网络会收敛和解决方案 正如任何网络,网络维数的增加,必须设置较低的值。因此,对于BAM的和维度、学习参数必须设置根据

4所示。模拟

下面模拟将首先提供一个数值例子来说明如何使用一个小型网络学习和执行召回。下一个模拟再现了经典的BAM一对一的关联的任务。最后,第三个模拟的关联属性模型扩展到多对一关联的任务。

4.1。数值例子

第一模拟使用玩具的例子展示了如何学习和召回过程执行的细节。

以下4.4.1。学习

对于这个模拟传输函数参数()被设置为0.1和学习参数()被设置为0.01。限制仿真时间,输出迭代的数量在每个权重矩阵更新设置所有的模拟。学习按照下列程序进行:

重量在零初始化;(1)随机的选择一个模式,(2)计算和根据传输函数(3.2),(3)计算权重矩阵(和根据()更新3.4)和(3.5),(4)重复步骤(1)(3),直到体重矩阵收敛。

刺激对仿真得到的

第一次学习试验
假设第二一对是随机选择的。然后, 和(3.2)收益率零向量和因为重量连接最初被设置为零: 使用(3.4)和(3.5),更新权重矩阵和它们的值

第二学习试验
假设第一对是随机选择的。因此, 使用(3.2我们计算y(1)和x(1) 使用(3.4)和(3.5),重量矩阵更新和它们的值 注意权重矩阵的转置不像Kosko的3]。

学习试验
如果这个过程是反复迭代,(例如,100学习试验)权重矩阵收敛于

4.1.2。回忆

测试网络是否能有效地回忆一个给定的模式,一种模式是选择和遍历网络直到稳定。例如,如果以下模式呈现给网络(嘈杂的版本的模式2)不同的状态向量将: 第二层将的输出 然后,这个输出发送回第一层: 这个循环会重复,直到收敛 因此,新的输入被列为第二模式的一部分。下一节一对一协会提供了一个典型的例子。

4.2。一对一的关联

网络的任务包括将一个给定的图像与一个名字。因此,网络应该输出一幅画相应的名称,并从名称相应的图片。

4.2.1。准备方法

第一个刺激集代表8位灰度级图片。每个图像的维度因此形成一个912 -维实值向量。他们减少大小版本的加州面部表情集(咖啡馆,41])。每个像素归一化−1和1之间的值。第二组包括效率上的字网格,确定每个图片。对于每个名字的白色像素赋值−1和一个黑色像素值+ 1。每个名称217 -维双极向量形式。因此,权重矩阵连接和权重矩阵连接。网络的任务是把每个图像和相应的名称如图12。学习参数()设置为0.0025和输出参数(0.1)。两个值满足要求的重量收敛和定点开发。由于模型的在线学习是和迭代,刺激不了。为了节省计算时间,每个重量更新之前的迭代次数设置为。学习了前面的仿真中描述的相同的一般程序:(1)初始化权值为零,(2)随机选择一对均匀分布,(3)刺激迭代通过网络根据方程(3.1)和(3.2)(一个周期),(4)重量更新根据方程(3.4)和(3.5),(5)重复2到4,直到达到所需的学习试验()。

4.2.2。结果

花了约12 000学习在学习融合。网络能够完全将一个名称与对应的图片,反之亦然。表1表4说明了噪声宽容和模式的一些例子完成网络的属性。更准确地说,表1显示了网络能够回忆起的名字在一个嘈杂的输入。第一张图片的输入包括含有22%的噪音水平。换句话说,200像素(912)是随机选择的,他们的价值观是乘以−1。

此外,通过网络的双向性质,也可以不仅记得适当的名称,而且清洁的输入。表2显示了一个示例的模式完成。在这种情况下,眼带由像素的零值。网络能正确输出的名称和恢复丢失的眼睛。网络还可以输出照片给一个适当的嘈杂的名字。例如,表3显示网络能够回忆起适当的名称,即使输入名称是不正确的(凯特代替凯蒂)。最后,表4表明由于“皮特”是唯一的名称始于””,那么只有第一个字母是必要的网络输出正确的脸。网络的总体性能评估了查特和Boukadoum7]。在下一节中扩展了模拟通过引入多对一关联。

4.2.3。与硬限制传输函数

对于某些应用程序(例如,7),它是理想的传输函数是一个固定值范围内。饱和限制−1和1可以添加到(3.2)和传输函数由下列方程表示: 与乙状结肠传输函数,这个函数在±1不是渐近值,并且它还表现出连续值的优势(或灰度)吸引子的行为当用于复发性网络。图13说明时传输函数的形状= 0.5。

我们比较相同的网络,没有硬限制在同一任务(图9)先前描述的部分2.5。1。网络的性能评估与传输函数(0.05到0.3之间)值;超过此范围的值给了最糟糕的结果。此外,网络与最好的结果(= 0.05)获得的仿真如图10当没有使用硬限制。所需的模式对协会后,网络的吸引半径是评价在嘈杂的输入通过随机翻转像素的输入模式。像素翻转的数量不同,从0到10。

图14说明了各种表演。结果表明,在低到中等噪音,该网络将有最好的性能(大约增加10%)如果没有使用硬限制。然而,在中级到高级水平的噪音情况相反;网络将会有最好的表现(大约增加5%)如果使用硬限制()。

4.3。多对一联系

这个仿真说明了多对一关联。这个想法是把由不同民族不同的情感描述适当的名称标签。因此,在给定图像的表示,网络应该输出相应的情感。仿真是基于Tabari et al。42]。

4.3.1。方法

在前面的部分中,首先刺激组代表8位灰度级图片。每个图像的维度912 -维实际价值,因此形成一个向量。他们减少大小版本的加州面部表情样本(咖啡馆,41])。每个图像像素的新值在−1和1之间。为每个9个人7图片反映了一个给定的情感(愤怒,厌恶,恐惧,快乐,伤感,中性,和惊讶)。第二组包括信件的地方网格,确定每个情绪(A、D、F、H M, N和S)。对每个字母的白色像素赋值−1和一个黑色像素值+ 1。每个名称49-dimensional双相情感向量形式。因此,权重矩阵连接和权重矩阵连接。网络的任务是把每个情感,表达了不同的人,与相应的字母(图15)。将0.0025和到0.1。两个值满足要求的重量收敛和定点的行为。学习过程遵循之前表达的一般程序。

4.3.2。结果

一旦学习试验完成(约1000时代),网络能够正确回忆每个不同的人表达情感。在一对一的关联,网络能够去除噪声和正确回忆适当的情感标签。表5噪声图像的两个例子表明,污染了200像素翻转(22%)。表6表明网络回忆即使没有适当的情感标签图片部分通常被视为重要的识别情感,也就是说,眼睛和嘴巴。

然而,最重要的财产在这种情况下是两个权重矩阵的动态链接在一起。如上所示,网络将会输出相应的字母的脸,但面对网络的输出应该对于一个给定的信?在这种情况下,从这封信一层一层的图片意味着一对多关联。没有一个架构修改,可以使上下文编码(7),网络将无法输出正确的图片。相反,网络将平均所有情感表达的人。因此,如图16,网络能够提取图像的什么特性让每个情感不同。

5。模型扩展到颞联想记忆

直到现在,不同刺激之间的关系是静态的。在某些情况下,网络还可以执行多步模式识别(43]。情况就是这样,当输出是一个时间序列。允许这样的编码,网络的体系结构被修改。

5.1。结构修改

图17显示,而不是两个异联想网络连接在一起的Okajima等人模式44),网络是由异联想和autoassociative层。异联想层用于给定的模式映射到下一层,而autoassociative层就像一个延时电路,反馈异联想的初始输入层。这个延迟,就有可能让整个网络学习时间序列模式。图17说明了不同时间联想记忆和双向联想记忆。

输入模式的初始值异联想部分,它的输出,提要autoassociative部分。后者产生一个输出,_,这是美联储回异联想部分以及到autoassociative部分。因此,autoassociative上下文作为一部分单位异联想的部分。这两个网络协同工作允许必要的信息流动,作为我们的模拟显示,多步模式召回,同时仍然能够过滤噪声的输入。

5.2。学习函数的简化

对于autoassociative学习,函数表达的(3.5)可以简化使用重量然后广场和对称矩阵。对称性已经取消的交叉项的影响(3.5),成为autoassociative学习功能 在哪里代表了连接权重矩阵。然后学习规则是一笔一个积极和消极Hebbian术语(7,38]。

5.3。模拟1:极限环的行为

这种模拟说明了网络可以执行时间。学习的任务由不同的平面旋转相同的对象。

5.3.1。方法

五个不同模式序列必须学习。每个序列都是由相同的图像与平面旋转45度。表7说明了五个序列模式。网络关联序列的每个模式与下面的一个。换句话说,网络将把45°和90°、90°和135°、135°和180°、180°和225°、225°和270°、270°和315°、315°与0°和0°与 的形象。因此,网络应该是一个极限环的稳态周期为8。每个二进制刺激被放在一个网格,白色和黑色像素被分配−1和1值,分别。将自由参数和,根据规范给出Chartier et al。8]。

5.3.2。结果

网络花费了大约2000小时的学习试验收敛,能够正确地学习5模式序列。也能与嘈杂的输入和操作执行一些概括。例如,表8说明了网络能够将噪声从时间序列的“鱼”的形象被召回。表9表明,该网络可以概括其学习使用类似的对象。在这种情况下,一个新的“蝴蝶”的照片被用作初始输入。随着刺激遍历网络,网络召回原来的“蝴蝶”表中描述7在步骤8(蝴蝶输出不同于原来的步骤0)。最后,表10显示网络可以正确地输出图像序列下小平面旋转初始输入图像的变化。在这个特定的示例中,新的“恐龙”图片代表一个275°旋转(270°+ 5°)。尽管特定的旋转不是初始序列集的一部分,网络能够正确地回忆起适当的图像序列。

5.4。模拟2:定点的行为

这模拟说明了网络可以执行时间。学习的任务是同一对象的不同平面旋转。所想的,之前的模拟,一旦网络被每一个平面旋转它收敛于一个定点。

5.4.1之前。方法

五个不同模式序列必须学习。每个序列都是由相同的图像平面旋转45°。表11说明了五个序列模式。网络必须与以下关联序列的每个模式。换句话说,网络将把45°和90°、90°和135°、135°和180°、180°和225°、225°和270°、270°和315°、315°0°和的 与 的形象。最后这个协会将创建一个定点吸引子,可以用于其他类型的协会在更复杂的体系结构,将在下一节中所示。每个二进制刺激被放在一个网格,白色和黑色像素被分配一个−1和1值,分别。将自由参数和,按照规范中给出8]。

5.4.2。结果

网络学习试验融合发生之前,花了2000,它能够正确地学习5模式序列。噪音宽容和泛化的相同的例子是用来比较之间的网络性能极限环和定点条件。表12表明,该网络可以消除噪声序列回忆道。表13显示学习推广到其他类似的对象。9次步骤之后,网络召回“蝴蝶”中描述表11。最后,表14表明,网络还可以输出正确的图像序列在平面旋转的小初始变化。在这个特定的例子“恐龙”图片代表一个275°旋转在前一节中。

6。多向联想记忆

有时协会必须推广到两个以上的方向。处理多个协会,Hagiwara [45)提出了多向联想记忆(MAM)。架构后来扩展到处理时间序列(46]。本节显示了老妈的一些性质,是由一个时间异联想记忆和一个双向联想记忆。与前面的模拟,只有修改网络拓扑如图18显示;学习和传播功能保持不变。在这个模拟得到的信息y层在时间由和。发送的反馈是有用的只有一次网络达到稳态时,最后的刺激模式。因此,尽量减少在颞召回其效果,反馈的价值低于。这是正式表达了 在哪里,和代表重量连接链接和,分别。综上所述,和形成了权重矩阵。

6.1。方法

模拟执行在前一节中描述的多步模式识别结合标准的一对一的关联。只有当执行一对一的关联网络在给定的定点。换句话说协会会发生只有当输出是在0°平面旋转的回忆(表序列11)。协会是由给定的图像和它的名字的第一个字母如图19。将学习和传输函数参数和。的z层反馈参数设置。

6.2。结果

当然,如果时间或双向关联部分独立激活,由此产生的网络性能将与前面相同。什么事在这种情况下,网络的输出状态。最好的情况是当一个模式是提供给网络,关闭其定点行为(315°)。反馈的效果层将是有限的。相反,最坏的情况是,当一个模式提出了平面旋转45°。在这种情况下,它将需要8时间步骤之前的输出向量是定点的行为。从这一点上,图像识别过程可以发生。如果反馈来自z层太浓,可能偏离输出矢量的轨迹。这可以使网络收敛到错误的定点,导致一个错误的名称标签。由于这个原因,反馈的价值z层必须低。

表15显示了一个示例的“跑步者”给出一个初始45°平面旋转。后一个时间步网络正确输出90°的图片(1)。当然,标签名称是不正确的(2)。现在新的输入将对应的输出层(10),所给予的反馈z2层(没有显示)。整体效果会1 +2、将作为新的输入。重复这个过程直到收敛。9次步骤之后,表15显示正确的0°“跑步者”图片输出以及正确的名字标签的信””。

7所示。结论

几个有趣的BAM架构已被证明的性质。首先,它是显示一个简单的时滞Hebbian学习可以进行一对一的关联和多对一关联的二进制和实值模式。此外,BAM可以修改以这样一种方式heteroassociation和autoassociation可以实现在同一架构。在这种情况下,autoassociative一部分像时间延迟和整体网络可以用于时序关联。一个简单的一步延迟了。然而,通过添加l额外的层autoassociation,网络可以很容易地修改处理l要延迟。最后,如果时间和双向关联分组成多向联想记忆可以获得更复杂的行为。

在所有情况下,使用了相同的学习和传播功能。唯一的修改有关的网络拓扑。这个属性为网络提供了较高的内部一致性。更复杂的体系结构是可行的,但一个真正强大的实现改进将会开发一个算法,指导建筑增长根据要解决的问题。因此,任务的架构可以修改在函数执行所需的行为,使用BAMs作为构建块。

承认

这项研究的部分支持由自然科学和工程研究理事会(NSERC)的加拿大。