双多态四元数Hopfield神经网络的存储容量

摘要

双多状态四元数Hopfield神经网络(TMQHNN)是一种多状态Hopfield模型，可以存储图像数据等多级信息。存储容量是Hopfield神经网络的一个重要问题。Jankowski等人用二维正态分布近似复值Hopfield神经网络(chnn)的串扰项，并评估其存储容量。在本工作中，我们根据他们的想法评估tmqhnn的存储容量。

1.介绍

复值Hopfield神经网络(CHNN)是Hopfield神经网络的多状态模型。chnn可处理多层信息，已应用于图像数据的存储[1- - - - - -7］．他们也被扩展使用Clifford代数，其中包括一个复场，双曲代数和四元数场。提出了几种双曲Hopfield神经网络模型[8- - - - - -11］．Isokawa等[12]提出了使用分裂激活函数的四元数Hopfield神经网络(QHNNs)。Minemoto等[13]利用极性表征的激活函数研究QHNNs。qhnn的其他几个模型也被提出[14- - - - - -17］．在本文中，我们研究了双多态四元数Hopfield神经网络(TMQHNNs) [18］．TMQHNN神经元由一对复值多状态神经元组成。TMQHNN只需要CHNN一半的连接权参数。

存储容量是Hopfield神经网络中的一个重要问题。当给定Hopfield神经网络的训练模式时，加权和输入被分解为主项和串扰项。主要术语使Hopfield神经网络能够记忆训练模式。串扰术语干扰训练模式的存储。通过评价串话项，研究了传统Hopfield神经网络的存储容量[19］．Jankowski等人[1]和小林[20.将该技术分别应用于chnn和转子Hopfield神经网络(rhnn)。RHNN是利用向量和矩阵的CHNN的扩展[21］．在本工作中，我们提供了tmqhnn的Hebbian学习规则，并基于Jankowski的概念评估存储容量。对于tmqhnn，串扰术语被分解为两个复杂的部分。通过对这两部分的评估，我们确定了tmqhnn的存储容量。理论表明，TMQHNNs的存储容量是chnn的一半。此外，我们还通过计算机仿真比较了chnn和tmqhnn的存储容量。

本文的其余部分组织如下:章节2和3.分别介绍了chnn和TMQHNNs。部分4为TMQHNN提供Hebbian学习规则，并评估存储容量。它还包含了计算机模拟验证我们的分析的描述。部分5本文总结道。

2.复值Hopfield神经网络

简要描述了chnn [1］．让和是神经元的状态一个和神经元的连接重量b对神经元一个,分别。神经元的加权和输入一个是由在哪里是神经元的数量。对于分辨率K,我们定义．对于加权和，输入，在哪里和；复值多态激活函数定义为

我们定义神经元状态集，并表示为: ．连接权值必须满足以下条件:

然后，CHNN收敛到一个不动点。

让是p训练模式，其中为训练模式的数量。Hebbian学习规则定义为

然后，连接权值满足．给问的训练模式，加权和输入到神经元一个是

第二学期(7)被称为相声术语。串扰术语干扰训练模式的存储。我们定义

然后,我们有

如果，然后我们有．因此,如果对所有一个,问训练模式为定点训练。我们把作为。的总和随机变量的V为简单起见，尽管求和包含条款。每个随机变量的实部和虚部的方差相等σ并且没有相关性。设置，被认为是随机变量。然后,我们有

让和是的实部和虚部，分别。根据中心极限定理，我们有

为，我们有

3.双多态四元数Hopfield神经网络

四元数用使用实数，和．虚数单位，和k满足以下属性:

四元数满足结合律和分配律。对于复数c，我们有重要的平等:

把和，四元数的问被描述为．对四元数和，加法和乘法被描述为

的共轭问被定义为

然后是等号

在tmqhnn中，神经元状态和连接权值由四元数表示。这些神经元状态和连接权值的表示方法与chnn相同。TMQHNN中的神经元数记为．神经元的加权和输入一个是由

对于加权和，输入，激活函数定义为

因此，神经元状态集为．连接权值必须满足以下条件(3.)和(4）.然后，TMQHNN收敛到一个不动点。

4.双多态四元数Hopfield神经网络的存储容量

给出了TMQHNNs的Hebbian学习规则。让是p训练模式，其中为训练模式的数量。Hebbian学习规则由

然后，连接权值满足．给问向TMQHNN输入加权求和的训练模式一个是

第二学期(22)也被称为串音术语，它会干扰训练模式的存储。我们分解四元数变成一对复数来调查存储容量。然后,我们有

我们定义

然后,我们有

如果和，然后我们有．我们把和作为。的总结随机变量的年代．然后,和遵循相同的分布。因此，我们只能讨论．如果使用TMQHNN代替CHNN，，因为双多态四元数神经元由两个复值多态神经元组成。设置，被认为是随机变量，我们有

让和是的实部和虚部，分别。根据中心极限定理，我们有

把，我们有

我们要求(12)和(22),获得．因此，CHNN的存储容量是TMQHNN的两倍。

计算机模拟验证了我们的分析。K是多种多样的在第二步中，和P是多种多样的．为每一个K和P，随机生成100组训练模式;试验的次数是100次。CHNN和TMQHNN尝试使用Hebbian学习规则存储训练模式。如果所有的训练模式都是固定的，试验就被认为是成功的，否则就是失败的。数字1给出了仿真结果。横轴和纵轴分别表示训练模式的数量和成功率。仿真结果表明，TMQHNN的存储容量略大于CHNN的一半。

5.结论

TMQHNN只需要CHNN一半的连接权值参数，且存储容量较小。然而，尚未对其存储容量进行分析。在本文中，我们定义了tmqhnn的Hebbian学习规则，并分析了它们的存储容量。分析表明，TMQHNN的存储容量只有CHNN的一半。此外，还进行了计算机模拟来验证我们的分析。仿真结果证实了我们的分析。未来，我们打算用不同的方法来研究存储容量[19，22，23］．

数据可用性

没有数据支持本研究。

的利益冲突

作者声明本文的发表不存在利益冲突。

参考文献

S. Jankowski, A. Lozowski, J. M. Zurada，《复值多状态神经联想记忆》，神经网络学报，第7卷，第5期6，第1491-1496页，1996。视图:出版商的网站|谷歌学者
H. Aoki和Y. Kosugi，“一种使用复值联想记忆的图像存储系统”国际模式识别会议论文集，第2卷，第626-629页，西班牙巴塞罗那，2000年9月。视图:谷歌学者
“将灰度图像转换为相位信息的复值神经元”国际神经信息处理会议论文集，第3卷，第1084-1088页，新加坡，2002年11月。视图:谷歌学者
G. Tanaka和K. Aihara，“用于灰度图像重建的非线性多级函数复值多状态联想记忆”，神经网络学报，第20卷，第2期。9, pp. 1463-1473, 2009。视图:出版商的网站|谷歌学者
M. K. Muezzinoglu, C. Guzelis, J. M. Zurada，《复值多状态Hopfield联想记忆的新设计方法》，神经网络学报第14卷第2期4，第891-899页，2003。视图:出版商的网站|谷歌学者
郑平，“阈值复值神经联想记忆”，神经网络与学习系统，第25卷，第2期9，第1714-1718页，2014。视图:出版商的网站|谷歌学者
T. Isokawa, H. Yamamoto, H. Nishimura, T. Yumoto, N. Kamiura, N. Matsui，“具有投影和迭代学习规则的复值联想记忆”，人工智能与软计算研究杂志，第8卷，第2期3，第237-249页，2018。视图:出版商的网站|谷歌学者
Y. Kuroe, S. Tanigawa，和H. Iima，“Hopfield-type Clifford神经网络模型及其能量函数——双曲和对偶值网络”国际神经信息处理会议论文集，第560-569页，卡塔尔多哈，2011年11月。视图:谷歌学者
M. Kobayashi，《双曲线Hopfield神经网络》，神经网络与学习系统，第24卷，第2期2, pp. 335-341, 2013。视图:出版商的网站|谷歌学者
M. Kobayashi，《全局双曲Hopfield神经网络》，电子、通讯与计算机科学基础汇刊， vol. E99-A, no。12, pp. 2511-2516, 2016。视图:出版商的网站|谷歌学者
M. Kobayashi，“具有定向多状态激活功能的双曲Hopfield神经网络”，Neurocomputing， 2018, vol. 275, pp. 2217-2226。视图:出版商的网站|谷歌学者
T. Isokawa, H. Nishimura, N. Kamiura, N. Matsui，“四元数Hopfield神经网络中的联想记忆”，国际神经系统杂志第18卷第2期2，页135 - 145,2008。视图:出版商的网站|谷歌学者
T. Minemoto, T. Isokawa, H. Nishimura, N. Matsui，“具有扩展投影规则的四元数多状态Hopfield神经网络”，人工生命与机器人第21卷第2期1, pp. 106-111, 2016。视图:出版商的网站|谷歌学者
T. Minemoto, T. Isokawa, H. Nishimura, N. Matsui，《复值和四元关联记忆的伪正交化记忆模式》，人工智能与软计算研究杂志，第7卷，第5期4, pp. 257-264, 2017。视图:出版商的网站|谷歌学者
M. Kobayashi，“混合四元数Hopfield神经网络”，电子、通讯与计算机科学基础汇刊， vol. E98-A, no。7, pp. 1512-1518, 2015。视图:出版商的网站|谷歌学者
M. Kobayashi，“对称四元数Hopfield神经网络”，Neurocomputing， vol. 240, pp. 110-114, 2017。视图:出版商的网站|谷歌学者
M. Kobayashi，《三维四元数Hopfield神经网络》，电子、通讯与计算机科学基础汇刊， vol. E100-A, no。7, pp. 1575-1577, 2017。视图:出版商的网站|谷歌学者
M. Kobayashi，“具有双多状态激活功能的四元数Hopfield神经网络”，Neurocomputing， vol. 267, pp. 304-310, 2017。视图:出版商的网站|谷歌学者
J.赫兹，A.克拉夫和R. G.帕尔默，神经计算理论导论， Addison-Weasley, Redwood City, CA, USA, 1991。
M. Kobayashi，“转子Hopfield神经网络的存储容量”，Neurocomputing， 2018, vol. 316, pp. 30-33。视图:出版商的网站|谷歌学者
M. Kitahara和M. Kobayashi，“转子Hopfield神经网络的投影规则”，神经网络与学习系统，第25卷，第2期7, pp. 1298-1307, 2014。视图:出版商的网站|谷歌学者
J. Cook，《q状态神经网络模型的平均场理论》，物理学报A:数学与一般第22卷第2期12，第2057-2067页，1989。视图:出版商的网站|谷歌学者
Y. Nakamura, K. Torii，和T. Munakata，“由多维自旋神经元组成的神经网络模型”，物理评论E第51卷第1期2，第1538-1546页，1995。视图:出版商的网站|谷歌学者

计算智能与神经科学

摘要