神经元树突突触模型与自适应训练的微分进化算法

文摘

神经元树突模型与自适应神经突触(直)基于差分进化(DE)算法训练算法。根据信号传输顺序,认为可以分为四个部分:突触层,树突层,膜层,和体细胞层。它可以转换为一个逻辑电路容易实现硬件上通过删除无用的训练后突触和树突。这个逻辑电路可以用来解决复杂的非线性问题只用四个基本逻辑设备:比较器,(一起),或者(分离),而不是(否定)。获得更快、更好的解决方案,我们采用最流行的德对于培训。我们选择五分类数据集UCI机器学习库的一个实验。我们实验结果的分析和讨论正确的速度,收敛速度,ROC曲线,和交叉验证,然后比较结果与树突神经元模型由反向传播算法训练(BP-DNM)和一个由反向传播神经网络训练算法(摘要)。分析结果表明,DE-DMAS显示更好的性能在所有方面。

1。介绍

人类的大脑由数十亿神经元,单个神经元细胞是由一个细胞的身体,一个轴突,细胞膜和树突。树突占据90%以上的神经细胞组织和有一个关键的角色在一个人的学习过程。第一个人工神经元最初MuCulloch和皮特在1943年提出的1]。这个模型是一个抽象和简化模型构造根据生物神经元膜的结构和工作原理基于数学和算法称为阈值逻辑。

感知器是一种模式识别的方法,于1958年首次由Rosenblatt [2,3]。它是第一个人工神经网络模型,神经网络模型奠定了基础。然而,在明斯基Papert Rosenbatt的单层感知器的分析从数学的角度来看(4),人工神经网络是批评与异或操作的一个例子。一个智能系统如何独立学习的问题从一个环境并不好解决,和人工神经网络(ann)的发展恶化。在1980年代中期,学者开始探索深度知识发现的内在逻辑,发现归纳逻辑,特别是不完全归纳逻辑,是一个合理的方式去发现知识。Rumelhart等人惊讶的发现误差反向传播(BP) (5),这是由Werbos发明超过10年前,可以有效地解决隐藏节点在多层网络的学习问题。接受明斯基的说法是不正确的,可能没有有效的学习方法的多层网络。从那时起,人们的热情安研究已被重新点燃。

然而,研究人员指出,使用麦克洛克和皮特的神经元是不明智的,因为它忽视了在实际生物神经元的树突结构。科赫和戈夫(6,7建议突触之间的交互和行动的转折点可以近似为一个分支逻辑操作。近年来,多个树突计算模型考虑在一个神经元树突的功能提出了在文献中。树突形态神经网络(DMNN)是基于传统形态神经网络(8,9)提出了解决分类问题(10)和3 d对象识别任务(11]。一个非线性神经元树突模型配备二进制突触11)被证明是能够学习的时间特性的输入模式。最近,树突神经元模型(认为)与非线性突触提出了(12- - - - - -14]。认为不同于DMNN,只考虑单个神经元,而不是两个神经元的网络并展现出了伟大的信息处理能力15- - - - - -19]。认为使用修剪技术来源于一个有趣的生物现象:在神经元触发的早期阶段,选择性去除不必要的突触和树突不会引起神经元细胞死亡(20.,21]。认为巧妙地解决非线性问题无法由科赫模型(22,23]。认为有四个层次的结构。突触层中的输入信号被触发,然后按顺序由树突接收层。膜层收集树枝状层的每个分支的输出并将结果发送给体细胞层。认为的剪枝函数,精确的树突结构和形态简化。培训后,所有成熟神经元近似取代一个由比较器的逻辑电路,和盖茨,或者盖茨,而不是盖茨。

在这项研究中,我们使用一个神经元树突突触模型与自适应(直)。神经生物学的最新进展突出树突计算的重要性。2019年,Beaulieu-Laroche和他的团队24)发现树突总是积极当一个神经元的胞体是活跃的,这意味着树突突触神经计算过程中扮演重要角色。基于这一生物物理假说,我们开发一个神经元突触适应性网络参数,无需人工调整。层突触所有参数将被训练的学习算法。自适应神经突触的有效性将证明部分4.3。因此,我们必须考虑其他方面学习算法的选择。

随着各种新的优化算法的出现,如何培养一个安讨论(25]。英国石油公司作为ANN训练算法非常有效,可以解决一些非线性问题(5]。然而,英国石油公司有一定的局限性;例如,落入一个局部最小值很容易,收敛速度慢,容易过度拟合(26]。差分进化(DE)已经被用来训练对于我们的研究。德在1997年首次Storn和价格提出的(27]。biological-inspired,基于全局优化算法。由于其简单的概念,容易实现,快速收敛,和优秀的鲁棒性,它已经比其他主流更广泛利用进化算法,如遗传算法(GA) [28,29日),进化策略(ES) [30.,31日)和粒子群优化(PSO) (32近年来]。DE类似于GA和ES但不同于他们,因为一个独特的微分进化算子中引用德。德已经被证明是优于许多算法(33- - - - - -35]。由于这些特点和德的优势,它已经被学者公认的领域的人工神经网络(36,37]。同时,DE已经应用于树突形态神经网络(38]。

五个现实分类问题被认为是在我们的研究来验证我们的模型(DE-DMAS):虹膜,英国肝脏疾病、乳腺癌,玻璃,和澳大利亚的信贷审批(ACA)。所有的数据集预处理的二分类问题。这五个数据集进行预处理,包括异常修复填充缺失值。BP-DNM,我们比较DE-DMAS的实验结果和摘要利用这五个数据集。实验结果表明,对于优于同行的测试精度,灵敏度、特异性、接受者操作特征(ROC)和交叉验证。

本文的其余部分组织如下:部分2介绍了我们的模型的结构(直)。学习算法(DE)在部分说明3。实验方法设计部分4。部分5介绍了实验结果的分析和讨论。中提供的结论部分6。

2。树突神经元模型与自适应神经突触

对于应用在我们的研究中。神经元模型包括四个层次:自适应突触层,树突层,膜层,和体细胞层。在本节中,我们详细的结构和原理,这四个层次。

2.1。自适应层突触

突触层接收并计算输入信号并发送树突层的计算结果。一旦输入信号超过阈值,突触将被解雇。来模拟这一过程,我们设计一个突触层乙状结肠派系在以下方程: 在哪里是输入和的输出是什么米th 树突的分支。的我在代表输入的数量被规范化为[0,1]数据集。我也代表了每个树突突触的数量。k是一个可调参数,表示突触前和突触后神经元之间的连接强度。减少需要调整的参数,在我们的研究中,k将被用作训练对象。由于乙状结肠函数的性质,这一步有一个最小的影响函数。和对象,也需要训练的学习算法;最初他们的价值观将被设置在(−2 2)。因为突触层与这三个培训对象和输入和不需要人工调整参数,这个突触具有自适应函数(39]。阈值突触是一个重要的指标,计算了以下方程:

突触后由乙状结肠激活函数,它可以采用一个4根据不同范围的不同状态和 。这些国家被描述为直连州(●)opposite-connecting状态(^▂),常数1状态(①),常量0状态(⓪),如图1。根据值的变化和 ,四个州分为以下6例。

案例(一):直连状态,当 。在这种状态下,如果输入的值大于 ,输出的值约等于1;否则,它等于0。例如,当和 ,函数可以显示在图2(a),X设在代表输入的值x和Y设在代表的值输出。由于输入的范围是[0,1],我们只需要关注两个虚线之间的区域。

例(b): opposite-connecting状态,例如,当 。在这种状态下,如果输入的值小于 ,输出的值约等于1;否则,它等于0。synapse在这种状态下是一个逻辑操作。例如,当和 ,功能图如图2(b)。

案例(c1):当常数1状态 。例如,当和 ,函数图如图2(c1)。

案例(c2):当常数1状态 。例如,当和 ,函数图如图2(c2)。在例(c1)和(c2),无论输入的值 ,输出是1。

案例(d1):常数,当状态 。例如,当和 ,函数图如图2(d1)。

案例(d2):常数,当状态 。例如,当和 ,函数图如图2(d2)。在(d1)和(d2)情况下,不管输入的值 ,输出是0。

2.2。树枝状层

突触的输出层计算了树突层使用乘法。由于采用乙状结肠函数,输出是约等于1或0。树突的输出层也约等于1或0。树突的工作一样的逻辑和操作。方程是

2.3。膜层

膜接受树突层的输出作为输入和线性求和的值。求和可以近似模拟逻辑或操作。方程是

2.4。体细胞层

体细胞层将接收信号从细胞膜。计算信号使用乙状结肠函数如下: 在哪里和将10到0.5,被认为是最有前途的设置在我们之前的文件40,41]。

2.5。简化模型

我们修剪突触和树突获得简化模型。接收输入信号的突触活化和转化为常数1,常数,直连,或opposite-connecting状态。激活信号传输到树突。这些信号是增加树突,进入膜,由soma接收。当突触转化为常数1状态,我们将删除这个突触自1乘以任意数量等于数字本身。当树突突触转化为常数,状态,我们将删除此树突自0乘以任意数量= 0。一个例子是显示在图3。在左上角图中,树突(2)有一个常数,突触(c)和一个opposite-connecting状态突触(d)。因为突触(c)是常数,状态,树突(2)删除,包括突触,如左下图所示。我们称这一步为树突修剪。在左下图,一个常数1突触(a)和一个直连州突触(b)存在于树突突触以来(1)。(a)在常数1状态,这种突触移除。我们称这一步为突触修剪。右边的图显示了修剪后的简化模型,只有树突(1)和突触(b)依然存在。

3所示。学习算法

正如前面提到的,我们使用三个参数突触层作为训练对象。这是一个庞大的搜索空间。我们使用DE算法对于学习算法的程序。由于德是优秀的在全球优化(42),它可以快速找到最优解的巨大的搜索空间。

德演示了一个固定数量的向量中随机初始化的搜索空间。新的矢量随时间推移而发展探索的最小目标函数。在进化的过程中,算术操作符结合突变的运营商,杂交和选择。一个随机生成的人口将开始进化到一个最佳的解决方案。德有许多策略(43),我们使用德兰德/ 1 / bin。其他策略包括DE /最好/ 1 /实验和德兰德/ 2 /实验,初步实验结果表明,他们略差于德兰德/ 1 / bin /因为它有最简单的结构(44,45]。接下来,我们将解释德是如何工作的。步骤1。参数设置。选择人口规模P并限制的边界。确认cross-probability ,的影响因素F(46,47,一代又一代的最大数量的终止准则( )。步骤2。初始化的人口。设置代 。初始化一个人口包含P个人。每个单独的属性包括重量 ,阈值问和一个k,被称为D。权重的数量和阈值问等于隐藏层的数量(米)乘以数量的输入(我)所提供的数据集。因此,人口被认为是一个向量的矩阵P行和D 列。每个值的权重和阈值问初始化的随机实数范围(−2 2)。的值k随机初始化范围内[1,10]。下面的方程显示了人口的内容: 步骤3。评估的人口。可以使用DE作为DE-DMAS训练算法。DE-DMAS也可以视为德的评价功能。因此,评价成为计算均方误差(MSE),这将被正式定义在方程(12)。在实验中,对于的MSE健身每一步。每个最新的一代将评估后下一个突变,交叉和选择操作。在我们的研究中,一代又一代的最大数量设置为1000。因此,评价函数将运行1001次。步骤4。变异操作。变异操作产生变异算子( )。生产过程中所示以下方程: 在哪里 , ,和从这一代的人口是随机选择的。如果所有人都视为点在搜索空间,然后突变操作可以解释如下:是一个新的点后移动的方向来通过F*之间的欧氏距离和 。步骤5。交叉操作。交叉操作结合了变异算子与个人目标,导致一个新的个体。DE涉及交叉的两种方法:二项交叉和指数交叉。Zaharie分析二项交叉和指数交叉的性能(48),建议指数交叉受到人口规模的影响大于二项交叉。二项交叉应用于我们的研究。下面的方程显示了交叉功能: 生成随机数 [0,1]每个维度的每个人。如果小于CR在一维,然后目标个人取而代之的是变异算子吗在这个维度;否则,它仍然是一样的个人目标 。在这一步之前,确保个人与目标至少在一个维度,一个随机整数 是生成的。当 ,目标个人必须杂交jth维度。步骤6。选择操作。DE雇佣了变异算子和交叉算子生成一个儿子儿子人口和一对一的选择适用于比较患者相应的父个体。更好的个人保存到下一代种群。在DE-DMAS,一对一的选择操作可以描述如下:

自德采用一对一的选择方法,算法可以确保精英主义演变过程中不会丢失。此外,一对一的选择操作有更好的能力来维持种群多样性比测序或竞争性招标选择(44]。下面的算法1总结上面的步骤,两个函数和返回指定范围随机整数和实数,分别。

4所示。实验设计

为了实现该方法的最佳性能,首先需要确定的参数。DE-DMAS有6个主要参数。参数可分为固定参数和可调参数。最好的可调参数是决定使用田口方法为每个数据集(49),这是详细的节4.2。节4.3,我们将证明突触如上所述的适应性。最后,DE-DMAS相比BP-DNM和摘要,介绍了部分4.4和部分4.5,分别。五个数据集采用以下部分介绍了我们的研究。

4.1。数据集

五个数据集来自UCI,广泛应用于人工智能的研究。数据集已经标准化的最大最小化[0,1]在我们的研究中。他们提供了详细的介绍和总结表1。

费舍尔在1988年7月提供的虹膜数据(50- - - - - -52]。数据有三个类:虹膜Setosa,虹膜Versicolour,虹膜Virginica。每个班级有50个实例。我们选择的一个实例作为实验标准;因此,数据分为两类。所选50分为一个类实例,和其他100个实例分为另一个类。每个实例有四个属性:花萼长度,萼片宽,花瓣长度和花瓣宽度。在我们的研究中,我们使用类虹膜Versicolour作为输出,因此,它就变成了一个二进制分类。因为单神经元模型的局限性,DE-DMAS只能解决二元分类问题。所以我们应用虹膜数据集作为二元分类问题。

肝脏疾病的数据集是由理查德·s·福赛斯”以外的所有已知的PC /小猎犬号所示的用户指南。“它已经被应用于40,53]。数据集有345个实例。每个实例有6个属性,其中包括五种血液测试和平均每日饮酒。肝脏数据集有两个分类:164健康疾病和181不健康的疾病。

乳腺癌William Wolberg博士提供的数据是1992年7月(54,55]。它已经被应用于(41]。这些数据由458年的699个实例良性实例和241年恶性实例。乳腺癌数据可以分为两类。乳腺癌数据包括9属性,如丛厚度、均匀性细胞的大小和形状,和边际附着力。

提供的玻璃识别数据库b·赫尔曼。1987年9月它已经被应用于(56]。玻璃的数据包括163窗玻璃实例和51 nonwindow玻璃214实例的实例。玻璃的属性数据包括各种元素内容(钠、镁、铝、硅、钾、钙、Ba、和铁)和折射率(RI)。可以通过这些9属性分类的实例。

ACA数据显示申请人是否有信誉的。它已经被应用于(57,58]。申请者的信用记录将数据分为两类。这些数据提供690名申请者的信息。信誉卓著的申请人包括307人,383人没有信用。的信息可以被视为ACA的属性数据集包含8分类记录和6数值记录。

4.2。最优参数设置

三个参数,F, ,和 ,中提到的学习算法。隐藏层的数量是一个重要的参数在DE-DMAS,即米。对不同的数据集,米应该适当确定。的参数范围DE-DMAS如表所示2。

通常情况下,我们需要尝试所有的参数来获得最优参数组合。然而,存在四个参数,每个参数有三个选择。因此,我们应该执行81 ( )不同的实验,耗时。以确保实验结果的可信度,我们应该重复每一个不同的实验30倍。因为这种方法是费时的,我们应该减少许多不同的实验。田口方法是一种方法来有效地获得最优参数(59,60]。这种方法主要是采用使用正交数组。根据前面提到的参数范围,四个参数试验包含三个数据集是可用的。因此,正交数组已经应用于最优参数实验的五个数据集。每个数据集的实例已经被用于测试培训分为70%和30%。每个数据集的正交实验重复30次。每个正交试验的时代是设置为1000。iris数据集的正交实验结果如表所示3。肝脏的数据集的结果如表所示4。玻璃的数据集的结果如表所示5。癌症数据集的结果如表所示6。ACA数据集的结果如表所示7。最后一列显示了正确的平均30个测试实验。我们获得最优的参数由均值和方差的综合分析。粗体显示参数的最优组合。所有数据集的最优参数如表所示8。

4.3。适应性的突触

为了演示DE-DMAS突触层的适应性,我们进行了一次面对分析。我们删除了hyperparameterk从德的人口和将其设置为1,5,分别和10。五个数据集被随机分成两部分:70%的训练,30%用于测试。的参数除了k这些表被设置为一样的8。然后,我们为他们做了30个独立实验。我们记录所有测试结果准确性和比较结果的平均值和标准偏差,如表所示9。,我们发现自适应k通常由德学习表现好于这些固定的值。此外,弗里德曼测试(61年]给出了统计分析结果的精度。在这种情况下,弗里德曼测试的值越低,性能就越好。弗里德曼试验的结果如表所示10。基于上述结果,很明显,自适应突触为认为是有益的。

4.4。与摘要

在本节中,我们将DE-DMAS与摘要的最受欢迎的模型。相对比较公平,调整后的权值和阈值的数量(和方程所示(10)和(11,分别在这两个模型应该安排几乎一样,因为这些数字通常确定模型和计算复杂度的大小虽然两个模型有不同的架构:

然而,数量的权重越大,就越被占领的计算资源。在我们的研究中,证明性能优良的DE-DMAS五集,DE-DMAS的结构应设置小于摘要。因为每个数据集的输入和输出是固定的,他们有相同数量的权重调整数量的隐藏层。在前面的小节中,我们已经配置了该参数为DE-DMAS(隐藏层的数量)。我们配置摘要隐藏层的数量根据上述原则。摘要的结构和DE-DMAS五个数据集如表所示11。学习速率是根据经验将是0.1。

4.5。与BP-DNM

为了比较BP-DNM DE-DMAS相当,这三个常见的参数 , ,和隐藏层神经元的数量(米)将是相同的。根据经验,学习速率设置为0.01,和的值k被设置为3。BP-DNM也是单个神经元和突触的非线性模型。有杰出的表现已经证明在肝脏40,癌症41],ACA (58]。我们将展示的执行BP-DNM当DE-DMAS一样的结构。我们将使用多目标方法演示DE-DMAS的表演和BP-DNM五个数据集和讨论。

5。实验结果分析

DE-DMAS vs摘要的对比实验和DE-DMAS vs BP-DNM设置如下:(1)实例测试的五个数据集分为30%和70%随机培训,(2)迭代的数量设置为1000,和(3)所有的实验都使用Matlab 2018运行。

5.1。收敛性比较

我们使用均方误差(MSE)的值来表示程度的收敛。值越小,收敛性就越好。我们计算的价值MSE DE-DMAS每次迭代后,BP-DNM和摘要培训过程和记录它。我们采用以下公式计算均方误差的值: 在哪里N代表训练实例的数量和代表输出和老师的信号我th训练实例,分别。

我们执行30 DE-DMAS训练,BP-DNM和摘要。我们随机选择70%的为每个训练实例作为输入。我们画两个图分析DE-DMAS的收敛效果,BP-DNM,摘要五个训练数据集。在第一个图,纵坐标代表MSE的平均值30训练,和横坐标表示的迭代数。总共有1000 MSE初始化的值被记录从一开始DE-DMAS, BP-DNM和摘要。我们可以计算收敛的速度通过曲线的程度下降。在图4,我们注意DE-DMAS曲线下降的速度比比较器。这些数据表明,DE-DMAS收敛速度的优势。

我们记录MSE的价值最终迭代训练的30倍。我们使用box-and-whisker情节62年代表MSE的值,如图5。在这个图中,纵坐标代表MSE的价值。从上到下的水平线每个盒子代表最大,3/4值,中位数,1/4中位数和最小。1/4中值,中位数,和3/4位数代表MSE的值为25%,50%,和75%,之后分别排序。加号表示一个例外,这是一个价值超过标准差的两倍。行对应于最大,3/4中间线,中位数,1/4的中位数和最小DE-DMAS BP-DNM和摘要以下五个数据集。许多局外人摘要和BP-DNM盒的存在。上面的异常值的最大代表培训期间陷入局部最小值。相反,没有离群值高于最大DE-DMAS的盒子。结果表明,DE-DMAS的收敛效果优于BP-DNM和摘要。

5.2。精度比较

我们比较DE-DMAS BP-DNM,摘要的测试精度,灵敏度、特异性和接受者操作特征(ROC)曲线(63年),这是一个方法,客观地分析了分类器的性能。绘制ROC曲线,我们收集了输出(O)的五个数据集测试由DE-DMAS BP-DNM和摘要。T代表相应的教师信号。我们转换输出O从一个实数0或1的整数。两分的问题,分为积极的和消极的类实例。实际的分类有四种情况:(1)如果一个实例是在正类和预计在积极的类,那么它是一个真正的分类(真阳性(TP))(2)如果一个实例是在正类,但预计在负类,那么它就是一个假阴性分类(假阴性(FN))(3)如果负类的实例,但预计在积极的类,那么它就是一个假阳性分类(假阳性(FP))(4)如果是负类和实例预测负类,那么它就是一个真阴性分类(真阴性(TN))

真阳性率(TPR),代表的比例实际积极积极类实例预测的分类器对所有积极的情况下,等于敏感度。假阳性率(玻璃钢)代表的比例实际负实例的正类分类器预测的所有消极的情况下,等于1-specificity。ROC曲线的玻璃钢(1−特异性)x设在和TPR(灵敏度)y设在。AUC ROC曲线下的面积。AUC的价值在0.0和1.0之间,因为中华民国曲线画在一个正方形区域。值越大的敏感性,特异性,AUC,分类器的性能就越好。这些术语表定义12。我们计算的准确性、敏感性、特异性和AUC基于这些术语使用以下方程:

我们绘制ROC曲线的五个数据集比较DE-DMAS BP-DNM和摘要,如图6。BP-DNM上方的DE-DMAS曲线和摘要曲线。敏感性,特异性,AUC,可确定的数值,如表所示13。测试精度的平均值30实验,我们代表的均值和方差表13。DE-DMAS展品价值高于BP-DNM和摘要这四个评估水平。所有测试结果证明DE-DMAS的优越性。

5.3。交叉验证

为了方便比较性能,采用四种不同的实验train-to-test比率和四个综合交叉验证( )方法包括十倍的简历(90 - 10%,10),五倍的简历(80 - 20%,5)、四倍的简历(75 - 25%,4),双重的简历(50 - 50%,2)。在这里,train-to-test比率代表样本训练和测试之间的比率。与(K= 2,4、5、10),整个数据集随机分为K并与样本量约等于互斥的子集。在 ,的方法是利用训练子集和测试误差是测量测试子集。总共的重复过程K试验,每次使用不同的子集进行测试。评估模型的性能通过平均平方误差的测试实验的所有路径。与单层褶皱验证方法相比,K 简历的优势减少训练样本的相关性的随机抽样偏差,但它的缺点在于它需要太多的计算自模型训练K次了。我们选择四种摘要与不同的学习速率和数量如表(号)的分支14,即BPNN1、BPNN2 BPNN3, BPNN4。BP-DNM DE-DMAS使用上述四种training-to-test比率。五个数据集应用于每种类型的training-to-test比率为每个模型,和30个独立的实验。最后,我们比较了平均值和标准偏差的测试精度的结果。表15显示了虹膜数据集的交叉验证结果。表16显示了肝脏的交叉验证结果数据集。表17显示了癌症数据集的交叉验证结果。表18显示了交叉验证的结果数据集的玻璃。表19显示了ACA数据集的交叉验证结果。大胆的字体在这些表显示前两个根据标准差和均值。DE-DMAS CV5的癌症数据集不大胆的字体。所以我们可以得出这样的结论:DE-DMAS是优秀的。

5.4。简化模型

如前所述,我们删除无用的树突和突触修剪的功能。整个过程简化为虹膜数据集如图7。首先,初始化神经元的结构有四个树突,如图7(一)。在这些树突突触接收输入 , , ,和 。突触被激活并转换为直连状态(●)opposite-connecting状态(^▂),常数1状态(①),或常量0状态(⓪)学习。其次,删除所有无用的树突的树突修剪函数;如果至少有一个树突突触是常数,状态,删除树突。在图7 (b),我们表示删除树突1树突3和树突4✖象征。树突修剪后,只剩下树突2,如图7 (c)。然后,删除所有不必要的突触的突触修剪函数;即删除突触的常数1状态图中✖象征7 (c)。图7 (d)数据集显示了虹膜的简化结构。这种结构的简化从4层树突和4只输入树突2和2输入和 。

肝脏数据集有12层的树突和6输入,如图8(一个)。在图8 (b),我们表示删除(树突1,3,4,5,6,7,8,9,10,12)与✖象征。树突修剪后,树突2和11依然存在,如图8 (c)。突触修剪后, , , ,和一直保持,和其他人都要因✖象征。图8 (d)数据集显示了肝脏的简化结构。这种结构的简化从12层树突和6只输入树突2 11和4输入 , , ,和 。

癌症数据集有9层的树突和9输入,如图9(一个)。在图9 (b),我们表示删除(树突1、2、3、4、6、7和9)与✖象征。树突修剪后,树突5和8,如图9 (c)。突触修剪后, , , , ,和一直保持,和其他人被✖象征。图9 (d)显示了癌症数据集的简化结构。这种结构的简化从9层树突和9只输入树突5和8 5输入 , , , ,和 。

玻璃数据集有二十七层树突和9输入,如图10 ()。在图10 (b),我们表示删除(树突1、2、3、4、5、7,8,9,10,11,12日,13日,14日,15日,16日,17日,18日,19日,20日,21日,22日,23日,25日,26日和27日)与✖象征。树突修剪后,树突6和24依然存在,如图10 (c)。突触修剪后, , , ,和一直保持,和其他人都要因✖象征。图10 (d)数据集显示了肝脏的简化结构。这种结构的简化从12层树突和6只输入树突6到24和4输入 , , ,和 。

ACA数据集16层的树突和14输入,如图(11日)。在图11 (b),我们表示删除(树突1、2、3、4、6,7,8,9,11,12日,14日,15日和16日)与✖象征。树突修剪后,树突10到13依然存在,如图11 (c)。突触修剪后, , , , , ,和一直和其他人✖已被移除的象征。图11 (d)数据集显示了肝脏的简化结构。这种结构简化从16层的树突和6只输入树突10和13 6输入 , , , , ,和 。

这些数据所示,我们得到最终的简化模型五个数据集。简化后的模型,模型的结构已经减少了超过90%,这表明我们可以利用简单的逻辑来解决真正的问题。问题是解决了有超过数百个逻辑组件但现在可以解决只有几十个简单的逻辑组件,如比较器,和盖茨,或者盖茨,而不是盖茨。这一变化大大降低了人力成本和时间成本。逻辑电路的五个数据集在图12。的价值θ的值是在比较器图θ在相应的突触后培训。标准输入被这些逻辑组件计算预期的输出为0或1。

6。结论

提高计算能力的神经元树突模型(认为),神经元树突突触模型与自适应训练的微分进化算法(DE-DMAS)提出,显示了增强性能的仿真基于UCI数据集。比较经典的摘要和BP-DNM进行的测试精度,灵敏度、特异性、中华民国和交叉验证。DE-DMAS显示所有结果,其优越性和DE-DMAS单个神经元模型发现大大超越摘要和BP-DNM。

对于进一步了解真正的生物神经元自清除的能力。这个函数可以消除分支从树突形态取决于连续值。它因此降低了进化和简化计算负载的树突状结构在不影响计算结果。简化的树突结构可以实现与比较器的逻辑电路,或门,与门和非门。它使人们有可能用更少的成本来解决实际的问题。

强调这项工作的贡献,自适应神经突触是首次提出。其效用是证明弗里德曼测试部分的总结4.3。自适应能力的突触不仅具有较强的鲁棒性,还能减少认为认为,改善性能的参数。

树突的计算过程中起着举足轻重的作用。一个DE-DMAS神经元模型只能处理(即二分类问题。、二元分类问题),这是它的主要限制。但是所有的当前神经网络是由多个单神经元模型只能处理二分类。本文旨在提出DE-DMAS模型的网络结构,所以只有一个。不过,值得指出的是,变异的DE-DMAS可以开发为解决多类分类问题。例如,通过使用softmax函数(连同交叉熵),可以大约多类分类问题转化为二分类问题,并基于几个DE-DMAS one-hot-encoding策略神经元模型可以用来计算信息熵。为什么我们选择多个数据集,可以分为两类实验是我们想更直观地反映单个神经元模型的能力,而不是网络的。对于进一步的研究将集中在程序的调整,使其适应深度学习结构。我们也相信这个模型在电子设计领域拥有巨大的潜力,如VLSI和生物医学科学。

数据可用性

分类数据集可以自由下载https://archive.ics.uci.edu/ml/index.php。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是支持的jsp KAKENHI(批准号JP19K12136)。

引用

1. w·s·麦克洛克和w·皮特,”一个逻辑微积分思想内在的神经活动,“数学生物物理学的公告,5卷,不。4、115 - 133年,1943页。视图:出版商的网站|谷歌学术搜索
2. n .罗彻斯特j .荷兰、l . Haibt和w·杜达”测试细胞组装大脑的行动理论,使用一个大型数字计算机,”IEEE信息理论,卷2,不。3、80 - 93年,1956页。视图:出版商的网站|谷歌学术搜索
3. f . Rosenblatt“感知器:一个概率模型为信息存储和组织在大脑中,“心理评估,卷65,不。6,386 - 408年,1958页。视图:出版商的网站|谷歌学术搜索
4. m·明斯基,s . a . Papert感知器:介绍计算几何美国马剑桥,麻省理工学院出版社,2017年。
5. d . e . Rumelhart、g·e·辛顿和r . j . Williams”学习误差传播内部表示,“技术代表、加州大学圣地亚哥拉霍亚本月认知科学,拉霍亚,CA,美国,1985年,技术报告。视图:谷歌学术搜索
6. c·科赫”计算和单神经元”,自然,卷385,不。6613年,第210 - 207页,1997年。视图:出版商的网站|谷歌学术搜索
7. c·科赫和济夫,“在信息处理单一神经元的作用,”自然神经科学,3卷,不。11日,第1177 - 1171页,2000年。视图:出版商的网站|谷歌学术搜索
8. j·l·戴维森和f .悍马”形态神经网络:介绍与应用程序”,电路、系统和信号处理,12卷,不。2、177 - 210年,1993页。视图:出版商的网站|谷歌学术搜索
9. g . x Ritter和p . Sussner介绍形态神经网络”《第13次国际会议模式识别4卷,第717 - 709页,IEEE,维也纳,奥地利,1996年8月。视图:出版商的网站|谷歌学术搜索
10. h . Sossa和e·格瓦拉“高效的树突形态神经网络训练,”Neurocomputing卷,131年,第142 - 132页,2014年。视图:出版商的网站|谷歌学术搜索
11. h . Sossa和e·格瓦拉”修改树突形态神经网络应用于3 d对象识别,”墨西哥会议模式识别施普林格,页314 - 324年,柏林,德国,2013年。视图:谷歌学术搜索
12. y . Todo、k .山下式h . Tamura和z,“无监督可学的神经元模型与非线性相互作用对树突,”神经网络,60卷,第103 - 96页,2014年。视图:出版商的网站|谷歌学术搜索
13. z . j .,美国高,j . Cheng Tang和y . Todo,”一个近似逻辑神经元模型与一个树状结构,”Neurocomputing卷,173年,第1783 - 1775页,2016年。视图:出版商的网站|谷歌学术搜索
14. 朱j . y . Tang, y,美国高,z . Tang和y . Todo,”一个微分evolution-oriented修剪破产预测,神经网络模型”复杂性卷,2019篇文章ID 8682124, 21页,2019。视图:出版商的网站|谷歌学术搜索
15. 钱x, y,曹,y . Todo,和美国高,“Mr2DNM:小说相互信息化树突神经元模型,”计算智能和神经科学ID 7362931条,卷。2019年,13页,2019。视图:出版商的网站|谷歌学术搜索
16. c . t .周,美国高,j . Wang, y . Todo, z唐,“金融时间序列预测使用树突神经元模型,”以知识为基础的系统卷,105年,第224 - 214页,2016年。视图:出版商的网站|谷歌学术搜索
17. w·陈,j .太阳,美国高,j j。程,j . Wang和y . Todo,”使用单个神经元树突预测日本游客数量,”IEICE交易信息和系统,卷100,不。1,第202 - 190页,2017。视图:出版商的网站|谷歌学术搜索
18. j .霁美国歌曲,y,美国高,z . Tang和y . Todo,“近似逻辑神经元模型由物态搜索算法,训练”以知识为基础的系统卷,163年,第130 - 120页,2019年。视图:出版商的网站|谷歌学术搜索
19. y, y王,美国高,z,“统计建模和预测对于使用树突神经网络的旅游经济,”计算智能和神经科学卷,2017篇文章ID 7436948、9页,2017。视图:出版商的网站|谷歌学术搜索
20. l·罗和d·d·m·奥利里“轴突收缩和变性的发展和疾病,”年度回顾神经科学,28卷,不。1,第156 - 127页,2005。视图:出版商的网站|谷歌学术搜索
21. p . Hagmann o·斯波恩:马丹et al .,“白质成熟重塑了人类大脑结构连接在后期发展中,“美国国家科学院院刊》上,卷107,不。44岁,19067 - 19072年,2010页。视图:出版商的网站|谷歌学术搜索
22. c·科赫方法,诉托雷斯“视网膜神经节细胞:树突形态的功能解释,“英国皇家学会哲学学报B:生物科学》,卷298,不。1090年,第263 - 227页,1982年。视图:出版商的网站|谷歌学术搜索
23. c·科赫方法,诉托瑞,“非线性交互树突树:定位、时间、信息处理和角色,”美国国家科学院院刊》上,卷80,不。9日,第2802 - 2799页,1983年。视图:出版商的网站|谷歌学术搜索
24. l . Beaulieu-Laroche e·h·s . Toloza n . j .布朗,和m·t·哈尼特”广泛和高度相关的皮质层5 somato-dendritic活动神经元,”神经元,卷103,不。2、235 - 241年,2019页。视图:出版商的网站|谷歌学术搜索
25. 美国高,m .周y . Wang h . Yachi j . Cheng和j·王,“神经元树突与有效的学习算法分类模型,近似,并预测,“IEEE神经网络和学习系统,30卷,不。2、601 - 614年,2019页。视图:出版商的网站|谷歌学术搜索
26. z . x g . Wang, m . Ishii h . Tamura和w·d·太阳,“一种改进的反向传播算法来避免局部最小值的问题,“Neurocomputing,56个卷,第460 - 455页,2004年。视图:出版商的网站|谷歌学术搜索
27. r . Storn和k .价格“微分进化简单和高效的启发式全局优化的连续空间,”杂志的全局优化,11卷,不。4、341 - 359年,1997页。视图:出版商的网站|谷歌学术搜索
28. k . f . k . s . Tang男人,邝,他问:“遗传算法及其应用”,IEEE信号处理杂志,13卷,不。6,22-37,1996页。视图:出版商的网站|谷歌学术搜索
29. d·j·蒙大拿和l·戴维斯,“使用遗传算法训练前馈神经网络,”《人工智能国际联合会议(IJCAI)展出卷,89年,页762 - 767,底特律,MI,美国,1989年8月。视图:谷歌学术搜索
30. 美国高,美国歌曲,y . Todo, j . Cheng和m .周”结合溶剂效应的多目标进化算法改进的蛋白质结构预测,“IEEE / ACM事务计算生物学和生物信息学,15卷,不。4、1365 - 1378年,2018页。视图:出版商的网站|谷歌学术搜索
31. 美国歌曲,美国高,x, d .贾钱x, y Todo,“AIMOES:档案信息辅助多目标进化策略从头开始蛋白质结构预测,“以知识为基础的系统卷。146年,58 - 72、2018页。视图:出版商的网站|谷歌学术搜索
32. j·肯尼迪,“粒子群优化”机器学习的百科全书施普林格,页760 - 766年,波士顿,MA,美国,2010。视图:谷歌学术搜索
33. j . Vesterstrom r·汤姆森,“微分进化的比较研究,粒子群优化,和进化算法数值基准问题,”学报2004年国会进化计算,卷2,页1980 - 1987,IEEE,波特兰,或者美国,2004年6月。视图:出版商的网站|谷歌学术搜索
34. 美国高,y, y, j . Wang j . Cheng和m .周“混沌局部搜索微分进化算法优化,“IEEE系统,人与控制论:系统在出版社。视图:出版商的网站|谷歌学术搜索
35. j .太阳,美国高,h·戴j . Cheng m .周和j·王,“Bi-objective精英微分进化算法对多值逻辑网络,”IEEE控制论,50卷,不。1,第246 - 233页,2020。视图:出版商的网站|谷歌学术搜索
36. b . Subudhi d . Jena,“基于微分进化神经网络的非线性系统辨识方法,”应用软计算,11卷,不。1,第871 - 861页,2011。视图:出版商的网站|谷歌学术搜索
37. e . Bas”乘法神经元模型基于人工神经网络的训练与微分进化算法预测,“人工智能和软计算研究杂志》上》第六卷,没有。1,第5 - 11页,2016。视图:出版商的网站|谷歌学术搜索
38. f·阿尔塞,大肠萨莫拉、h . Sossa和r·巴伦”树突形态微分进化算法训练神经网络,”应用软计算卷,68年,第313 - 303页,2018年。视图:出版商的网站|谷歌学术搜索
39. Von Hippel m . j .轮胎和大肠,“组织中的位置自适应学习的本质”,组织科学,8卷,不。1,第83 - 71页,1997。视图:出版商的网站|谷歌学术搜索
40. z沙,l . Hu y . Todo, j .霁美国高,和z唐,“乳腺癌分类器使用一个神经元树突非线性模型,”IEICE交易信息和系统,卷98,不。7,1365 - 1376年,2015页。视图:出版商的网站|谷歌学术搜索
41. 江t, s高,d . Wang j .霁y . Todo, z唐,“神经元突触非线性模型与树突树的肝脏疾病,”电气和电子工程IEEJ事务,12卷,不。1,第115 - 105页,2017。视图:出版商的网站|谷歌学术搜索
42. e . Mezura-Montes j . Velazquez-Reyes A和c Coello Coello,“微分进化变异的比较研究全局优化,”学报》第八届年会在遗传与进化计算ACM,页485 - 492年,西雅图,WC,美国,2006年7月。视图:出版商的网站|谷歌学术搜索
43. j . Ilonen j。Kamarainen, j . Lampinen“微分进化算法训练前馈神经网络。”神经处理信件,17卷,不。1,第105 - 93页,2003。视图:出版商的网站|谷歌学术搜索
44. s Das和p . n . Suganthan微分进化:最新的一项调查,”IEEE进化计算,15卷,不。1,4-31,2011页。视图:出版商的网站|谷歌学术搜索
45. 王y,美国高,y, y . Todo,“全球optimum-based搜索微分进化,”IEEE / CAA自动化杂志》上》第六卷,没有。2、379 - 394年,2019页。视图:出版商的网站|谷歌学术搜索
46. r . Gamperle s·d·穆勒,p . Koumoutsakos“微分进化的参数研究,”智能系统的发展,模糊系统,进化计算,10卷,不。10日,293 - 298年,2002页。视图:谷歌学术搜索
47. j . Ronkkonen s Kukkonen, k . v .价格,“实参的优化与微分进化”《2005年IEEE国会在进化计算,1卷,页506 - 513,IEEE,苏格兰,英国,2005年9月。视图:谷歌学术搜索
48. d . Zaharie”交叉对微分进化算法的行为,”应用软计算,9卷,不。3、1126 - 1138年,2009页。视图:出版商的网站|谷歌学术搜索
49. g .田口、r . Jugulum和s .田口计算机强大的工程:dfs的必需品美国WI, ASQ质量出版社,密尔沃基,2004。
50. r·a·费雪”,使用多个测量数据的分类问题,”优生学的年报,7卷,不。2、179 - 188年,1936页。视图:出版商的网站|谷歌学术搜索
51. r·o·杜达·e·哈特和d . g .鹳,模式分类和场景分析威利,纽约,纽约,美国,1973年。
52. b . v . Dasarathy,“在附近的前缘:一个新系统结构和分类规则对于识别部分暴露的环境,”IEEE模式分析与机器智能,卷2,不。1,第71 - 67页,1980。视图:出版商的网站|谷歌学术搜索
53. j·麦克德莫特和r·s·福赛斯”诊断疾病分类基准,”模式识别的字母卷。73年,41-43,2016页。视图:出版商的网站|谷歌学术搜索
54. o . l . Mangasarian和w·h·Wolberg通过线性规划癌症诊断,威斯康星大学麦迪逊分校计算机科学系的,麦迪逊,WI,美国,1990年,技术报告。
55. w·h·Wolberg o . l . Mangasarian,“多面模式分离医学诊断方法应用于乳腺癌细胞学,”美国国家科学院院刊》上,卷87,不。23日,第9196 - 9193页,1990年。视图:出版商的网站|谷歌学术搜索
56. i . w . Evett和j·s .欧内斯特法医科学的规则归纳,中央研究机构。英国内政部法医学服务,奥尔德马斯顿1998。
57. j·r·昆兰“简化决策树”,国际人机研究杂志》上,27卷,不。3、221 - 234年,1987页。视图:出版商的网站|谷歌学术搜索
58. j . y . Tang,美国高,h·戴,y, y . Todo,”一个修剪信贷分类分析,神经网络模型”计算智能和神经科学卷,2018篇文章ID 9390410, 22页,2018年。视图:出版商的网站|谷歌学术搜索
59. j . f . c .新加坡、b s Lim和l . e . n . Lim”使用田口方法中,神经网络的优化设计”Neurocomputing,7卷,不。3、225 - 245年,1995页。视图:出版商的网站|谷歌学术搜索
60. w·杨和y Tarng”,设计优化切削参数的操作基于田口方法,”材料加工技术杂志》上,卷84,不。1 - 3、122 - 129年,1998页。视图:出版商的网站|谷歌学术搜索
61. m·弗里德曼“使用中避免正常隐式的假设方差分析,“美国统计协会杂志》上,32卷,不。200年,第701 - 675页,1937年。视图:出版商的网站|谷歌学术搜索
62. c . h . Yu”探索性数据分析,“方法,2卷,第160 - 131页,1977年。视图:谷歌学术搜索
63. n r·库克“统计评估预后和诊断模型:ROC曲线之外,“临床化学,54卷,不。1,17-23,2008页。视图:出版商的网站|谷歌学术搜索

版权

版权©2020哲王等。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。