文摘

采用神经元可塑性机制、原始神经元树突模型(认为)已经成功地分类任务不仅令人鼓舞的准确性,也简单的学习规则。然而,在现实世界中收集的数据包含大量的冗余,认为导致分析数据的过程变得复杂和耗时。提出了一种可靠的混合模型相结合最大相关最小冗余(先生 )先生认为(即特征选择技术认为)分类的实际分类问题。相互信息化先生应用于评估和排名最丰富和区别的特性对给定的数据集。获得最优特征子集用于训练和测试五个不同的分类问题出现的认为从医学、物理、和社会场景。实验结果表明,该先生认为优于认为和其他六个分类算法的精度和计算效率。

1。介绍

机器学习技术,监督学习算法通常是评估数据集包括训练样本和测试样本。每个样本都是由一定数量的描述特性(或属性)和类标签,例如,医疗诊断,功能可能包括年龄,性别,吸烟患者的习惯,和类标签对应的诊断结果,病人是否患有肝脏疾病(1]。学习后,分类器可以获得学习的规则可以应用于分类未来的样品在相同的领域。然而,大多数领域探索了不到40特性在1997年之前(2]。它不应该被容忍,数据集的维度问题导致这项研究只在有限范围内进行探索。探索更多的功能域,数据集的优化是紧迫和具有挑战性的。对于一个数据集的特点,提出的“相关性”的概念首先约翰et al。3在机器学习中。激励兰利(4)开发相关特性协助学习分类器的选择方法。然而,通过寻找最相关的特征选择或排名所有相关的数据集通常是次优的特性训练一个分类器,尤其是功能包括重复信息,叫做冗余功能。因此,最大相关最小冗余(先生 )特征选择框架,可以消除大部分无关和冗余特性提出了减少训练样本阵列基因表达分析(5]。通常,在一个包含6000个基因表达数据集60000个样本,只有不到100适合训练和测试样本。因此,特征选择基因领域的发展提供了一个良好的解决方案。特征选择的目的是为了避免数据集的维度诅咒之后,以提高分类器的分类性能。它不仅可以提供更好的分类精度较低的计算成本,但也给一个更容易的理解数据集的特性的重要性。推动了分类器的特征选择方法,探索更多的领域;特别是那些由众多功能。它被广泛应用于文本处理领域的互联网文件(6),组合化学(2)等。

达到最佳性能的分类,除了特征选择,分类器是另一个关键因素。在数以百计的分类器中,人工神经网络(ann)占有重要的地位。人工神经网络是受生物系统的相互关联的简单处理器(7,8),广泛应用于解决问题出现在许多不同的领域,如商业、工业和科学(9]。著名的神经元数学模型称为McCulloch-Pitts模型(MCP) [10)定义了对应的权重突触来控制输入的重要性。近年来,许多研究[11- - - - - -13)表明,单个神经元的信息处理基于能力的MCP尚未充分发展。随着MCP-based单神经元模型太过于简单化的解决非线性分离问题[14,15),认为利用树突结构(16,17是承诺改善神经元的非线性处理能力。虽然Koch-Poggio-Torre模型(18)认为神经元树突的影响,它缺乏可塑性机制,即突触类型和树突结构不能正确分类一些复杂的任务19]。一些研究[20.- - - - - -23)指出,一些锥体神经元具有可塑性的机制,这可能为改善Koch-Poggio-Torre模型提供灵感。

在我们之前的作品中,我们主要关注单个神经元树突的发展模式(认为)通过突触的非线性信息处理能力(24]。认为已被应用于医学诊断(25,26)、旅游预测(27,28),和金融时间序列预测(29日]。除了监督学习能力,一个无监督可学的认为已被用于有效地学习二维多向选择性问题30.]。此外,认为由六个以人群为基础的进化学习算法训练还显示了突出的作用分类,逼近和预测(31日]。在认为,神经元突触修剪修剪和树突可塑性机制是实现在学习。同时,获得简化形态认为,可以实现与硬件逻辑电路(32]。

减少数据冗余特性的影响,节省计算成本,在本文中,我们提出一种混合模型认为通过结合先生认为。先生认为应用最优训练子集并生成学习规则,利用获得的最佳子集在哪里标准搜索和数据集的特性,并认为是用来评估子集。与此同时,未使用的最优样本子集将被用作测试的验证的性能认为。在实验中,该模型由五分类与其他六个分类模型相比实际的基准数据集,其中包括三个著名的医学诊断数据集(即。、乳腺癌、肝脏疾病和糖尿病),一个雷达数据集从电离层返回,和一个国会投票记录的数据集。结果表明,该模型优于同行的分类精度、计算效率、收敛速度和面积的质量接受者操作特征(ROC)曲线。

其余本文组织如下。部分2提出了一个简要介绍的基本结构和功能认为。部分3介绍了误差反向传播学习算法,应用于火车先生认为。部分4显示模型的实验结果和性能分析五个基准数据集。最后,结论部分5。

2。先生提出的模型:认为

2.1。先生

拟议的先生认为是一种混合的方法基于特征选择技术和神经网络分类器,这是结合使用一个包装方法如图1。特征选择是通过先生的标准实现基于互信息。通过计算数据集的互信息,(1)feature-feature相关性和(2)feature-target类视觉量化。此外,信息(即重叠功能。,feature-feature) is considered and defined as redundancy. The feature subset which is obtained by Mr标准包括命令(强烈弱)相关特性。的相关性特性决定的频率特性加入到分类器的学习过程(即。,strongly-alwaysweakly-possibly)。与此同时,无关紧要的功能是排除在分类器的学习期间最优特征子集。因此,先生特征选择结合神经元可塑性认为,应该减少计算负担(如学习过程加速度),避免过度拟合问题,并提高泛化能力认为(33- - - - - -35]。的先生基于互信息准则(34表示如下: 在哪里D代表的最大相关性特性集年代与N特性 。 表达了优化操作相结合D和R找到一个最优的特征子集。的方程D被定义为 在哪里我代表个人特性之间的互信息和目标类c。此外,它被认为是有冗余两个高度相关的特性。在这种情况下,可以删除两个特性之一,它不会影响辨别力(33]。因此,R用于计算的最小冗余特性集年代,显示为 在互信息 两个随机变量x和y可以表示的概率密度函数(或分布) ,和 ,连续或离散的情况

的先生标准,所有人的排名N特性 在数据集是通过选择最大的特点反过来。其中,算法定义的特性可以找到与增量搜索方法(34]。增量搜索方法定义如下: 在哪里的特性集吗特性。这个增量搜索方法的任务是选择n特性的设置 。增量搜索方法的计算复杂度 。

此外,被定义为的特性 ,在哪里表示给定数据集的特征的标志,的排名功能先生获得的是哪一个标准,例如,表明该功能排名的第一个数据集,应该最重要的功能,目标类的最大相关性c和最小冗余与其他特性,相比意味着该功能可以从分类器的学习首先排除加快计算的效率。认为结合排名功能达到最优分类准确率和数据集之间的妥协方案维度。

2.2。认为

在认为,树突和突触形成通过最初的初级神经元系统的用户定义的参数。最初的结构允许拥有多余的树突和突触的数量。多余的部分是筛选;与此同时,有用的部分加强和固定形式的成熟结构神经元模型在学习。四个基本规则用于定义认为,显示如下:(我)模型允许初始数量的树突和突触可以任意定义。(2)所有在同一树突突触之间存在的交互层。(3)成熟的树突和突触是决定通过学习。(iv)突触只能被定义为特定的连接四个州之一。

在图2模型中,信号的传输过程中学习了。它可以概括如下:(我)一个特定任务的输入信号传输通过乙状结肠突触功能和输出树突分支。(2)突触在同一个树突分支的结果计算了应用乘法操作。(3)信号从所有树突的分支都收集在膜层和总结soma层。(iv)在soma层信号确定是否超过阈值。

2.2.1。突触层

突触是由两个神经元的联系。它的职责是在两个神经元传递信息。突触模型层,synapse可以被定义为特定的四个连接类型之一,而作为输入与树突分支。四个连接类型包括直接连接,反向连接,常数,连接,和常数1连接,可以表达的乙状结肠功能。见图四种连接类型3。突触后电位的变化引起的离子可以用来决定是否一个激发突触输入或一个抑制36]。节点连接的函数我th 的输入jth 突触层表示如下: 在哪里表明突触的输出层。 表示输入的突触。k代表一个用户定义的参数的最优设置将在实验中。重量参数和在突触需要训练学习算法。下面的方程是用于计算的阈值突触的层:

突触前输入确定的通过训练四个连接类型和值。这四个连接类型的细节图所示4,6例给出的功能如下:(我)类型1:直接连接案例(一): ,例如,和 。 在这种情况下(图4(一)),当输入值超过阈值 ,输出是1,这意味着将被传递的信号和输出平稳。否则,信号将被阻塞。(2)类型2:反向连接例(b): ,例如,和 。 的阈值不超过输入值,输出是1,这意味着信号更新为兴奋性信号,并允许通过的信息,如图4(b)。逆连接类型被认为是一个逻辑不操作。(3)类型3:常数1连接例(c ): ,例如,和 ;例(c ): ,例如,和 。在常数1连接情况下(数字4(c1)和4(c2)),输出总是1,无论输入或参数变化。完全信息将被传播。(iv)类型4:常数,连接案例(d ): ,例如,和 ;案例(d ): ,例如,和 。在两种情况(数据4(d1)和4(d2)),对比常数1连接情况下,所有的信息将被阻塞;换句话说,输入值可以忽略。

重量参数和被分配的随机值−1.5到1.5,在模型开始前的培训。因此,也随机连接类型的突触类型。当模型完成培训和生成的学习规则,模型获得正确的重量参数和 。然后可以确定的突触连接类型。

2.2.2。树枝状层

树突层接收信号从突触层,并实现了一个乘法操作。乘法操作大致对应于一个逻辑所描述和操作

2.2.3。膜层

的信号来自于树突分支中总结膜层。这个总和约等于一个逻辑或操作和表达如下:

2.2.4。Soma层

soma层的最后一步是神经计算和阈值。如果膜超过阈值的信号,传输通道打开。操作定义为乙状结肠功能和显示如下: 在哪里是一个用户定义的参数,意味着细胞体的门槛,其范围是[0,1]。当信号从膜层大于阈值,神经元激发会发生,否则继续发射。

2.2.5。神经元修剪函数

神经元突触修剪功能层和树突层完整的可塑性机制模型。基于分类的问题,该模型可以给特定的突触修剪修剪结构通过应用和树突修剪。

(1)突触修剪。常数1突触连接的四个连接类型是一个神经元的可塑性的起源,这被称为突触修剪。树突层中的常数1完成乘法操作,因为每个突触与其他每个树突突触交互层。没有改变价值乘以常数1,它不会引起树突的输出层变化。因此,这个常数1突触连接类型可以被忽视或修剪神经元树突层简化模型中没有任何对该模型的学习过程的影响。

(2)树突修剪。常数,突触连接与每个树突层相互作用,被称为树突修剪。因此,无论树突的输出层,它乘以常数,总是等于0。所有树突的输出层膜层中的总结,和任何值加零等于本身。相应的树突和常数,可以删除没有任何影响,可以简化该模型的形态和结构。

3所示。学习算法

基于提出的结构认为这是一种前馈神经网络逻辑,误差反向传播(BP)算法用于训练模型。神经元模型的建设取决于有效的学习规则。它的学习规则是通过实际产出之间的最小平方误差向量O和目标输出向量T,如下所示:

减少了错误纠正突触的参数和学习期间连接的功能。这两个参数的修正利用梯度下降学习算法。方程表示如下: 在哪里η表示学习速率,它是一个用户定义的参数。然而,一个小的学习速率可能使收敛速度缓慢。因此,我们设置了相应的合适的η对于每一个分类问题,尽可能的模拟。然后,更新规则和计算如下: 在哪里t是学习迭代的数量。此外,部分差异E关于和定义如下:

上面的部分差异的细节部分表示如下:

4所示。实验和分析

4.1。实验装置

这个实验是在MATLAB编程(R2013b)和计算机上实现与英特尔(R)核心i5 3.4 GHz和16 GB RAM。先生提出的性能进行评估认为,五广泛使用的基准数据集来自加州大学欧文分校的机器学习库(UCI)进行测试37]。这些数据集包括威斯康辛州乳腺癌数据库(WBCD),英国医学研究数据库对肝脏疾病(英国)、电离层数据集(IONO),皮马印第安人糖尿病数据集(皮马人)和国会投票记录数据集(投票)。这五个数据集可分为分类(WBCD,保柏)或数值(IONO、皮马人投票)。表1列出这些数据集的特点。做一个公平的比较,样品包括缺失值删除,因为使用分类器不能处理缺失值。根据我们以前的工作,每一个数据集的样本是随机分为:70%的训练,30%用于测试(26]。此外,输入变量是规范化,从0到1.0,由min-max规范化规则:

表2提供了用户定义的参数设置为每个独立数据集。我们的实验其中,参数设置五个数据集设置的基础上,建议在25,26]。

4.2。绩效评估

提出最优分类精度的结果认为采用特征子集总结在表3的数量,功能(NF)在原始数据集,在最优的特征子集(#)获得的的还原速度标准,最初的一个最优的特征子集,先生获得的序列对应的功能基于30独立运行标准,平均精度,计算时间,平均接收操作特性曲线下的面积(AUC)列出了五个分类问题。为了进一步证明先生的影响认为分类器,数字5说明了用特征尺寸的影响分类精度和计算时间上五个数据集,分别。可以看出随着特征数量的减少,精确率的变化。与结果相比,使用更多的功能,特定子集的特性可以获得更好的准确性较低计算成本。然而,太少的特性将导致准确率显著恶化。此外,中华民国,可以证明分类器的分类质量图所示6。AUC是民国下的面积,其范围是[0,1][38]。这意味着分类器可以完全分类的数据集,当AUC的值是1。如果AUC等于0.5,这意味着该模型是一个随机分类器(39]。根据表3,可以发现,先生认为获得高精度WBCD, IONO,投票,和相对较低的一个在英国和皮马人。低精度造成由于复杂的数据集,和存在的文献也获得类似的结果。

比较每个特性的收敛速度的大小,均方误差(MSE)认为在每一个迭代计算,见图7,它提供了1000次迭代五个数据集的结果。在图7,传说表示特征尺寸所示。连续的曲线只有8个子集大小显示IONO和投票的数据集,其中包含最优子集的大小。从图7,观察到一个更好的准确率总是可以通过删除相应的冗余特性,导致收敛速度快,收敛曲线光滑。因此,先生认为有效的特征选择方法处理分类任务。

五个最优的收敛情况如图子集8。很明显,五个数据集都完成了自己的在500次迭代收敛。一般来说,减少特征导致了较低的计算时间。冗余功能顺序排除在特征子集,以便分类精度变化。然而,减少特征子集显然可以提供一个更好的准确性较低计算成本和更快、更顺畅的收敛情况相比,使用所有功能。应该注意的是,过度的小特征尺寸明显降低了分类精度。由于上述原因,先生认为验证是一个最佳的妥协方法最大化分类同步精度和最小特征尺寸和计算时间。

此外,先生的性能认为相对于其他六个相关分类算法,包括标准反向传播(源自)[40],RENN [41],FaLKNR [42),演算法(43],MultiBoost [44),而(40]。表4比较的结果显示了5个基准数据集的分类精度,和相应的性能列出的行列。拟议的先生认为获得三个分类问题上最好的精度,平均排名(A.Rank)五分类问题,即首先在所有比较方法。事实上,它可以认为没有一个算法总是优于其他所有分类任务。然而,一个。Rank suggests that the performance of the proposed Mr认为一般优于其他分类技术。

4.3。简化的形态学分析

4.3.1。神经元形态

正如上面提到的,先生认为达到减少内部空间通过简化形态神经元模型在学习。在学习期间,(1)每个属性都有一个输入(突触)连接在每个树突分支;(2)输入连接定义为四种连接状态时连接行为发生;(3)四个连接状态是直接连接(•),逆连接(▬),一个常数,连接()和一个常数1连接(➀),分别;(4)相同的功能并不一定每个树突分支连接类型;(5)所有树突分支最后总结在膜层。减少内部空间是实现通过忽略常数1连接的输入(突触)和删除的树突分支的输入常数,连接状态。英国的神经元形态图中给出了一个例子9。自奥采用特征选择,最初的功能是设置为5,这意味着认为减少10连接状态的计算训练模型。此外,在培训模型之前,有50个突触分和10树突点进行计算,如图9(一个)。训练后,模型得到简化的形态,只有9突触分和3通过神经元树突点修剪,如图9 (b)。

4.3.2。逻辑电路结构

先生的功能认为大约对应“比较”,逻辑”,“”,“和”或“操作,分别是(32,45]。那里,简化神经元形态学可以更换的逻辑电路,和相应的逻辑电路,还为例图所示10。逻辑电路的比较器比较输入与相应的阈值。如果输入的值超过阈值θ,结果输出1,否则为0。最终的输出的模型可以通过随后的逻辑电路。简化模型的实现可以实现硬件的逻辑电路,这样的结果很容易复制,同时减少计算成本。

5。结论

在这篇文章中,一个混合模型(先生认为)考虑到功能冗余和非线性相互作用,在树突树用于分类的实际问题计算成本较低。相互信息化先生标准可以减少冗余特性提供一个培训认为,最优特征子集。认为由BP学习算法训练处理主要分类与塑料和乙状结肠功能机制。此外,训练得到的模型的简化形态可以通过逻辑电路实现,进一步降低成本。

研究的贡献总结如下:(1)一个有效的混合分类模型(先生认为)提出;(2)仿真证明了特征选择方法结合神经元模型可以获得有益的结果;(3)据我们所知,特征选择方法的混合和单神经元模型是一个研究领域,仍然需要深度研究和提供一个令人鼓舞的视图;和(4)与此同时,本研究主张其他雇佣其他神经网络模型特征选择方法为达到更好的分类性能,可以预计,这种杂交可以避免带来的负面影响数据集的冗余特性,使性能模型的充分反映。

数据可用性

五个分类数据集可以自由下载https://archive.ics.uci.edu/ml/index.php。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是支持的jsp KAKENHI(批准号JP17K12751)和合作研究项目同济大学土木工程学院(没有。tmgfxk - 2015 - 003)。