文摘
Neuroevolution的研究领域是使用进化计算来优化神经网络的设计的某些方面,通常其拓扑和hyperparameters。现场介绍了1980年代末,但只有在最新一年该领域已经足够成熟来启用深度学习的优化模型,如卷积神经网络。在本文中,我们依靠以前的工作应用neuroevolution为了优化深层神经网络的拓扑结构,可用于解决手写字符识别的问题。此外,我们利用进化算法优化人口的候选解决方案,通过结合一组最好的进化模型导致卷积神经网络的一个委员会。这个过程是增强通过特定的机制来保持种群的多样性。此外,在本文中,我们解决neuroevolution的缺点之一:这个过程是非常昂贵的计算时间。为了减轻这个问题,我们将探讨拓扑传输性能的学习:是否使用获得的最佳拓扑neuroevolution某个域可以被成功地应用到不同的领域。通过这样做,可以重用neuroevolution的昂贵的过程来解决不同的问题,把它变成一个更有吸引力的方法优化神经网络拓扑结构的设计。评估我们的建议后,结果表明,使用neuroevolved委员会和拓扑传递的应用学习成功:委员会卷积神经网络能够提高分类结果与单一模型相比,可以重用和拓扑学到一个问题对于一个不同的问题和数据具有良好的性能。此外,这两种方法可以通过建设委员会转移拓扑相结合,和这种组合达到结果结合最好的两种方法。
1。介绍
深度学习包含一组广泛的技术能够推断出“深度”模型来解决各种机器学习问题。从这些技术,卷积神经网络(cnn)可能是最著名的,广泛的研究和广泛应用。cnn是一个最典型的神经网络类型包括两个不同的部分:首先,卷积层负责从输入自动提取相关特性;然后,全层负责执行监督学习。而其他体系结构存在,如剩余网络(1)或完全卷积网络(2),描述的是最常见的文学。
cnn的优点是,所有的网络参数,从特征提取器和分类器,可以学会使用反向传播。cnn已经广泛应用于计算机视觉、实现一个出色的表现,但也被应用于各种各样的问题与非凡的成功:自然语言处理、信号分类,人类活动识别,甚至音乐一代。
虽然cnn已经证明了在一个非常不同的工作领域,网络拓扑结构的缺点是可能非常复杂,涉及大量的hyperparameters卷积层,全层,培训过程本身。通常,拓扑手工设计,通过选择最合适的一个经过反复试验或使用特定领域的专业知识来推断什么构成良好的拓扑问题。不幸的是,第一种方法非常耗时,而第二个需要一个专业可能并不总是可用的。
尽管没有解析程序自动确定最优CNN拓扑和hyperparameters对于某个问题,近年来一些作品专注于发展机制自动搜索。这些机制的一个重要子集包括neuroevolution,这个概念出现在1980年代末应用进化计算优化神经网络的某些方面,只有在最近几年,随着硬件技术的提高和有效的基于gpu的深度学习框架,开始被应用于深和卷积神经网络。
在这项工作中,我们将首先使用先前描述的进化算法(3)优化卷积神经网络的拓扑结构。这个过程包括机制专门致力于保护人口在进化的多样性。除此之外,在本文中,我们将重点研究两个方面,自然从neuroevolutionary过程本身。
第一个进化计算等方面的事实不仅可以输出一个解决方案,而是一个整体人口造成的候选解决方案优化过程。本文利用进化过程不仅仅为了获得一个优化的CNN,而是一组优于CNN,可以组合在一个合奏。整个过程由diversity-enhancing浓缩技术在前面提到的,这将导致更高的方差模型符合合奏。
关于第二个方面,必须注意到neuroevolution在计算方面是一个非常昂贵的任务。这种高成本是由于这一事实,在每一代遗传算法,每个候选人CNN拓扑必须被评估,因此需要首先学习使用一些训练数据,然后计算其性能参数(健身)使用一些验证数据。由于这个原因,在本文中,我们研究的过程将一个域到另一个域的拓扑优化。一个成功的结果在这个拓扑传递学习任务会使neuroevolution更吸引人的工具,因为大多数之间的知识可以被再利用不同的问题。
本文的主要贡献是解决这两个方面,展示了乐团neuroevolved多样的cnn可以显著优于单独的模型和知识获得了在进化过程中如何成功的结果然后转移到一个不同的问题。
本文的其余部分的结构如下:首先,部分2介绍了本文的背景下,描述了相关工作,并阐述了本文的贡献相比,这些作品。本文中描述的建议部分3和4cnn,描述的过程构建委员会和执行拓扑转移学习和报告并讨论后结果达到系统的评估。最后,部分5对工作开展提供了一些结论性的评论。
2。背景和相关工作
cnn勒存等人在1998年首次引入的(4,5)的方法来实现优于分类不同类型的文件和信息,比如图像、演讲,或时间序列。最常见的CNN体系结构包括两个不同的部分:首先,一个卷积序列层负责自动从输入数据中提取相关特性。这个阶段被称为“特性学习”或“表示学习”和替换过程中一个专家或专家组执行手动功能工程将一些非结构化的信息转换成一组有价值的特性。然后,一旦这些特征被提取,CNN的第二部分,通常被称为“稠密”,将负责执行分类。这通常分类器模块将组成一个全前馈神经网络或反复发作。反向传播机制都用于学习致密层的参数(如古典神经网络)和卷积层,为了减少损失函数定义在神经网络的输出和预期的分类输出。
如今,cnn已经成为最广泛的技术之一,在该领域被称为“深度学习”。近年来出现许多框架为了容易火车CNN模型非常不同类型的输入数据,支持各种各样的张量代数操作和自动分化。广泛使用的深度学习框架的例子有Theano [6),牛奶(7),或TensorFlow [8)和其他一些库还发表了缓解卷积神经网络的设计,如烤宽面条(9]或Keras [10]。cnn正在成为无处不在的解决各种人工智能问题由于高端硬件的可用性(主要是图形处理器单元,gpu和张量的具体硬件处理)提供的和易于实现这样的框架和库。然而,正确的拓扑和hyperparameters CNN的解决问题仍然是一个具有挑战性的设计决定,在某些情况下需要专家知识和在大多数情况下昂贵的试错。
设计神经网络的拓扑结构的问题并不新鲜:它可回溯到1980年代中期,当反向传播算法引入Rumelhart el al。11]。反向传播启用一个快速和可靠的方式学习神经网络的参数,它是解决神经网络领域的一个关键发现;然而,网络的拓扑结构应该知道开始之前的培训过程。不幸的是,不存在分析过程决定了神经网络的最优拓扑,和常用方法设计也需要尝试不同的架构,直到我们满足预期的质量或重用拓扑已经被证明是成功的非常相似的问题。
然而,到1980年代末,出现一种新方法:neuroevolution。本范例使用进化算法以优化拓扑,和在某些情况下也权重,一个神经网络。进化算法是一组生物启发,metaheuristic搜索技术,可以优化人口的个人为了最大化一定健康指标。在neuroevolution,人口由神经网络拓扑结构的描述和/或hyperparameters,适应度函数是一个机器学习指标进行优化(如精度、精度或召回,F1得分,等等)。
Neuroevolution已经成功应用在几乎三十年的时间来确定最优的神经网络拓扑结构。然而,应用边际CNN,近年来,只有在非常大量的作品已经出版提出不同的方法来执行一个进化优化CNN拓扑。最近的一项调查提供了斯坦利等人早在2019年(12]。
最早的方法提出了Koutnik et al。13)2014年,一个架构的四个卷积与max-pooling层和一个小的网络,三个隐藏的单位是固定的。所有参数由在实值编码基因进化。然而,可以看到,这种工作不执行体系结构优化。
其他工作是2015年由Verbancsics和Harguess14),建议更新HyperNEAT [15)支持cnn的演变,通过学习特征的权重组成对卷积器层。今年还年轻et al。16]介绍了MENNDL(深度学习的多节点进化神经网络),一个遗传算法用于优化只有六hyperparameters CNN,专注于高性能计算。最近的一个版本是2017年(17),进化hyperparameters数量增加到11个。
一些相关的工作也在2016年出版。的工作由Loshchilov和Hutter [18),使用一个进化策略发展19 hyperparameters从CNN,其中大部分属于学习过程,使用一个架构和一个固定数量的层。其他工作发表了费尔南多et al。19],他们提出的引入可微的组成模式生产网络(DPPN),一种网络,可以使用方法基于进化增加拓扑。一个有趣的新奇的这种方法的拓扑和初始权重可以完全进化,后来优化使用反向传播。
大多数工作在这个领域在2017年开始出现。一个代表性的例子是麝猫,引入了谢和Yuille20.),其方法包括进化图连接不同阶段(每个对应一个卷积层),并允许优化复杂无序的网络。也相应由Miikkulainen CoDeepNEAT et al。21),它包含一个整洁的支持进化的修改在cnn,不连续的体系结构和改进的支持下协同进化方法。在准确,提出的Desell [22),另一个巧妙方式用于进化的过滤器尺寸卷积层及其连通性。真正的et al。23从谷歌大脑也提出了一个方法,一个图表是进化而来的,每个节点对应于一个卷积层,允许复杂的拓扑。此外,太阳et al。24]描述了应用遗传算法的进化cnn,创新通过引入变长染色体。同时,Dufourq和巴25]介绍了伊甸园,这依赖于遗传算法的两个基因编码的网络体系结构和学习速率。
作品中提出的菅沼et al。26)和戴维森(27),遗传规划而不是用于发展CNN的架构。与此同时,Bochinski et al。28]IEA-CNN提出,一种方法使用一个进化策略,创新分类进化层下行的复杂性,有效地减少了搜索空间的数量让层。此外,他们扩展他们的贡献通过构建集合体的进化模型,使用适应度函数,全球人口的分类错误,这个替代CEA-CNN和命名。
最先进的作品在2018年提出。例如,Baldominos et al。3)进行了研究,两种实现进化算法被成功用于cnn的拓扑演化为提高手写数字识别的性能。刘等人。29日]提出使用遗传算法进化个体使用突变通过添加、删除或编辑计算图中的边,可以翻译成一个卷积神经网络。最后,第一个克雷默(30.),后来Prellberg和克莱默31日]提出了基于进化算法的一种方法,只有依赖变异算子和已经引入了一个机制来支持参数继承,所以后代在进化过程中不需要从头开始学习权重。Assuno et al。32]提出了密度,一个工作一个多级编码的候选解决方案可以优化网络的拓扑结构和激活功能,与作者声称它也可以用进化的hyperparameters学习过程以及数据的扩张阶段。在2018年末,王et al。33)使用微分进化优化不同hyperparameters卷积和全层。太阳et al。34)最近提出的应用遗传算法两个构建块(ResNet和DenseNet)用于CNN的架构演进。
在这个有前途的领域,仍有许多研究,值得探索。我们已经在前一节中所描述的,在本文中,我们希望为工作在两个不同的学科领域知识的研究,出现自然neuroevolution的优点和局限性。首先,鉴于进化算法进化不仅一个人而是一个人口,我们假设优化过程的输出完全可以组合建立一个委员会执行比任何单一的神经网络模型。
合奏的几种神经网络模型到一个委员会并不新鲜,在文献中广泛开展。例如,在图像分类领域,Cirean et al。35)达到0.8的改善在最好的结果报道的艺术状态MNIST数据库通过cnn的委员会。近年来,这个想法已经应用到各种领域,如面部表情分析(36],天体物理学[37),造成估计(38),或者医学成像39]。然而,建立一个整体的概念从人口neuroevolved CNN拓扑不常见,我们所知,之前只探索了真正的et al。23和Bochinski et al。282017年)。前工作,整体是由选择的最高2模型进化种群基于验证的准确性。在CIFAR10测试数据集时,整体达到95.6%的精度,与最好的单一模型的94.6%。neuroevolution之外,整体的过程中自动确定CNN拓扑还用于MetaQNN [40),强化学习用于确定最优拓扑。因此,乐团获得MNIST数据集的测试精度超过99.68%,而当使用单一模型为99.56%。在后一种文本,乐团使用适应度函数,考虑全球进化分类错误的人口,和作者报告分类精度为99.76%的合奏34 cnn, 99.66%用一个模型,一个竞争非常激烈的表现艺术的状态。
neuroevolution以来关于第二个主题的研究,是一个昂贵的过程,我们认为值得探索最好的拓扑演化问题是否可以重用一个类似的问题,即使数据是不同的。深度学习文学研究转移学习之前,但理解为一个训练有素的机器学习模型的应用到不同的领域,很少有额外的培训(41]。在神经网络中,学习参数(权重)重用一个不同的问题。在某些情况下,只有(即特征表示。,the parameters of the convolutional layers) may be used, training the classifier from scratch. In this paper, however, we will be focusing on topology transfer learning. Thus, we are interested in transferring knowledge not of the CNN model weights but rather of its architecture and learning hyperparameters. In other words, once the expensive process of determining the best CNN topology for solving a certain problem is completed, we are interested in testing whether this evolved topology is useful for training a CNN model in a different machine learning problem. In the case of being useful, then plenty of computation time could be saved by avoiding the repetition of the evolutionary process. This approach contrasts with the one followed by Real et al. [23),再次运行的完成neuroevolutionary过程cifar - 100数据集,使用相同的编码和hyperparameters用于CIFAR-10。
分别在这篇文章中,我们将探索两个备选方案,然后把他们两人一起把neuroevolutionary过程中的这些改进的鲁棒性测试。我们最好的知识,研究使用集合以及拓扑传递的上下文中学习neuroevolution小说,没有解决早期的文献中。
3所示。委员会卷积神经网络
机器学习模型的一个委员会,通常被称为一个“整体”,共同运作的一组模型,以提供一个响应。在分类问题中,每个模型将返回一个类,然后所有响应将被认为是产生一个结果。
在这篇文章中,我们将依靠neuroevolutionary过程中描述的工作Baldominos et al。3),已实现特定的机制来保护CNN拓扑的人口的多样性。这种机制包含在一个个人的小生境策略更类似于其他人口是惩罚。这样做,一个调整健身( )为 - - - - - -th个人( )计算如下,是吗这种个人的健康损失是由于:
在前面的方程, 是一个值,表示两个人的相似度,计算如下:
在相似度计算公式,指卷积层和的数量指完全连接层的数量。我们可以看到,个人有不同的层数是完全不同的。当层数一致,那么公式看起来hyperparameters分数的,其价值等于两个人之间。从这个公式,很容易检查图像相似性函数的范围 ,在哪里意味着两个人是完全不同的意味着它们共享相同的设置。
通过使用这种小生境策略,我们期望多样性的增加导致更好的乐团,因为模型是保证是非常不同的。
neuroevolutionary过程中,排名前20的拓扑发现在进化存储在一个名人堂的,然后长时间训练提出竞争模型。然后,我们将建立委员会的cnn neuroevolutionary过程中发现最好的模型。为此,我们将根据他们的表现,然后排序模型建立委员会通过添加模型一次,最多20个模型。该委员会将根据多数投票工作政策;也就是说,其响应对应于类返回的大多数模型组成的委员会。对于领带,这将是解决通过选择类由最具竞争力的决定模型参与领带。
3.1。CNN的进化模型
下面描述的过程Baldominos et al。3),我们将使用两个进化遗传算法(GA)和语法(GE)自动确定拓扑和hyperparameters cnn的最大化分类性能。
的GA编码由69位二进制字符串使用灰色编码。染色体编码以下参数:(我)输入配置:批量大小从25到200年。(2)卷积层:卷积的层数,对于每一个卷积层,内核,内核大小,池大小(或没有池),和激活函数。(3)致密层:数量的致密层,对于每一个致密层,层(前馈或复发性)的类型,数量的神经元激活函数,权值正规化(L1和L2)和辍学率。(iv)学习过程:梯度下降函数(随机梯度下降法,亚当,Adamax等)和学习速度。
通用的方法是类似的,但个人的表型是由语言的语法定义中指定Backus-Naur形式(BNF),可以发现算法1。基因型在通用电气由一个整数序列用于选择生产规则从语法到一个有效的(即生成字符串。没有剩余的非终结符符号)。有效的字符串的集合(语言)对应于候选解决方案的搜索空间。这比GA编码提供了更好的灵活性,因为它可以减少冗余。
|
||||||||||||||||||||||||||||||||||||||
学习过程发生如下:每个染色体所代表的网络训练只有5时代和使用一个随机在每个时代50%的样本训练集。这允许生成相当紧密的估计网络的性能,节省必要的时间评估个人没有他们的进化过程是不可行的。评估个人的健身时,前面描述的小生境策略用于计算调整后的健康。
评估每一个候选解决方案的完整过程如下:(1)基因型转换成表型通过创建一个CNN的拓扑参数指定的基因型。(2)随机初始化网络的权重。(3)列车网络5时代期间,使用一个随机在每个时代50%的数据。(4)计算网络的分类误差在一组不同的训练集和分配获得错误的个人健康,必须最小化。(5)计算调整健身提供了小生境策略。
在进化的执行系统,迄今为止最好的个人发现存储这样的过程我们将有一组名人堂,20个最好的架构在整个进化过程中发现。每个的前十名的hyperparameters拓扑GA的详细表1。这些架构培训30时代,没有抽样。为了避免偏见产生的随机过程的本质,每个拓扑是训练有素的20倍。这个完整的训练阶段的结果总结表2(每一行对应于每个拓扑在名人堂,而列描述训练有素的性能模型)的分布。
3.2。结果与讨论委员会的cnn
为了清晰、经济,在这一节中,我们将更详尽的描述了使用遗传算法获得的结果,略好,与一个非常小的差异,比获得了通用电气。
合奏,我们用20模型生成的进化过程(我们只选择最好的为每个不同的拓扑),将遵循多数表决政策:为每个实例的验证集,20类预测的计算模型,并获得最大的共识是生成的。
20集合体的错误率在图所示1在黑暗中。值得回顾的是,我们正在测试不同乐团的大小通过添加模型一次,添加第一个具有更好的性能。浅色的钻石在图中显示,仅供参考,所有的模型的平均错误率合奏。因为分类器是按升序排序错误,这个平均增加更多的分类器。
正如我们所料,一个委员会的错误率低于它的组件在所有情况下的平均错误率。可以看到几个模型的引入降低了误差降至0.28%(当使用7分类器),然后稳定一段时间,大约0.3%,直到它再次开始增加在使用超过14分类器。在通用电气的情况下,最好的委员会发现导致0.29%的错误率。
值得注意的是,最好的委员会发现我们的研究是一个涉及到最好的7分类器。之前说过,这个系综分类MNIST测试组只有0.28%的错误率。我们所知,当考虑那些工作没有数据增加使用,这个结果只是表现的作品常和陈42和Bochinski et al。28)的提议都导致测试错误率为0.24%。
0.28%的错误率在一组测试的10000个样本转化为28正确分类样本。最好的混淆矩阵模型如图2。这种混淆矩阵的解释是很有趣的:我们可以看到最常见的错误涉及到数字“9”被归类为“4”。其他常见的错误包括认识‘3’而不是‘5’或‘1’,而不是‘7’。混合了这些数字可以接受如果他们写得很差,这些样本的情况下。更具体地说,28图像描绘在图分类错误3。我们可以看到这些手稿数字确实是非常不清楚或写得很差。例如,第四个图片在第一行可以是一个“4”或“9”,第二行第三图像可能是一个“3”或“5”,等等。它能困难甚至对人类正确地认识这些数字。
值得注意的是,获得最佳分类器使用单一模型转化为一个测试错误率为0.40%(见表2),而使用neuroevolved总体模型可以减少错误率降低到0.28%。这使得进化系统的使用更有趣的是,不仅因为它允许美国有线电视新闻网(cnn)的体系结构和参数的自动生成,已经一个复杂的和复杂的任务,但也取得了相当大的改进的cnn的性能通过使用一个进化的模式,手动将几乎不可能实现。
4所示。拓扑传递学习
这项工作的第二个目标是验证是否CNN模型或委员会优化特定域可以直接转移到一个不同的(但类似)领域,导致的性能不够好。这将证明模型的鲁棒性所产生的进化和将允许扩展他们的新数据,没有被迫再次重复整个过程。为了验证这些转移能力,我们决定使用EMNIST数据库,与MNIST共享结构,用于发展的模型,包括一个类似的问题:手写识别。我们假设拓扑表现良好MNIST还应该能够达到与EMNIST相当好的结果。在本节中,我们将探讨的问题转移使用neuroevolution CNN拓扑学习。
4.1。EMNIST数据库
EMNIST(扩展MNIST)数据库被科恩et al。(2017年推出43),由一组手写字符(数字和字母)。
图4显示十EMNIST每个字母的样本数据集,包括大写和小写的变体,和两个样本位数(在最后两列)。
EMNIST数据库是源自NIST特殊数据库19 [44),其中包含NIST(美国)国家标准与技术研究所的整个语料库手印文档和字符识别的培训材料。它包含超过810000个孤立的角色从3699年作家(45)的一种形式。这些字符被称为后手动检查。
作者释放EMNIST承认,在过去的几年中,深度学习和卷积神经网络允许科学家MNIST数据集达到精度超过99.7%,说明这一点”数据集标签可以质疑“(43]。出于这个原因,他们建议MNIST已成为non-challenging基准。
尽管NIST特殊数据库19,EMNIST提取,可用自1995年以来,它一直主要是未使用的。这个数据集的主要原因是很难使用现代计算机访问和挑战性。最近,在2016年,NIST公布了这个数据库的第二版(45它更容易访问。
为了使两个兼容的结构而言,作者进行了处理类似于一个完成了MNIST数据库。结果是一个数据集,其中包含比MNIST实例,包括字母除了数字,结果是,是一个更具挑战性的基准字符识别系统的性能评价。这个处理包括接下来的步骤:(1)原始图像在NIST的特殊数据库128年被存储为19日x128-pixel BW图像。(2)高斯模糊滤波器 应用于软化边缘。(3)删除空白填充,减少图像感兴趣的区域(实际数字)。(4)然后集中在一个正方形图像图像保持长宽比的时候,用2像素边界填充它。(5)图像downsampled 28 x28使用bi-cubic插值像素。
EMNIST数据库中的结果,每个实例是一个28 x28-pixel灰度图像,每个像素是0到255之间的数字。
在本文中,我们将使用两个不同的分类法EMNIST提供的数据集:(我)数字:MNIST相似,但与四倍(280000年而不是70000年)实例。(2)信:这个数据集只包含字母,大写和小写的区别不是。因此,数据集包含26类,共145600个样本。
我们所知,EMNIST数据集非常新,没有发表作品使用它作为一个基准。原EMNIST论文科恩et al。43)使用一个线性分类器包括一个基线和鸦片(在线伪逆更新方法),分类器引入的van Schaik和Tapson46]。值得注意的是,在最初的性能EMNIST论文报告的准确性,而不是错误率。由于这个原因,在本节中,我们将使用这个指标报告每个工作的性能。
最近,彭和阴47)使用马尔可夫随机实地CNN实现精度95.44%信数据集和99.75%的数字数据集。同时,辛格et al。48EMNIST数字]报道的准确性99.62%,使用一个CNN与卷积三层和两层完全连接。在伊甸园25),作者还测试了他们neuroevolution EMNIST数字测试集的方法,获得99.3%的准确性。使用的数据集也被Netftci et al。49)进行测试的性能驱动随机反向传播神经形态深层神经网络训练时,尽管他们有字母和数字数据分类相结合,因此其性能不能相比,这项工作的结果;和蜀et al。50虽然两两分类的目的。
尽管EMNIST没有被使用到目前为止在其他发表作品,一些研究人员使用NIST特殊数据库在过去19。应该注意的是,这些作品不具有直接可比性,因为数据库不相同;然而,结果可以推断。例如,米尔格拉姆et al。51]报道98.75%的准确性使用svm和乙状结肠函数,格兰杰et al。52)达到96.49%的准确使用粒子群优化进化神经网络的拓扑结构,和奥利维拉et al。53]报道与多层感知器精度98.39%。
其他作者也用来信NIST特殊数据库19。例如,Radtke et al。54)使用屡创纪录新高旅行(字母数字为96.53%和93.78%)的准确性,Koerich和Kalva55)测试了一个多层感知器只有字母数据集(87.79%的准确性。)和Cavalin et al。56]利用隐马尔科夫模型(精度为98%数字和字母为90%,尽管这个结果仅仅是使用大写字母,小写字母时,精度下降至87%也考虑)。
最后,我们所知,Cireşan et al。35)是唯一作者使用这个数据库用于测试委员会的cnn的性能,实现对整个数据库的精度为88.12%,92.42%,字母和数字为99.19%。
的总结回顾了工作表所示3。表的上面显示了经典的机器学习模型和non-convolutional神经网络的性能,而较低的一边展示这些作品涉及cnn。最好的结果是粗体的。
4.2。转让进化CNN拓扑
为了评估神经模型的性能获得MNIST域,直接转移到EMNIST域时,最好20拓扑,通过neuroevolution被选中,然后转移到新的领域,他们将遵循一个标准的学习过程来检查他们的表现。我们已经完成这个任务对进化算法(GA和GE)和为字母和数字领域。然而,在这篇文章中,我们将报告只有通用电气的结果,类似,略优于那些使用GA,原因有清晰和效率。
neuroevolved拓扑的完整训练后,每个体系结构的精度的统计汇总如表所示4信数据集和表5为数字数据集,意思是,中位数,标准差,最大和最小值。应该召回,结果显示对应获得的精度,在测试集,通过网络从MNIST域转移到字母和数字领域。我们报道了性能方面的准确性,而不是错误的一致性与大多数国家的艺术品。
可以看出,第一个个人不表现得比其他人更好,指出这些拓扑优化EMNIST数据集的不明确。然而,结果是很好的:数字和字母数据集;获得的最大精度超过99.7%和95%,分别。如果我们比较获得的结果与进化系统(参考表5和4)与艺术的状态(见表3),进化模型可以升值的巨大功效,即使neuroevolution进行不同(类似的)域。在信领域中,我们的方法的准确性(95.19%为字母和数字为99.73%)只是表现的工作由彭和阴47)(分别为95.44%和99.75%)。
此外,每个拓扑分布的精度与EMNIST经过完整训练训练集是描绘在图5字母的域和图6数字领域。有趣的是意识到结果非常均匀对大多数人来说,在所有情况下都和方差很小。这指出了该方法的鲁棒性:它很容易获得竞争模型,即使在一个或几个死刑neuroevolution和完整的训练阶段。方差是高信数据集,因为域更加复杂和类的数量较大(26对10),尽管结论同样适用于一个较小的程度上。
同样值得实现跨两个数据集的性能是一致的。当一个拓扑行为尤其是在一个域,它有一个特别好的行为在其他。例如,在字母域名,最好的三个模型4,6,和2,所以也在数字域。
4.3。拓扑传输演化cnn的委员会
此外,我们发现它有趣的探索机制介绍了执行结合时,即,whether committees for the EMNIST database can be built and obtain successful results given models whose topologies were designed for the MNIST dataset.
图7显示了字母的准确性进化数据集作为新的模型。EMNIST信件是一个最好的结果的准确性(4.65%)的出错率95.35%,与10 cnn,涉及20 cnn的一个整体。准确性看起来很稳定,当超过三个cnn,然而结果改善结束时,获得更好更多的模型的精度。
情节指的是数字数据集如图8。值得注意的是,除了8个人,精度稳定在99.75%左右(错误率为0.25%)。最好的精度是99.7725%(0.2275%)的错误率,六个cnn的一个委员会。精度是非常稳定的新模型添加到合奏,最差的结果至少三个cnn获得物体的一只有0.03不到上述的结果。
鉴于这些结果,我们可以得出结论,再次使用委员会提高在这与单一模型获得的结果。特别委员会字母数据集的使用增加了精度从95.19%(使用单一模型)到95.35%,减少结果的差距由彭和阴47)(95.44%)。关于数字数据集,精度从99.73%提高到99.7725%,因此,这个数据集的排名。
对结果的解释,图9显示了EMNIST字母的混淆矩阵数据集用最好的乐团发现,获得使用拓扑优化和通用电气。可以看出,精度几乎是完美的。最常见的错误包括混合字母“I”和“L”,字母“G”和“问”,并在一个小得多的程度上字母“V”和“U”。这似乎可以接受错误给这些角色的高相似性。图10显示了一个随机抽样,对100年EMNIST字母分类错误的图像数据集。正如我们已经知道的混淆矩阵,大多数垂直条分类错误的样本可以是L”或一个“我”(注意,更类似当比较一个小写与大写字母“L”“我”)。同时,也可以看到一些字符如何辨认甚至人类。
至于混淆矩阵为数字数据集用最好的乐团发现,图中所示11。最值在主对角线,代表一个几乎完美的准确性。最引人注目的错误涉及分类数字“9”和“4”,“3”和“5”,“2”和“3”。在较小程度上,乐团也涉及数字“6”和“0”。从一组测试的40000个样本,只有97人错误地分类。事实上,从40000年总共只有91个实例测试集的分类错误,这些图中可以看到12。大多数的这些数字很难辨认。实际上,一个实例似乎涉及两个数字在一个(第七行,第八列)。其他人似乎是不完整的,很难说他们是否“5”或“3”(例如,第一行,第三列)。最后,4和9之间的混淆的似乎是由于一个数字“4”是非常圆顶部或数字“9”似乎微微张开,可能由于图片是不完整的。
5。结论
卷积神经网络是一个非常有效的工具在许多复杂的问题,特别是在分类任务。这些系统的唯一缺点是网络之间的依赖模型,理解为联盟的结构和参数,结果他们能够完成。这种依赖使其难度和成本最优模型为每个问题。为了避免这种困难的一种方法是使用进化系统自动找到适当的架构在每种情况下,一种方法叫做neuroevolution已成功用于自1980年代末,但只有在近年来应用于深度学习模型。
在这项工作中,我们重点分析的潜力neuroevolutionary系统对两种不同线的研究:一方面提高生成的模型的性能,通过委员会的使用,另一方面验证模型的鲁棒性转移到新的相似,域。
使用委员会利用进化系统的属性来生成一个人口的个人,而不是使用一个单一的解决方案。使用多个模型允许调制的结果,在这样一个方式,个别系统的可能的错误可以纠正,提供符合整体的模型是不同的,足够有效,就不会扭曲的结果最好的模型。在这个工作中,这种影响是通过将小生境策略进化系统,以及使用一套历史,名人堂,最好的模型。
实验进行了不同大小的乐团,最多从2到20,手写的分类任务。结果证明改进的分离模型,在所有情况下。此外,更详细的分析显示更高的性能对于小合奏大小,大约7模型、改进的不那么重要了。结果还显示一个微不足道的大小依赖乐团,从四个大小,我们可以得出结论,没有必要使用大型乐团,高于临界最小大小。
关于拓扑传递学习,我们的假设是,一旦发现合适的拓扑使用neuroevolution,这些拓扑应该表现在不同的领域或问题相当不错的一个用于发展的人口。如果这个假设是正确的,那么可以节省很多时间,因为neuroevolution是一个计算昂贵的过程。在我们的工作中,neuroevolutionary过程搜索最优拓扑MNIST数据库,然后我们有这些拓扑EMNIST转让。EMNIST最近发布和提供了几个数据库:我们关注EMNIST位数,这是同样的问题MNIST但获取的数据从不同的来源,和EMNIST字母,这是一个类似但不同的问题涉及识别手写的信件。结果表明,转移拓扑能够获得非常高的性能,达到99.73%的精度EMNIST EMNIST字母数字和95.19%。
这些结果显示生成的模型的鲁棒性我们进化系统。不仅他们实现最好的结果报道到目前为止,在这些领域,而且18的20模型获得超越最好的最先进的结果在数字域,所以做整个20在字母域。这些结果更重要,如果我们考虑到一个称为作品也使用cnn, 7的整体模型。这证实了不仅很难找到有效的模型,而且甚至学会了通过我们的系统模型在某些领域,当直接用于不同,但类似,域,获得更好的结果比那些由专家设计侧重于后者。当然,这种情况没有无视,在不久的将来,新作品可以推出模型更好的适应领域,从而产生更好的性能。
此外,我们已经意识到这两个改进并不排斥,当相结合,可以改善结果,优于单一模型,达到99.7725%的精度,EMNIST数字为95.35%,EMNIST信件。这意味着改善EMNIST位数0.0425和0.16 EMNIST信件相比,获得的最佳精度与单个模型。
所有的测试和分析的基础上,提出的方法是建议,即使过程很耗时间,因为它是完全自动化和输出可用于建筑委员会或适用于不同,但同样的问题。实验结果证明成功的两种方法和支持的一些好处使用neuroevolution确定最好的拓扑和hyperparameters cnn。
数据可用性
本文中使用的数据库是公开下载,特别地,可以通过以下网站:http://yann.lecun.com/exdb/mnist/,而EMNIST可以从以下网站下载:https://www.nist.gov/itl/iad/image-group/emnist-dataset。
的利益冲突
作者宣称没有利益冲突。
确认
这项研究部分支持的西班牙教育部,文化和体育在FPU FPU13/03917交通标识符。