文摘

本研究旨在开发一个健壮的metalearning系统对大量任务快速分类。的model-agnostic metalearning (MAML)仙人掌方法(无监督metalearning集群自动构建任务)后改善,因EW-CACTUs-MAML与熵权综合(EW)方法。Few-shot机制中引入大量的深层网络高效学习的任务。实现的过程从理论上解释为“基因情报。”在一个典型的数据集上验证EW-CACTUs-MAML (Omniglot)表明一个精度为97.42%,表现优于CACTUs-MAML(验证准确率= 97.22%)。在本文的最后,我们的思想来提高另一个metalearning系统的可用性(EW-CACTUs-ProtoNets)也初步讨论了基于交叉验证的另一个典型数据集(Miniimagenet)。

1。介绍

一般而言,一个学习算法 被定义为一个过程处理数据D进行预测 从每一个输入 (1]。也就是说, 是一个特定的函数映射 来 。从这个意义上讲,机器学习的目的是恢复数据的函数,包括学习分类器,回归,和政策(2]。因此,学习算法 据说如果一致

不同与传统机器学习,metalearning被解释为“学会学习”,可以实现(1),这个函数 来 其实可以作为一个通用metalearner [3]。metalearning的主要研究方向包括metalearning基于度量空间(例如,典型的网络),metalearning基于参数优化(例如,model-agnostic metalearning),和基于模型metalearning(例如,强化metalearning) [1- - - - - -5]。metalearning非常大的数据集,因此,学习任务的自动分类一直是一个巨大的挑战(6]。由于这一挑战,一些工程应用metalearning报告(7,8]。

本研究的目标是(1)挑战,分析主要原因(2)为应对挑战,开发一种方法,(3)提出一个方案metalearning的工程应用。整个论文的组织如下。节2,我们制定一个挑战的问题在一个大规模的矩阵运算,并在部分3,我们从理论上分析如何进一步提高分类的精度和效率。节中给出了实验和讨论4在参数优化,改进的余地也突出显示。

2。问题公式化

2.1。模型的表示

我们利用熵权法改善metalearning流程,在model-agnostic metalearning采用(MAML)作为典型的网络(9- - - - - -12]。

让 向量的初始参数模型f和 表示更新后的参数。让 非零学习速率。为K拍摄的学习中,我们使用5-way-5-shot构建预测模型(13- - - - - -15]。

根据万能函数逼近定理16- - - - - -20.), 也可以表示为一个函数的近似者

2.2。口译学习过程

让l是lth任务和 表示输入特征值计算的参数 ,偏见 ,和转换变量 。让 代表权重矩阵,其中包括一组与非负线性层输入和激活。让 输出函数。让 学参数。

我们改善传统的梯度下降法利用典型的网络更新权重的学习者f,它可以表示为

选择 和 这样

让 表示一个函数,生成一个K拍摄离散化的输入。选择 和 这样

损失分类计算熵函数

一个简化的解释metalearning流程如图1。


图1
一个简化的解释metalearning流程。

3所示。理论分析

3.1。建设任务

假设有一个嵌入学习算法 在D;然后,我们可以获得数据的映射 从嵌入空间 。为集群 ,集群的重心 计算从

给定一个源矩阵

矩阵计算出重量r熵权法

的原型k类是生成的

因此,标记示例类的集合k是

我们利用k——聚类划分P和一组分区(21- - - - - -28]。让N是一个支持组一次性标签和问是一组查询,每个任务可以从一次性标签排列取样 从仙人掌中获得。也就是说,

3.2。参数的优化

利用熵权法计算相对权重 对于每一个数据的任务DJ和适应新任务D霁也确定模型的参数通过计算梯度下降 (29日,30.]。让 是全球学习速率(固定metalearning参数)。然后,

通过抽样任务参数进行了优化P(J)相关 。

优化过程的目标是使用更新后的参数计算外层更新。让 内层的学习速率。在优化过程中参数的遗传

总损失之间的关系和任务损失参数的优化过程如图2。


图2
之间的关系 和 。
3.3。理论实现

EW-CACTUs-MAML的实现包括两个步骤,可以从理论上解释为“基因情报”(强调参数的遗传)。

首先,为了实现多步梯度的更新,定义一个初始基因(即初始化参数)。多步梯度的更新可以实现通过输入的计算训练任务的更新的基因。第二,继续加入每个任务的训练数据和更新的基因。将获得最优基因在多个梯度下降。当然,一个特定任务的参数可能需要更新几次,得到的最优结果,如图3。


图3
基因更新优化流程。

为了简化的遗传过程,未来预期最好的情况是,一个更新是足够的寻找一个基因,并在整个过程中,只有有限的数据小样本学习是必要的,如图4。


图4
简化了遗传:寻找一个基因一个更新就够了。

4所示。实验和讨论

4.1。模型的性能

两个典型数据集,Omniglot数据集和Miniimagenet数据集,将在这一节中。Miniimagenet数据集已广泛应用领域的metalearning few-shot学习(31日- - - - - -37]。著名的原始参考的数据集37一次性学习),匹配网络提出了解决机器学习的一个关键挑战的几个例子。到目前为止,Miniimagenet已成为一个领域的基准数据集metalearning few-shot学习(38- - - - - -40]。数据集包含60000彩色图片大小84×84 100类别,包括600个样本在每个类别(41]。Omniglot数据集包含1623份手写字符从50个不同的字母,由20个不同的人吸引在线亚马逊的土耳其机器人(42]。每个图像搭配中风数据和坐标序列(x,y,t每个中风数据),时间t以毫秒为单位(43]。Omniglot是一个领域的基准数据集一次性和few-shot学习(40,44- - - - - -49]。我们利用Omniglot数据集作为训练集的60%和40%的这个数据集作为验证集,如图5。


图5
在Omniglot EW-CACTUs-MAML的性能。

根据300年的训练和测试数据集的迭代的深集群Omniglot数据集,验证精度的平均值是97.42%,这表明EW-CACTUs-MAML Omniglot数据集是健壮的。

4.2。竞争力和实用性

的性能CACTUs-MAML Omniglot数据集如图6,包括细节的训练过程和验证过程。根据300年的训练和测试数据集的迭代的深集群Omniglot数据集,验证精度的平均值是97.22%。


图6
在Omniglot CACTUs-MAML的性能。

比较火车损失的动态曲线,训练精度,验证,和验证与EW-CACTUs-MAML CACTUs-MAML图的准确性5,我们认为该模型是与CACTUs-MAML竞争。比较EW-CACTUs-MAML和CACTUs-MAML Omniglot数据集上的性能如表所示1。

表1
实验的结果k为每个分区= 500。

EW-CACTUs-MAML损失确认为0.20578947,小于丧失CACTUs-MAML验证。EW-CACTUs-MAML在验证的准确性为97.42%,高于CACTUs-MAML的准确性的验证。必须指出CACTUs-MAML Omniglot数据集上可以代表一个最具竞争力的模型(50]。因此,这些结果已经证明该模型是有竞争力的和可行的。

4.3。不确定性分析和讨论

我们试图验证模型在另一个典型数据集Miniimagenet EW-CACTUs-MAML,但是这个数据集的大小太大所以电脑来源花了之前完成EW-CACTUs-MAML的性能。因为我们也想验证新方法的可用性在改善其他metalearning系统,然后试图提高另一个竞争metalearning系统CACTUs-ProtoNets [50EW-CACTUs-ProtoNets]。幸运的是,执行替代模型的计算机资源足够Miniimagenet数据集。细节的培训和验证过程CACTUs-ProtoNets和EW-CACTUs-ProtoNets Miniimagenet数据集在图所示7。


图7
EW-CACTUs-ProtoNets和CACTUs-ProtoNets的性能。

必须指出,我们利用Miniimagenet数据集作为训练集的80%和20%的这个数据集的验证集培训/测试EW-CACTUs-ProtoNets CACTUs-ProtoNets,类似与我们的策略培训/测试EW-CACTUs-MAML和CACTUs-MAML。我们显式模型的性能相比EW-CACTUs-ProtoNets和CACTUs-ProtoNets Miniimagenet数据集,如表所示2。

表2
比较EW-CACTUs-ProtoNets的性能和CACTUs-ProtoNets Miniimagenetk为每个分区= 100。

Miniimagenet数据集非常具有挑战性。在Miniimagenet CACTUs-ProtoNets模型已经是最有竞争力的数据集,但验证准确性仍不到50% (50]。低精度验证后没有改善与电子战集成方法。模型的交叉验证,性能EW-CACTUs-ProtoNets Miniimagenet数据集上透露一个挑战在实际应用中复杂的数据集(51- - - - - -54]。电子战的方法可以改善CACTUs-MAML,但不能改善CACTUs-ProtoNets。

一个可能的解释是,CACTUs-MAML是一个基于参数模型,虽然CACTUs-ProtoNets是基于指标模型。一个悬而未决的问题是如何提高性能的CACTUs-ProtoNets Miniimagenet数据集和其他复杂的数据集。尽管Omniglot数据集上的性能的方法意味着实际应用的可行性在光学字符识别(OCR)中,进一步验证其他工程数据集仍然是必要的(55- - - - - -59]。这些应该是下一个研究重点。

5。结论

我们应用few-shot机制建设和完成任务提出一个新方法来优化之前的算法,这是一个竞争metalearning系统。利用熵权法提高典型的网络。传统的梯度下降法是反过来改善,利用典型的网络更新权重基本的学习者。该方法的实现是解释为“基因情报”强调参数的遗传。EW-CACTUs-MAML表明一个健壮的性能的预测,竞争与CACTUs-MAML相提并论。下一个研究重点是进一步提高CACTUs-ProtoNets Miniimagenet数据集和的性能,进一步验证模型更复杂的工程数据集。

数据可用性

所有的数据利用支持理论和模型的研究可从相应的作者。

的利益冲突

作者宣称没有利益冲突有关这篇文章的出版。

确认

这项研究是由中国国家自然科学基金(41571299)和高级工业技术创新基地建设项目(1021 gn204005-a06)。