计算智能和神经科学

PDF
计算智能和神经科学/2020年/文章
特殊的问题

最近的进步自然神经工程算法

把这个特殊的问题

研究文章|开放获取

体积 2020年 |文章的ID 3287589 | https://doi.org/10.1155/2020/3287589

青山她Kang Chen Zhizeng罗Thinh声称Nguyen Yingchun托马斯•波特, 双重标准主动学习为多级脑-机接口”,计算智能和神经科学, 卷。2020年, 文章的ID3287589, 13 页面, 2020年 https://doi.org/10.1155/2020/3287589

双重标准主动学习为多级脑-机接口

客座编辑:爱德华多Rodriguez-Tello
收到了 2019年7月25日
接受 2020年2月11日
发表 2020年3月10

文摘

最近的技术进步使研究人员收集到大量的脑电图(EEG)信号标记和未标记的数据集。是昂贵和费时的收集标签脑电图数据用于脑机接口(BCI)系统,然而。在这篇文章中,提出了一种新颖的主动学习方法以减少标签的数量,与脑电图数据所需的有效的分类器训练,结合不确定性和代表性在一个极端学习机(ELM)。这种方法后,榆树首次使用分类器选择一个相对较大的一批未标记示例,其不确定性测量通过best-versus-second-best (BvSB)策略。然后每个样本的多样性之间的测量标记的训练数据有限,之前选中的未标记样本,和先前选定的样本之间的相似性来衡量。最后,权衡参数引入到控制信息之间的平衡和代表性样本,这些样本用于建立一个强大的榆树分类器。广泛的实验使用基准和多级汽车图像脑电图数据集来评估该方法的有效性。实验结果表明,新算法的性能超过或一些先进的主动学习算法的匹配。从而表明,提出的方法可以提高分类器的性能和减少训练样本在BCI应用程序的必要性。

1。介绍

脑-机接口(bci)系统,允许用户控制外部设备通过观察大脑活动,不依赖周围神经或肌肉活动1]。最常见的和有用的bci构造使用非侵入性大脑活动记录技术,如脑电图(EEG) (2]。而脑电图已成为广泛用于医疗监测、康复,neuroprosthesis,和其他医疗保健应用程序3- - - - - -5),数据采集过程可能会很长,详尽的用户(6]。此外,脑电图信号经常变化的一个实验由于生物和技术原因,包括科目的解剖差异,intersession可变性,注意力漂移的主题(7]。因此,用户必须经常进行长时间的数据收集过程训练合适的BCI系统。这给患者带来了高昂的负担瘫痪或严重受伤的中枢神经系统,使其治疗应用的一个主要障碍。因此,至关重要的BCI系统开发实现高效和健壮的性能和尽可能少的样本。

一种方法,有效地应用到训练集有限的情况下主动学习(AL)的引入BCI校准过程。AL查询信息的类标签样本中未标记样本空间最大化的效率学习模型,及其应用大大减少训练样本的复杂性没有任何明显的分类精度损失(8]。从本质上说,半岛是一个迭代的采样和标签的过程。在每次迭代中,艾尔提取样本或批样品最有价值的改善当前分类模型的无标号数据池,然后这些样品是手工标记。AL方法的最大的挑战是确定最丰富的样品,这样可以实现最大的预测精度。大量的样本选择标准,然后被应用到这个任务,包括(1)query-by-committee (QBC),使用几个不同的分类器和选定的样品标签预测的最大的区别不同的分类器(9- - - - - -11];(2)利润不确定性抽样,样本选择根据基于各自的距离的最大不确定性的分类边界(12,13];(3)最大熵取样,使用熵作为衡量不确定性通过概率建模(14,15];(4)多样性采样,更喜欢选择代表性样本(16]。

在过去的几十年里,许多监督学习模型作为基线分类器,包括线性判别分析(LDA) (12,17),支持向量机(SVM) [18,19),人工神经网络(ANN) [20.),和极端学习机(ELM) [21,22]。其中,榆树显示一个高的学习速度和良好的普遍性初步测试。此外,它可以直接应用于两级和多级分类。到目前为止,很少有研究试图AL算法引入到榆树框架,尽管这些显示方法和积极的支持向量机(竞争13,14,23]。具体来说,Yu et al。13)提出了一个名为AL-ELM的主动学习方法的目的,节约培训时间,,结果显示一个分类的性能与AL-SVM [18]。张和Er (23]介绍了SEAL-ELM方法相结合的在线连续榆树(OS-ELM),收益率更高的分类精度比离线AL和SVM的组合在大多数测试数据集。遗憾的是,这些现有的活跃榆树只考虑单查询策略,为改善留出了空间。直观的下一步是然后介绍多个查询策略来选择理想的样品。事实上,研究人员试图结合两种策略在阿尔基分类器支持向量机,每次执行比单查询的同行(24- - - - - -26]。然而,目前很少有主动学习的实现与榆树探索和申请汽车图像- (MI)基于BCI系统(8,13]。

目前调查打算填补这一空缺通过两种查询AL算法结合榆树在BCI应用程序和测试方法。一个定义良好的、通用的框架主动学习从而发达的方式占信息量和代表性兼职情况。首先,采用不确定性抽样策略选择一个相对大量样本中使用基本的榆树分类器。之间的多样性程度,标记的训练数据和先前选中,然后评估未标记样本,连同未标记样本之间的相似度。最后,高度信息化和代表性样本用于更新榆树分类器通过引入权衡参数。然后测试方法在几个基准数据集,以及一个多级MI脑电图数据集从BCI竞争第四集2 a。结果表明,新方法的性能优于现有的方法。

现有ELM-based主动学习算法相比,新方法有几个值得注意的方面:(1)考虑到使用一个不确定性的策略可能不充分利用丰富的信息与未标记数据,AL-ELM算法扩展到结合两种查询策略(不确定性和多样性)为了选择最有价值的样本标记脑电图数据池。(2)该算法提供了一个简单的和有意义的方式来衡量代表性,分析两种相似:查询样本之间的相似性和标签数据集,以及任何两种可能的查询样本之间的相似性。使用这个修改多样性策略可以帮助隔离高度代表样本在主动学习的过程。

2。背景知识

2.1。主动学习

主动学习方法通常包括五个基本组成部分: , , , , 有限制的标签数据集, 的池/实例,包含丰富的未标记样本实例, 是训练的分类模型 , 是一个查询的策略来选择最有价值的实例 , 是一个人类注释器标签正确选择的实例。半岛是一个迭代的过程,逐渐增加了最重要的样品,进行查询 和标签 , 更新分类模型 迭代AL过程将继续以这种方式直到一个预定义的标准是满足。能够识别一个优秀的分类模型 和一个有效的查询策略 是高度重要的主动学习算法。

根据查询样品的数量在每个迭代中,艾尔可分为两类:基于流和艾尔pool-based。在基于流的,学习者只能访问一个样本每个迭代,而pool-based AL允许学习者选择一批样品在每个迭代。调整查询样本的选择方法和数量然后创建不同的算法,比如QBC战略,战略的不确定性和多样性策略。

2.2。基本的榆树

Single-hidden-layer前馈神经网络(SLFNs)能够通用近似21]。考虑一个数据集包含 训练样本, ,与输入 和对应的期望输出值 ,在哪里 代表各自的维度和 代表一个转置操作。假设 是隐藏的神经元的数量,输出的函数SLFNs数学建模为吗 在哪里 是连接的权向量th隐藏神经元输出神经元, 是一个随机选择的输入连接权向量th隐藏神经元输入神经元, 是一个随机选择的偏见th隐藏节点 是激活函数,它可以是任何非线性分段连续函数(如乙状结肠函数或高斯函数)。

为了方便起见,方程(1)可以重写在矩阵表示法 在哪里 是将网络输出, 表示输出层的重量 是隐层输出矩阵的定义是

与SLFNs要求调整参数隐藏的神经元在训练期间,榆树采用随机生成的隐层参数和tuning-free培训策略22]。即使这些随机隐藏节点参数,榆树维护SLFNs[的万能逼近能力21]。然后榆树培训旨在找到合适的网络参数近似误差降到最低 为了达到更好的泛化性能,正则化参数 介绍了(27),其对应的目标函数给出 在哪里 表示 - - - - - -规范矩阵或向量。我们可以获得输出权向量 使用Moore-Penrose原则。方程解(4)然后 如果 , 如果

3所示。D-AL-ELM方法

在本节中,我们提出一个新颖的主动学习算法,D-AL-ELM,包含不确定性和多样性策略为连续的步骤。这确定了最有价值的,翔实的实例,然后可以选择更新基线分类器榆树在每个学习圆的。

3.1。有识别力的信息标准的不确定性

不确定性的标准是用来测量每个样本的信息量。沿边界的不确定样本不同的类携带更多的信息和建设发挥更重要作用的分类器。在这个实现中,best-versus-second-best (BvSB)策略是用来估计每个样本的不确定性。BvSB策略是基于后验概率的计算,认为这两个类之间的概率值的差异估计概率最高的(28]。榆树的输出近似后验概率的不同的类(13]。要做到这一点,一个s形的函数是用来构建一个映射关系的实际输出榆树和后验概率,这是形容 在哪里 表示的实际输出 输出节点对应的实例 在实践中,方程(5)只应用于两级问题,这样转换后验概率之和的实例 总是1。然而,应用程序在多类问题可能创建一个总结后距离超过1,所以概率是规范化使用以下公式计算: 在哪里 是原始的概率 类。

基于上述参数,为每个样本BvSB策略 可以表示为 在哪里 最大和第二大的后验概率 ,分别。应该注意的是, 值是逆相关不确定性的数量在一个示例中,使用较小的值表明更大的不确定性。

3.2。多样性代表信息的标准

冗余或过于相似样本的选择是没什么用的试图构建一个健壮的分类器。因此有必要使用多样性的标准选择一批样品在本质上是不同的。一个可行的方法测量不确定样本的多样性是余弦角距离。这种方法后,两个样本之间的相似性 是由

我们可以看到从方程(8),相似性 两个样本之间的 很小,如果这两个样本相互远离,反之亦然。

假设一批样品 如果该值的 很小,那么新样品吗 不同样品的吗 一个新的样本之间的相似性 被定义为

注意,一个更小的 值意味着更多的多样性

为了避免选择高度冗余样本,一个新颖的多样性则被定义为组合查询样本之间的相似性和标记集,以及任意两个候选人之间的相似性查询样品在同一时间。这个计算是由 在哪里 表示样本之间的多样性 和候选人 (除了 ), 表示样本之间的多样性 和标记训练集

3.3。提出D-AL-ELM算法

BvSB抽样法是一种非常有效的样本选择主动学习的策略。不幸的是,BvSB也可以选择一些不确定样本含有高度冗余信息,降低了分类的信息。为了解决这个问题,最优样本选择分类。理想的样本分类器不仅能提供重要的信息也显示多样性从候选标记集和少量的冗余标签集。

D-AL-ELM算法的每次迭代的具体步骤如下:步骤1:采用BvSB策略选择 最不确定的样本标记样品池 第二步:让 代表最不确定的样本,用 , 是含有一个子集 样品选自 两个然后要进行评估,其中包括标记集的多样性 和候选人 ,和相似的样品 第三步:结合区别的、有代表性的部分,下面的配方选择获得 样品是不确定的和互相不同: 在哪里 是一个权衡参数,可以平衡信息量和代表性的标准,然后呢 是标记训练集。 表示未标记样本将注释,并列入标记的训练数据集更新榆树分类器。

该方法的实现算法进行了总结1

输入: 标签样本, 未标记样本 ,权衡参数( ),样品的数量选择的基础上他们的不确定性( ),批处理大小( ),和终止条件。
输出:最终学会了榆树分类器。
(1) 使用标记集训练榆树分类器
(2) 重复
(3) 计算样本的概率估计 根据方程(pretrained榆树的分类器5)或(6)。
(4) 计算每个样本的不确定性水平 使用方程(7)。
(5) 包括 最不确定的样本集
(6) 选择 样本 使用方程(11)。
(7) 标签被选中 样本。
(8) 更新标签设置 和标记
(9) 使用扩展的设置 培养一个新的榆树分类器。
(10) 直到满足终止条件。
(11) 返回最后学会了榆树分类器的输出。

为了定量评估质量的每一个学习算法,学习曲线下的面积(ALC) [13)计算性能指标,这是形容 在哪里 表示数量的迭代和学习 表示的分类精度th学习,这样 它指出,酒精度值越大,学习算法的性能越好。

4所示。实验结果和讨论

在本节中,几个实验进行基准数据集和多级MI脑电图数据集评估的性能提出D-AL-ELM方法,相比与其他先进的方法,包括基于被动学习榆树,AL-ELM [13),和entropy-based榆树14]。所有方法都是在电脑上使用MATLAB实现2014 b环境2.5 GHz处理器和4.0 GB RAM。

4.1。基准数据集上实验
以下4.4.1。基准数据集的描述

进行了一系列的实验来评估D-AL-ELM算法9日基准数据集从龙骨数据集29日)和UCI数据集存储库(30.]。数据集包括二进制和多类分类问题。在[13),每个原始数据集分为三个部分:一个小的初始标记集,大量未标记集,和一个测试。测试实例占样本总数的50%,而最初的百分比标记的实例被分配根据原始数据集的大小和类别的数量。关于这些数据集提出了表的详细信息1


数据集 的数量 比例的初始标注实例(%) 初始标记实例的百分比(%) 测试实例的百分比(%)
特性 实例

7 345年 2 10 40 50
糖尿病 8 768年 2 10 40 50
Wdbc 30. 569年 2 10 40 50
Twonorm 20. 7400年 2 1 49 50
由这些 4 160年 3 10 40 50
虹膜 4 150年 3 10 40 50
13 178年 3 10 40 50
19 2310年 7 10 40 50
16 20000年 26 1 49 50

4.1.2。算法相比,参数设置,以及性能指标

在我们的实验中,我们比较了该方法与其他先进的学习算法,包括以下:(1)PL-ELM:一个被动的学习算法,随机选择的一些实例标记设置为初始分类器训练(2)AL-ELM:批处理模式基于榆树的主动学习方法,使用保证金抽样策略选择最不确定的例子标记(13](3)ELM-Entropy:查询有识别力的样品通过熵措施(14]

在这项研究中,采用的榆树乙状结肠函数作为激活函数隐藏的水平。网格搜索基于十倍交叉验证被用来找到隐藏节点的最优数量 在最初的标签集。正则化参数 ,分析(厕所)采用基于最小交叉验证策略 寻找最优参数值(31日]。最优参数 确定从 在所有的数据集除了信数据集,其中参数 中搜索 此外,权衡参数 对方程(10)是由网格搜索时 通过上述方法都是固定的。应该注意的是,榆树参数选择过程中实现对所有四种方法相同的方式。

参数的详细信息如表所示2。应该注意的是,正则化参数 是自动识别使用厕所交叉验证和没有固定在学习过程中(因此,表中没有显示2)。


数据集 D-AL-ELM AL-ELM ELM-Entropy PL-ELM

110年 0.1 110年 110年 110年
糖尿病 110年 0.3 110年 110年 110年
Wdbc 200年 0.1 200年 200年 200年
Twonorm 120年 0.1 120年 120年 120年
由这些 One hundred. 0.3 One hundred. One hundred. One hundred.
虹膜 170年 0.9 170年 170年 170年
60 0.7 60 60 60
200年 0.6 200年 200年 200年
700年 0.4 700年 700年 700年

采用批处理模式添加新标签实例。对于拟议中的D-AL-ELM方法, 从无标号集样本首先选择使用方程(7),然后 样本的选择 样品使用方程(11)和添加到标记设置为每个迭代。在这个实验中, 是根据经验设置为 是总数的5%实例的原始标记为8 9数据集(字母除外)。信数据集, 是总数的1%在原始标记集和实例 被设置为 这些参数是选择降低标签成本,考虑原始数据集的大小和类别的数量。

提供一个公平的比较,所有四个方法查询 在每个迭代中实例。对于每个数据集,过程停止时,预测精度稳定或所选样本的数量大于80%的原始标记集。此外,以确保实验结果的有效性,十在每个经营为每个学习方法进行实验,并计算平均结果。

4.1.3。比较与相关先进的算法

1显示了分类器分类精度的趋势训练时,越来越多的数据点在不同的数据集。D-AL-ELM提出的结果表明,该算法取得了最高的四个方法准确性的大部分数据集(除了酒和虹膜数据集)在最后一轮学习。具体来说,该方法执行比其余三种方法在大多数主动学习期间Twonorm,由这些,信数据集。此外,D-AL-ELM取得最快的学习速率的头几个迭代学习过程对于大多数数据集。这一现象表明,新方法以有效识别信息最丰富的、有代表性的样本,与其他算法。此外,ELM-Entropy多级分类方法通常会产生较低的精度,未能超越PL-ELM葡萄酒,由这些,虹膜,信数据集。另一个有趣的观察是,性能会降低在一定区间段的数据集。认为部分数据集可能更不规则的数据结构,混淆BvSB策略和恶化的结果。在这样的情况下,一个更适应停止准则应该旨在阻止一个更合适的正确的时间的学习计划,在产量降低。

3礼物的平均分类精度的四个9在学习过程中数据集的方法。酒精度值四个方法进一步对比表4。结果显示在表中34表明D-AL-ELM方法取得了最佳的性能在所有数据集的测试方法。在[13],酒精度度量不仅学习速度有关,也有密切的关系,学习模型的质量。拟议中的D-AL-ELM优于其他方法的酒精度,AL-ELM执行第二最好,精度接近D-AL-ELM Wdbc和部分数据集。Wdbc数据集,尽管该方法比AL-ELM酒精度值略高,两种算法得出了相同的意思是整个学习过程的准确性。


数据集 D-AL-ELM AL-ELM ELM-Entropy PL-ELM

67.59 67.46 67.14 66.14
糖尿病 76.31 76.13 76.12 74.60
Wdbc 96.18 96.18 96.11 94.69
Twonorm 97.38 97.25 97.25 97.13
96.08 95.72 95.64 95.79
由这些 59.43 56.23 54.03 56.56
虹膜 96.65 96.43 94.44 95.58
89.26 89.17 88.06 87.63
82.89 81.67 67.09 75.76


数据集 D-AL-ELM AL-ELM ELM-Entropy PL-ELM

0.7624 0.7610 0.7572 0.7447
糖尿病 0.7640 0.7624 0.7622 0.7469
Wdbc 0.9624 0.9623 0.9616 0.9474
Twonorm 0.9742 0.9729 0.9729 0.9715
0.9622 0.9584 0.9573 0.9584
由这些 0.5959 0.5622 0.5395 0.5663
虹膜 0.9676 0.9655 0.9450 0.9563
0.8939 0.8929 0.8812 0.8766
0.8330 0.8204 0.6718 0.7606

最后,表5报告的平均时间为每个算法的学习阶段在所有的数据集。正如所料,PL-ELM是最快的方法,因为它没有任何标准样本的评价。拟议中的D-AL-ELM所需的学习时间略高于AL-ELM ELM-Entropy,因为它计算信息量和代表性的每个实例。考虑到分类性能的改进,这额外的时间也可以被认为是一个可以接受的折衷。


数据集 D-AL-ELM AL-ELM ELM-Entropy PL-ELM

0.9141 0.7531 0.7719 0.7453
糖尿病 1.2031 1.0438 1.0060 0.9719
Wdbc 1.3484 1.2500 1.2828 1.2234
Twonorm 7.9813 5.3047 5.5875 4.8844
0.5391 0.4625 0.4625 0.4391
由这些 0.5109 0.4516 0.4594 0.4203
虹膜 0.5250 0.4469 0.4856 0.4313
3.6578 3.3906 3312年 3.3250
121.8047 115.5203 123.0641 111.4641

4.1.4。分析不同批量大小的影响值

在这个实验中,提出了主动学习方法的性能进一步评估使用不同批量大小(例如, 值)。

新方法进行了测试与不同的查询大小不同的值 ,分别。剩下的实验设置是一样的在早期的实验和测试进行了两个基准数据集:虹膜和葡萄酒。的 参数设置为 观察性能与不同批量大小。结果报道在数字23。在图2, 是固定在总数的5%的实例在原始标记集和 从一组候选人选择吗 在图3, 在的价值是固定的吗 选择从 从图可以看出2学习速率的曲线上升更高 值。表现在虹膜并不敏感 价值足够的实例查询时,和学习曲线查询号码和时往往是相似的 值大。相比之下,葡萄酒数据集上的性能也更敏感 这可能是由于葡萄酒数据集有一个更复杂的分布,这是难以捕捉。虽然D-AL-ELM执行不同的两个数据集,相对更大 值都能够获得良好的性能。另一方面,这增加 值会导致更大的计算负担。图3显示不同的值的影响 虹膜和葡萄酒数据集。从这个,这是观察到收敛与小可以更容易地实现 值。另外,当 很大,可以学到更多的实例在每个迭代和总迭代的数量大大减少,尽管这性能提高不提供准确性明显提高。总之,优化 D-AL-ELM值不是至关重要的,因为大多数的价值观产生类似的结果。然而,值得注意的是,大 一般建议。

4.2。实验多级MI脑电图数据
4.2.1。准备脑电图数据集的描述

本节进一步评估的性能提出了多级D-AL-ELM方法MI BCI的脑电图数据竞争第四集2 (32]。这个数据集包括脑电图信号9受试者执行4任务,包括左手,右手,脚,和舌头MI。使用22电极EEG信号记录。每个主题进行了训练和测试会话,每个组成的288次试验(共有576个试验在两个交易日)。

4.2.2。实验设置和参数设置

数据预处理最初原始的脑电图数据上执行。对于每一个试验,提取特征从段持续时间从0.5秒到2.5秒后提示指示执行MI。每个审判第一次带通使用5次巴特沃斯滤波器过滤从8-30赫兹。接下来,EEG信号的维数降低一个24-dimension特性集使用one-versus-rest常见的空间模式(OVR-CSP)算法(33),这是一个有效的和受欢迎的特征提取方法脑电图multiclassification计算功能,区分每个类从剩下的课程。最后,提取的特性OVR-CSP歧视使用不同的分类方法。

最优的选择 , , 参数小节中描述的相同的方式执行4.1。2。隐藏节点的数量 搜索在 对于每一个主题,第一个400次试验被认为是作为训练集,而其余176试验被用作独立测试集11]。的值 被设定在 最后,实验包括十运行每个学习方法的平均结果计算。

4.2.3。与相关算法的比较

4说明了分类精度的趋势线方法应用于不同的测试数据集时,在桌子上6列出了平均分类精度的四个方法在学习过程中。表7然后提供酒精度的结果,而表8显示的平均运行时间(s)学习阶段。


数据集 D-AL-ELM AL-ELM ELM-Entropy PL-ELM

S1 83.78 83.64 83.32 83.76
S2 53.91 52.50 52.33 54.55
S3 85.66 86.06 85.57 84.39
S4 65.32 63.48 62.94 64.95
S5 49.06 48.90 47.79 48.00
S6 54.31 53.96 52.97 52.36
S7 83.15 83.34 82.45 81.96
S8 83.46 83.56 83.34 81.71
S9 83.57 82.80 82.39 82.91
的意思是 71.36 70.92 70.34 70.51


数据集 D-AL-ELM AL-ELM ELM-Entropy PL-ELM

S1 81.22 0.8109 0.8076 81.21
S2 0.5238 0.5100 0.5085 0.5296
S3 0.8302 0.8340 0.8291 0.8177
S4 0.6340 0.6159 0.6105 0.6308
S5 0.4764 0.4749 0.4638 0.4662
S6 0.5276 0.5241 0.5144 0.5088
S7 0.8066 0.8085 0.7996 0.7952
S8 0.8090 0.8100 0.8079 0.7923
S9 0.8103 0.8032 0.7992 0.8042


数据集 D-AL-ELM AL-ELM ELM-Entropy PL-ELM

S1 1.7266 1.4625 1.4594 1.4172
S2 2.5125 2.2813 2.3859 2.2469
S3 1.7219 1.4859 1.4578 1.4234
S4 2.0719 1.7891 1.8328 1.8125
S5 2.0781 1.8281 1.8141 1.7719
S6 1.7609 1.4594 1.4094 1.3609
S7 2.4188 2.1969 2.1734 2.1641
S8 1.5562 1.3375 1.3609 1.3078
S9 1.2906 0.9484 0.9563 0.8906
的意思是 1.9042 1.6432 1.6500 1.5995

D-AL-ELM方法的结果表明,性能相当的AL-ELM优于ELM-Entropy和PL-ELM算法对所有主题(主题2 PL-ELM除外)。具体来说,该方法超越了AL-ELM方法在6 9主题(1、2、4、5、6、9)酒精度度量。所有9个科目,D-AL-ELM方法取得了平均准确率为71.36%,高于AL-ELM (70.92%)、ELM-Entropy(70.34%),和PL-ELM (70.51%)。这些结果证明的有效性D-AL-ELM在选择信息和从无标号脑电图样本代表性实例。此外,它们显示,该方法可以校准MI EEG信号的有效分类器不需要大量的训练样本的标签。

为了比较,表8还提供了每个学习算法的平均运行时间。虽然D-AL-ELM表现出比其他三种方法训练时间稍微长一点,这可能被视为一个有价值的权衡D-AL-ELM改善分类性能。

4.3。讨论

在这些实验中,提出了D-AL-ELM方法表现出优良的性能在分类精度和计算效率,在几个基准数据集和一个实验性的MI脑电图数据集。基于一个被动的学习相比,榆树,D-AL-ELM达到提高性能通过有效地提取最有价值的未标记样本。D-AL-ELM也优于AL-ELM和ELM-Entropy算法,都采用单查询策略。改进被认为在所有九节的数据集4.1,证明D-AL-ELM促进学习的整体性能的能力相结合的不确定性和多样性策略更新分类器时所选择的样本。在计算效率方面,D-AL-ELM轻微增加培训时间,PL-ELM相比,AL-ELM, ELM-Entropy,在实践中是微不足道的,尤其是当考虑到提高分类精度。实验结果表明,该算法可以有效和全面衡量样本的代表性。同时,该方法还衡量的个别例子,有助于提高分类器的性能。结合这些因素,可以选择合适的实例来分类器结构。

最后,D-AL-ELM所示其应用的有效性实验从BCI多级MI任务竞争第四集2 a。由于低信噪比的脑电图数据,应用算法难以产生足够的结果。因此,hand-designed特性首次从原料中提取使用OVR-CSP脑电图数据的方法,和不同的算法被用于进一步提取标记样品和校准一个健壮的分类器。受试者S1、S3 S7、S8和S9 D-AL-ELM产生一个可接受平均分类精度高80%以上的整个学习过程。不幸的是,所有测试方法在主题S5表现得更差。该算法仅能达到49.06%的准确率,但仍不够,应用中排名最高的方法。

5。结论

在本文中,一种新颖的主动学习方法与榆树,D-AL-ELM, multiclassification发达。这个新算法结合了不确定性和多样性策略,有效减少了手动获取带安全标签的数据时的费用和时间成本。为每个示例中,该算法采用BvSB策略测量信息量和余弦角距离测量的多样性。修改后的多样性度量之间的多样性不仅估计标签的训练数据和先前选定的标记样本有限,而且计算之前选定的样本之间的相似性。实验结果从几个基准数据集和多级MI脑电图数据从BCI竞争第四2数据集被用来验证D-AL-ELM提出算法的有效性。这些结果表明,该算法的性能比,或者至少与其他受欢迎的主动学习方法。未来的工作将致力于制定D-AL-ELM(在线学习23,34]。此外,一种自适应的停止标准可能适用于促进D-AL-ELM的效率和改善其能力MI EEG信号的分类和评价。

数据可用性

BCI竞争第四集2使用在我们的研究中,这是公开通过以下链接:http://www.bbci.de/competition/iv/

的利益冲突

作者宣称没有利益冲突有关这篇文章的出版。

确认

这项工作得到了国家自然科学基金(61871427和61871427号)。作者要感谢BCI竞争第四集2用来测试算法提出了研究。

引用

  1. f .乐天l . Bougrain A Cichocki et al .,“因为它使得基于脑电图分类算法的评估脑-机接口:10年更新”《神经工程,15卷,不。3,p。031005年,2018年。视图:出版商的网站|谷歌学术搜索
  2. p . Gonzalez-Navarro m . Moghadamfalahi m . Akcakaya, d . Erdogmus“时空EEG脑模型接口,”信号处理卷,131年,第343 - 333页,2017年。视图:出版商的网站|谷歌学术搜索
  3. 因为它使得基于脑电图k . k . Ang和c .关”策略来检测运动图像控制和康复,”IEEE神经系统和康复工程,25卷,不。4、392 - 401年,2017页。视图:出版商的网站|谷歌学术搜索
  4. r·张y, y燕et al .,“控制轮椅在一个室内环境中基于脑机接口和自动导航,”IEEE神经系统和康复工程,24卷,不。1,第139 - 128页,2016。视图:出版商的网站|谷歌学术搜索
  5. 问:她,h·甘马y . et al .,“尺度信号在低维子空间识别:运动图像分类任务,”神经可塑性卷,2016篇文章ID 7431012, p . 2016。视图:出版商的网站|谷歌学术搜索
  6. 黄r·李·t·波特,w . et al .,“提高性能的混合EEG-fNIRS系统使用通道选择和早期的时间特性,”人类神经科学前沿p . 462,卷。11日,2017年。视图:出版商的网站|谷歌学术搜索
  7. p .白肢野牛,r . b . Pachori h . Wang和g·普拉萨德,”因为它使得基于脑电图多BCI分类使用基于多元经验模态分解的过滤和黎曼几何,”专家系统与应用程序,卷95,不。1,第211 - 201页,2018。视图:出版商的网站|谷歌学术搜索
  8. j·李和张l .”,积极培训范式汽车图像BCI,”大脑研究实验,卷219,不。2、245 - 254年,2012页。视图:出版商的网站|谷歌学术搜索
  9. y Freund, h . s . Seung e·沙米尔和n . Tishby“选择性抽样由委员会使用查询算法,”机器学习,28卷,不。2/3,133 - 168年,1997页。视图:出版商的网站|谷歌学术搜索
  10. 美国凯·e·德尔卡斯蒂略,g .响”Query-by-committee批主动学习,改进与多样性和密度”信息科学卷,454 - 455,401 - 418年,2018页。视图:出版商的网站|谷歌学术搜索
  11. 吴诉Lawhern, d . Slayback d . et al .,“有效的标签EEG信号的工件使用主动学习,”学报IEEE国际会议系统,人,控制论九龙,页3217 - 3222年,中国,2015年10月。视图:出版商的网站|谷歌学术搜索
  12. j·m·陈x Tan Gan et al .,问:“一个批处理模式基于最近的主动学习方法班级的平均距离(协会)多级脑-机接口,“纤维生物工程和信息学杂志》上,7卷,不。4、627 - 636年,2014页。视图:谷歌学术搜索
  13. c . h . Yu太阳,w·杨,杨x, x左,“AL-ELM:一个uncertainty-based主动学习算法使用极端的学习机器,”Neurocomputing卷,166年,第150 - 140页,2015年。视图:出版商的网站|谷歌学术搜索
  14. r·王邝,问:江et al .,“基于单隐层前馈神经网络,主动学习”学报IEEE国际会议系统,人,控制论九龙,页2158 - 2163年,中国,2015年10月。视图:出版商的网站|谷歌学术搜索
  15. z邱、d·j·米勒和g . Kesidis”一个最大熵semisupervised框架和主动学习未知和label-scarce类,“IEEE神经网络和学习系统,28卷,不。4、917 - 933年,2017页。视图:出版商的网站|谷歌学术搜索
  16. w·r·将z . Wang粉丝,戴维森,s . Panchanathan j .你们,”批处理模式主动采样基于边际概率分布匹配,”ACM交易数据的知识发现,7卷,不。3、1 - 25,2013页。视图:出版商的网站|谷歌学术搜索
  17. h·易卜拉欣,k阿巴斯h Imali et al .,“多级信息实例转移学习框架运动想象脑机接口,“计算智能和神经科学卷,2018篇文章ID 6323414, 12页,2018。视图:出版商的网站|谷歌学术搜索
  18. 美国通和d·科勒”,支持向量机主动学习与应用程序文本分类,“机器学习研究杂志》上,卷2,不。2001年11月,页45 - 66。视图:谷歌学术搜索
  19. c·h·海下,r·金j .朱和m . r .律”Semisupervised SVM批处理模式主动学习与应用程序图像检索,“ACM交易信息系统,27卷,不。3、1至29,2009页。视图:出版商的网站|谷歌学术搜索
  20. 张问:美国太阳,“多视图multiple-learner主动学习”,模式识别,43卷,不。9日,第3119 - 3113页,2010年。视图:出版商的网站|谷歌学术搜索
  21. G.-B。黄徐瑞秋朱,C.-K。萧”,极端的学习机器:理论和应用程序”,Neurocomputing,卷70,不。1 - 3、489 - 501年,2006页。视图:出版商的网站|谷歌学术搜索
  22. g .黄G.-B。黄、美国歌曲和k .你,”趋势在极端的学习机器:审查。”神经网络卷。61年,32-48,2015页。视图:出版商的网站|谷歌学术搜索
  23. 张y和m . j .呃,“连续的主动学习使用元认知极端的学习机器,”Neurocomputing,卷173,不。P3, 835 - 844年,2016页。视图:出版商的网站|谷歌学术搜索
  24. l·b·杜z Wang Zhang et al .,“主动学习探索代表性和信息量,”IEEE控制论卷,47号1、14日至26日,2017页。视图:出版商的网站|谷歌学术搜索
  25. y Gu s . c .赵,z,“主动学习相结合的不确定性和多样性的多层次图像分类,“专业计算机视觉,9卷,不。3、400 - 407年,2015页。视图:出版商的网站|谷歌学术搜索
  26. S.-J。黄r·金和Z.-H。周”,主动学习通过查询信息,代表的例子。”IEEE模式分析与机器智能,36卷,不。10日,1936 - 1949年,2014页。视图:出版商的网站|谷歌学术搜索
  27. 黄g . b . h .周x丁et al .,“回归和多级分类,极端的学习机器”IEEE系统&控制论B部分人,42卷,不。2、513 - 529年,2012页。视图:谷歌学术搜索
  28. a·j·乔希,f . Porikli和n . p . Papanikolopoulos“多级图像分类可伸缩的主动学习,”IEEE模式分析与机器智能,34卷,不。11日,第2273 - 2259页,2012年。视图:出版商的网站|谷歌学术搜索
  29. j . Alcala-Fdez a·费尔南德斯j . Luengo et al .,“龙骨数据挖掘软件工具:数据集中存储库,集成的算法和实验分析框架中,“《多元逻辑与软计算,17卷,第287 - 255页,2011年。视图:谷歌学术搜索
  30. d . Dua和大肠。卡拉TaniskidouUCI机器学习库,2017,http://archive.ics.uci.edu/ml/
  31. j .曹张k、m .罗c .阴和x赖,“极端学习机和自适应稀疏表示的图像分类,“神经网络卷,81年,第102 - 91页,2016年。视图:出版商的网站|谷歌学术搜索
  32. m . Tangermann k·r·穆勒a Aertsen et al .,“回顾BCI竞争第四,”神经科学前沿》第六卷,55岁,2012 p。视图:出版商的网站|谷歌学术搜索
  33. m·孟j .朱问:她et al .,“两级特征提取方法,多层次运动图像脑电图,”《自动化学报》,42卷,不。12日,第1922 - 1915页,2016年。视图:谷歌学术搜索
  34. j·s·Lim, s .李和h . s .彭日成“低复杂度自适应遗忘因子对在线连续极端学习机(OS-ELM)应用程序的非平稳系统估计,“神经计算与应用,22卷,不。3 - 4、569 - 576年,2013页。视图:出版商的网站|谷歌学术搜索

版权©2020青山等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。


更多相关文章

PDF 下载引用 引用
下载其他格式更多的
订单打印副本订单
的观点378年
下载563年
引用

相关文章

文章奖:2020年杰出的研究贡献,选择由我们的首席编辑。获奖的文章阅读