文摘
运动图像分类(MI)脑电图(EEG)起着至关重要的作用在脑-机接口(BCI)系统。最近的研究表明,非线性分类算法比线性同行表现更好,但他们中的大多数不能提取足够的重要信息导致低效率的分类。在本文中,我们提出一个新颖的方法称为FDDL-ELM,相结合的辨别力极端学习机(ELM)重建的稀疏表示能力。首先,采用常见的空间模式(CSP)算法对原始脑电数据进行空间滤波增强任务相关的神经活动。其次,费舍尔歧视标准是用来学习结构化字典和获得稀疏编码系数从过滤数据,然后使用这些歧视系数获得重建特性表征。最后,非线性分类器榆树是用来确定这些特性在不同的任务。该方法评估双阶级数据集IVa和III a BCI竞争第三和第四四级数据集花絮BCI的竞争。实验结果表明,我们的方法比其他现有的算法和实现更高的性能取得了80.68%的精度,87.54%,和63.76%在所有科目在上述三个数据集,分别。
1。介绍
脑机接口(BCI)是一个系统,允许用户使用他们的大脑活动来控制外部设备,独立于周围神经和肌肉1,2]。基于运动图像(MI)感觉运动节奏鼻中隔黏膜下切除术后()的分析,包括μ(8 - 14 Hz)和/或β(15 - 30 Hz)节奏,记录从头皮感觉运动皮层,是一种广泛使用的方法在BCI领域(3,4]。然而,这些MI信号非常不稳定和不可避免的含有噪声,与此同时,他们强烈地依赖于对象(5]。
稀疏表示(SR)最初提出的Olshausen et al。6),试图模拟初级视觉皮层的工作机制在人类视觉系统。基本思想是将数据表示为原子的线性组合在一个字典,要求是系数是稀疏的,即。,他们只包含少量的非零元素。在过去的二十年里,SR重建已被广泛研究,表征,和压缩的高维数据,如计算机视觉,模式识别,生物信息学7- - - - - -9]。最近,SR技术也取得了有前景的结果在BCI系统(10- - - - - -15]。老虽然是一个强大的工具来重建原件从嘈杂的和不完美的数据,使用原始训练样本作为字典可能不会充分利用歧视信息隐藏在训练样本。为了解决这一问题,杨et al。16]提出了费舍尔歧视字典学习(FDDL)框架学习结构化字典和有良好的重建能力的训练样本,收益率3.2%改进稀疏表示分类(SRC)算法在人脸识别的基于“增大化现实”技术的数据集。
最近,黄等人开发了一种新的高效学习算法称为极端学习机(ELM) [17,18]训练单层前馈神经网络(SLFNs),具有更快的学习速度和更好的泛化能力相比,著名的反向传播(BP)神经网络和支持向量机(svm)。榆树被应用到模式识别任务的BCI系统和显示性能优越在传统分类方法(19- - - - - -22]。根据这个进步,努力发展中算法集成了榆树和SR,因此利用速度优势和区别的榆树和老的抗噪性能和重建能力最近的方法称为极端稀疏学习(ESL)已经提出了23),同时学习输入信号的稀疏表示和火车的榆树分类器。在这项研究中,Yu et al。24),采用稀疏编码技术的输入映射到隐层,而不是随机映射中使用的典型的榆树。其他ELM-SR混合模型也进行了广泛的研究,在榆树分类器是首先用来估计噪声信号,然后进一步估计信号识别是进行使用SRC算法(25- - - - - -27]。
大多数现有的榆树方法采用单隐层网络结构。而受益于一个相对训练速度快,众所周知,一个隐层网络,训练样本总是原训练样本集,这可能会限制网络的鲁棒性。此外,由于其浅架构,功能学习使用SLFNs可能不是有效的天然信号(例如,EEG)。将一个更深层次的网络结构,hierarchical-extreme学习机器(H-ELM)方法最近被开发出来,允许layer-wise架构设计,显示产生伟大的分类性能28]。此外,多层结构一直延续到榆树(29日,30.]。受这些作品的启发,我们提出一个新的layer-wise结构框架称为FDDL-ELM,老的想法相结合,榆树学习强大的非线性分类器。该方法首先采用Fisher判别准则学习结构化字典。学习字典,更有识别力的稀疏编码系数可以得到,更健壮的特性信息可以提取。随后,榆树分类器是用来辨别提取的特征。分类精度的方法体现了几个基准数据集,以及双阶级和四级现实世界脑电图数据从BCI竞争第三集IVa III a和BCI竞争第四集花絮。
剩下的纸是组织如下:部分2提出了简要介绍基本的榆树和FDDL并提供建议FDDL-ELM算法的详细描述。部分3评估的性能FDDL-ELM方法通过一系列实验几个基准数据集,以及运动图像EEG数据集。最后,我们将总结一些未来的工作部分的纸和礼物4。
2。方法
2.1。经典的榆树
榆树最初实现的单隐层前馈神经网络,然后扩展到推广前馈网络。通过使用随机隐藏节点参数和tuning-free策略,榆树有一些显著的优点,如容易实现,学习速度快,泛化性能优越17),从而使它的合适选择EEG信号的识别问题在不同的运动图像的任务。
考虑一个数据集包含训练样本, , ,与输入及其对应的期望输出值在哪里代表一个转置操作。假设是隐藏的神经元的数目,是激活函数,榆树的输出函数是数学建模为 在哪里是连接的权向量隐藏的神经元和神经元的输出,是随机选择的输入连接权向量隐藏的神经元和神经元的输入,是随机选择的偏见隐藏的节点,实际的输出对应于输入什么 。
为了方便表达,方程(1)是用矩阵表示法 在哪里是将网络输出,表示输出层的重量是隐层输出矩阵的定义是
为了有更好的泛化性能,正则化参数介绍了(19),并给出其相应的目标函数 在哪里表示 - - - - - -规范矩阵或向量。我们可以获得输出权向量使用Moore-Penrose原则。方程解(4)是如果和如果 。
2.2。费舍尔歧视字典学习
稀疏表示分类(SRC)人脸识别,提出了直接利用训练样本的人脸图像类的字典代码查询,分类评价这类会导致重建误差最小(7]。然而,使用的字典可能不够有效代表查询图像由于不确定性和嘈杂的信息在最初的训练图像,和歧视的信息隐藏在训练样本不充分利用这样一个naive-supervised字典学习方法(16]。FDDL解决这些问题的方法,提出了利用中的歧视信息重建误差和稀疏编码系数。
表示作为训练集,训练样本类的子集 ,和是类的总数,overcomplete字典吗 ,在哪里是class-specified subdictionary与类相关联 。让的编码系数矩阵在 ,我们可以写作为 ,在哪里包含编码的子矩阵系数吗在 。编写目标函数如下: 在哪里是区别的忠诚,的稀疏约束符号吗表示 - - - - - -规范,是一个歧视约束,和是标量参数。 在哪里意味着 - - - - - -规范,编码系数在subdictionary ,和编码系数在subdictionary。的最小化意味着的重建误差类的样本是最小化,通过重建错误subdictionary被其他子类同时最小化重建字典应该最小化。其目的是确保重建误差约束最小化,和稀疏系数可以更多的歧视。
是一个歧视系数项以下: 在哪里表示子空间的痕迹,是在类分散的 , 类间散吗 ,和是一个参数。 在哪里和的意思是向量和分别为,在课堂上是样品的数量 。
2.3。拟议中的FDDL-ELM方法
在本节中,我们提出一种新颖的非线性分类模型,该模型基于一个新的榆树框架多层感知器(MLP),名叫FDDL-ELM。该框架包括两个阶段:一个编码阶段和分类阶段。前阶段使用FDDL方法输入特征映射到一个中层特征空间,然后是榆树算法进行最终决策在后者的阶段。FDDL-ELM如图的框架1。
让是一个输入包含训练样本与和对应的期望输出值,在哪里输入类的子集 ,和是类的总数。
步骤(1):利用FDDL算法学习结构化字典 。
的优化目标函数包括两个步骤:首先,更新通过修复 ,然后更新而解决 。迭代过程实现所需的区别的字典和歧视系数在(做16]。
步骤(2):重建高层的信号稀疏特性的信息。
与所需的字典和系数在步骤(1)中,我们可以得到重构信号可以发现重要信息隐藏在原始信号和简化如下:
步骤(3):歧视重建信号使用榆树分类方法。(1)随机生成隐藏节点参数 为 。(2)新的隐层输出矩阵可以写成 (3)正则化参数介绍了输出的体重吗β计算如下:
广泛的努力的最佳选择和分析(厕所)交叉验证策略结合预测残差平方和(媒体)统计是最有效的方法之一26]。
步骤(4):为测试数据和学习词典 ,我们可以重建在编码阶段,然后计算标签使用榆树分类器。
3所示。实验结果和讨论
在本节中,几个实验基准数据集和脑电图数据集进行评价的性能提出FDDL-ELM方法,相比与其他先进的方法。所有的方法在计算机上用MATLAB实现2014 b环境2.6 GHz处理器和8.0 GB RAM。
3.1。实验基准数据集
3.1.1。描述
为了评估其性能,提出FDDL-ELM方法首次应用于四个受欢迎的基准UCI数据集的存储库(31日]。这些数据集的详细信息如表所示1。
肝脏疾病的数据集是一个医疗应用程序,由345个样本属于两类,并且每个样本提取6特性表示。糖尿病数据集包含768个样本属于两类。对于每一个样本,提取8特性。波形数据集包含5000 3类样本的噪声波形,和每个样本包含21个属性。哥伦比亚对象图像库(COIL-20)是一个多级图像分类数据集,由1440名20个不同对象的灰度图像样本,每个样本都是一个灰度图像的一个对象从一个特定的视图。
3.1.2。实验装置
在表1,列“随机烫”表示训练和测试数据是否随机分配。在每个数据分区,训练和测试样本之间的比例是1:1。分类的过程是重复十次,这些结果是最终的分类率的平均值。
这个提议FDDL-ELM算法5调优参数: , ,和在编码阶段,以及隐藏节点的数量 ,和正则化参数在分类阶段。在所有的实验中,最优参数和从一组小搜索使用5倍交叉验证吗 ,和设置为1时,是在(16]。最优参数和确定从和基于最小使用洗手间交叉验证策略(27]。需要指出的是,自动选择并不是固定过程中重复十次在分类阶段。这些调优参数的设置四个基准数据集表进行了总结2。
3.1.3。比较与其他先进的算法
在这个实验中,我们比较建议FDDL-ELM三基线算法,包括FDDL, H-ELM榆树。分类性能评估的精度平均和标准偏差(acc±sd)。表3总结了性能结果基准数据集上使用四种方法。
从表中所示的结果3,证明FDDL-ELM算法实现类似的性能与其他先进的方法,如单层榆树,FDDL, H-ELM深架构。对于糖尿病数据集,在FDDL FDDL-ELM方法改进达到9%以上。对肝脏疾病的数据集,尽管H-ELM的平均分类精度(74.01%)优于FDDL-ELM (72.38%)、FDDL-ELM的准确性高于榆树和0.23%的FDDL 6.61%。为波形数据集,FDDL-ELM方法取得了平均85.02%的准确性,在榆树提高了0.57%,提高了0.30% H-ELM。的平均分类精度COIL-20 FDDL-ELM获得的数据集是98.33%,高于榆树(96.14%)和H-ELM (97.13%)。根据这些观察,提出FDDL-ELM方法优于原榆树和FDDL方法对所有四个数据集和类似的性能相比H-ELM大多数的四个数据集。
3.1.4。参数的影响
在我们的算法有五个参数: , , , ,和 。自设置为1 (16),而自动选择(27),我们将调查的影响其他三个参数( , ,和 )在这一节我们的算法的性能。和分别改变中 。的参数决定隐藏神经元的数量,和它的价值选择 。
数据2(一个)- - - - - -5(一个)展示我们的算法作为参数的测试结果变化四个数据集:糖尿病、肝脏疾病、波形,分别COIL-20数据集。可以看到,我们的算法的性能相对稳定与尊重 。数据2 (b)- - - - - -5 (b)块的测试精度和分别在四个不同数据集。从这些结果,可以观察到的性能更显着地影响参数和 ,相对于 。对分类性能和计算复杂性之间的权衡,我们可以使用一个相对较小的节点数量在选择和在真正的脑电图描记器应用程序。
(一)
(b)
(一)
(b)
(一)
(b)
(一)
(b)
3.2。BCI实验数据集
3.2.1之上。描述
本节评估的性能提出FDDL-ELM方法MI脑电图数据集。有三个数据集进行分析,包括两个数据集的二进制multiclassification分类和一个数据集,如下所述:(1)第三集IVa, BCI竞争(32]:这个数据集包含脑电图信号从5主题,谁执行双阶级MI任务:正确的手和脚。使用118个电极EEG信号记录。训练集和测试集是用于每个主题。他们的尺寸是不同的话题。更准确地说,有280次试验为每个主题,其中168年,224年,84年,56岁,28日由训练集主题A1, A2, A3、A4、A5,分别和剩下的试验由测试集。(2)第三集III a, BCI竞争(33]:这个数据集由脑电图信号从3受试者执行左手,右手,脚,和舌头MI。使用60个电极EEG信号记录。为目的的二元分类,只有双阶级脑电图信号(左、右手MI)被用作在[34]。训练集和测试集都可用于每个主题。两组包含45试验为B1,每个类和30试验/类科目B2和B3。(3)第四集花絮,BCI竞争(35]:这个数据集包括脑电图信号从9受试者执行四级MI任务:左手,右手,脚,和舌头MI。使用22电极EEG信号记录。训练集和测试集包含为每个类288次试验,分别。
3.2.2。实验装置
数据预处理最初原始的脑电图数据上执行。特别是,对于每一个试验,我们从时间部分提取的特征从0.5到2.5年代线索指示执行MI。每个审判在8-30赫兹带通滤波,使用一个基于巴特沃斯滤波器。接下来,EEG信号的维数降低使用常见的空间模式(CSP)算法,一种广泛使用的特征选择方法MI-based bci [12,34]。最后,过滤后的脑电图信号通过CSP是歧视在我们的实验中不同的分类方法。
在这部作品中,分类过程是重复十次,平均精度记录进行进一步分析。参数的选择过程 , , ,和节中描述的相同吗3.1。2,隐藏节点的设置是 。
3.2.3。与相关算法的比较
我们比较该方法与榆树FDDL-ELM, FDDL, H-ELM BCI竞争第三集IVa III a和BCI竞争第四集花絮。所有四个算法的平均分类精度如表所示4。
从表4,可以看出,该方法优于榆树和FDDL算法几乎所有科目二分类应用程序中(主题B2除外)。对于主题B2,榆树法获得了平均68.33%的准确性,在FDDL-ELM提高了0.33%。相比H-ELM采用深架构,FDDL-ELM产生类似的性能在所有8 4科目的科目,特别是表现得更好(A2、A3、A4和B2)。此外,该算法取得了最高的平均精度数据集IVa和iii a。数据集IVa, FDDL-ELM方法达到平均80.68%的准确性,在榆树提高了0.73%,提高了1.35% H-ELM。此外,配对t以及显示FDDL-ELM和H-ELM方法之间无显著差异( )FDDL-ELM之间的显著差异和榆树方法( )。数据集iii a, FDDL-ELM获得的平均分类精度为87.54%,高于榆树(87.35%)、FDDL(83.26%),和H-ELM (85.63%)。此外,配对t以及显示FDDL-ELM和H-ELM方法之间无显著差异( )。这些结果表明,FDDL-ELM二分类方法取得了一个伟大的分类能力的应用程序。
4-class-classification BCI申请竞争第四集花絮,平均9受试者使用四个算法的分类精度也表所示4。请注意,我们的方法优于榆树和FDDL 8的9主题(主题C8除外)。为C8,榆树获得最好的结果(81.87%)与FDDL相比(63.72%),FDDL-ELM(80.60%),和H-ELM (76.46%)。FDDL-ELM方法执行最好的4个科目(C1, C3、C6和C7),而H-ELM实现最好的结果4科目(C2, C4、C5和C9)。使用FDDL-ELM 9受试者的平均分类精度为63.76%,略低于H-ELM (64.46%)。一个配对t以及显示FDDL-ELM和H-ELM方法之间无显著差异( )FDDL-ELM之间的显著差异和FDDL方法(小于0.01)。这些结果表明H-ELM算法相比,我们的方法可以达到类似的结果没有深架构。
在这些实验中,提出了FDDL-ELM方法表现出极佳的性能在二分类和multiclassification病例。的非线性性质FDDL-ELM允许其优越的性能在FDDL方法在处理非平稳的EEG信号。此外,FDDL-ELM更适合分析嘈杂的脑电图数据基本榆树因为其编码阶段可以获得更高的原始信号表示和提取更有效的特征信息。与H-ELM相比,与深建筑设计一个算法,我们的方法也产生了类似的结果。特别是在二分类数据集(BCI竞争IVa三世数据集和III a),我们的方法获得了更高的平均精度(80.68%和87.54%)比H-ELM(79.33%和85.63%),分别为。
4所示。结论
在本文中,我们提出了一个新的叫做FDDL-ELM榆树框架,实现输入原始数据的稀疏表示与layer-wise编码,同时仍然受益于最初的榆树的万能逼近能力。我们验证的普遍性和能力FDDL-ELM使用公开可用的基准数据库和MI-BCI数据集。在这些应用程序中,FDDL-ELM证明上级分类性能比其他相关先进的方法。然而,仍然有几个问题需要今后进一步研究工作。EEG信号的非平稳的性质意味着分类模型建立前使用以前的数据不能反映信号变化已经发生。因此,在线更新分类模型是必要的。最近,网上子集的合奏顺序极端学习机(ESOS-ELM)学习方法提出了类不平衡(36]。此外,在线连续的极端与内核(OS-ELMK)提出了学习机器的非平稳时间序列的预测(37]。在这项研究中,殿下et al。38),提出了多层在线连续极端的学习机器的图像分类。在未来的工作中,我们将探讨在线学习算法分析MI的FDDL-ELM脑电图信号。
数据可用性
三个数据集被雇佣在这项研究中,包括两个数据集的二进制multiclassification分类和一个数据集,这是公开:(1)数据集IVa, BCI竞争III (31日]:这个数据集包含脑电图信号从5主题,谁执行双阶级MI任务:正确的手和脚。(2)数据集III a, BCI竞争三世34]:这个数据集由脑电图信号从3受试者执行左手,右手,脚,和舌头MI。(3)集花絮,BCI竞争四世(32]:这个数据集包括脑电图信号从9受试者执行四级MI任务:左手,右手,脚,和舌头MI。
的利益冲突
作者宣称没有利益冲突有关这篇文章的出版。
确认
这项工作得到了国家自然科学基金资助下号。61871427和61871427,浙江省自然科学基金(LY15F010009)和休斯顿大学的。作者要感谢BCI竞争第三集IVa III a和BCI竞争第四集花絮”被用来测试算法提出了研究。