文摘
脑电图模式识别是汽车图像的一个重要组成部分——(MI)基于脑机接口(BCI)系统。传统脑电图模式识别算法通常包括两个步骤,即特征提取和特征分类。在特征提取中,常见的空间模式(CSP)是最常用的算法之一。然而,为了提取最优CSP特性、先验知识和复杂的参数调整通常是必需的。卷积神经网络(CNN)是目前最受欢迎的深度学习模型。在CNN,特征学习和模式分类过程中同时进行迭代更新网络参数;因此,它可以删除工程复杂的手动功能。在本文中,我们提出一个新颖的深度学习方法可以用于局部特征学习和运动图像EEG分类。具体地说,一个多层CNN模型设计根据MI EEG信号的局部特性。实验研究是进行两个MI脑电图数据集(BCI竞争第三集IVa和镇定的右手食指MI数据集)来验证算法的有效性与几个相比竞争方法密切相关。 Superior classification performance indicates that our proposed method is a promising pattern recognition algorithm for MI-based BCI system.
1。介绍
大脑计算机接口(BCI)技术(1- - - - - -3)使用多个大脑功能的信号,包括头皮脑电图(EEG) (4),局部场电位(联赛)5],Electrocorticography (ECoG) [6),人类大脑之间建立直接的通信通道和外部设备。BCI的这个特点是严重的大脑神经损伤患者非常重要,因为这类患者的正常通信通道被阻塞(7]。考虑到方便、安全和成本,头皮脑电图最常用于BCI字段。在各种BCI控制模式、运动图像(MI)基于BCI系统是一个非常重要的分支。通过MI-based BCI系统,用户可以控制机器人或外部机器仅仅通过运动想象,没有周围神经的干预。由于其巨大的潜在应用价值运动功能康复(8),运动机能援助,等等,MI-based BCI系统得到了广泛的关注。
脑电图模式识别的一个重要组成部分MI-based BCI系统;传统脑电图模式识别算法主要包括两个步骤,即特征提取和特征分类。在特征提取阶段,常见的空间模式(CSP)算法(9- - - - - -11)是最常用的算法,但有几个因素会影响CSP算法的性能,如空间通道,感觉运动节律信号的频带,时间窗口。值得注意的是,大部分的研究工作一直致力于优化频带重大CSP特征提取。滤带常见的空间模式(FBCSP)算法(12)是一个基准局部特性学习和MI脑电图分析中得到了广泛的应用。最近,稀疏过滤带常见的空间模式(SFBCSP)算法(13CSP)提出了选择最重要的功能在多个频带通过稀疏的回归。在特征分类阶段,许多机器学习算法,如线性判别分析(LDA) (14),支持向量机(SVM) [13,逻辑回归(LR) [15),用于电机以不同的脑电波模式进行分类。我们也注意到一些更复杂的算法已经提出了MI脑电图近年来分类。焦et al。16)开发了一群稀疏表示模型(SGRM)测试样本可以估计的线性组合样品在复合字典矩阵由CSP特点从多个学科。金等。17]引入了一个极端稀疏贝叶斯学习机器(SBELM) MI-related EEG分类方法相结合的优点都极端学习机(ELM)和稀疏贝叶斯学习。我们可以看到,对于大多数传统MI脑电图模式识别算法,特征提取和特征分类分离;然而,通常这两个阶段有不同的目标函数;因此很容易造成信息损失(18]。
卷积神经网络(CNN)是基于深度学习理论,已广泛应用于图像识别(19),语音识别(20.),和其他领域。其主要特点是重量共享和本地感知这重量参数的数量大大减少与普通神经网络。此外,CNN同时实现功能网络中的学习和分类,这是比传统模式识别方法更简单、更清晰。此外,迷失在这个过程的信息更少。
在过去的几年中,深度学习技术,即。,deep neural networks, have been investigated to deal with complex brain function signals [21]。MI脑电图研究而言,独立的CNN和CNN-based混合模型被广泛使用。李和崔(22)提出了获取脑电图的时频表示使用连续小波变换(CWT)作为CNN模型的输入。塔巴和Halici23)应用短时傅里叶变换)方法将脑电图颞系列转换成二维图像和使用CNN和堆叠autoencoders (SAE) MI脑电图分类。Uktveris和Jusas24)使用快速傅里叶变换(FFT)能量映射方法为CNN四级MI EEG分类,取得了令人满意的结果。刘等人。25]引入了多尺度深CNN方法处理MI EEG信号的表示。哈特曼et al。26]调查如何CNN代表光谱特性通过网络的中间阶段的顺序。王等人。27)设计了一个CNN-based MI脑电图特征提取方法,采用弱分类器的特征选择。谭et al。28]训练神经网络与CNN和递归神经网络(RNN)脑电图分类任务。杨et al。29日]研究了多级MI EEG信号的分类增强CSP(交流火花塞)特性和CNN模型。唐et al。30.)构建了一个基于脑电图的时空特点五CNN模型MI任务的分类。摘要小说深度学习方法提出了MI EEG信号的分类。与以上这些作品,我们不使用任何复杂的算法,如CWT, STFT, FFT,和交流火花塞地图生成二维特性。此外,不同于的工作30.]研究了MI脑电图的时空特征,这项工作提供了一个洞察MI脑电图的局部特性。此外,而不是利用脑电图FBCSP或SFBCSP的局部特性,我们在此提出学习和分类的局部特征MI脑电图CNN同时在一个统一的框架。具体来说,我们通过计算原始脑电图数据转换为图像表示的能量多通道脑电图信号在多个频段。之后,一种新的多层CNN模型设计,和MI脑电图的空间特征分析根据卷积的获得重量参数层。最后,公共数据集和镇定的右手食指运动想象数据集,广泛的实验之间进行比较,我们的方法和一些机器学习算法密切相关。
2。材料和方法
2.1。数据集描述
在这项研究中,为了更好地评估算法的有效性,我们使用两个不同的数据集进行分析。第一个数据集是公共BCI竞争第三集IVa, EEG信号的收集从五个科目(用aa,艾尔,av,啊,和ay)使用118电极放大器。有两种类型的MI任务的数据集,也就是说,右手和右脚小姐MI。每个MI试验的时间是3.5秒,和采样率设置为1000 Hz。对于每一个主题,有280 MI试验(140试验手MI - 140试验脚MI)。可以找到更多的细节关于这个数据集http://www.bbci.de/competition/iii/。第二个数据集是右手食指运动想象数据集收集的数据集(用手指)。在这个数据集,脑电图信号收集从五个科目(用S1、S2、S3、S4和S5)使用21电极放大器。有两种类型的MI任务的数据集,即手指运动想象和休息状态。每个MI试验的时间是4秒,和采样率也设置为1000 Hz。应该注意的是,不同的主题在这个数据集有不同数量的MI试验。对于每一个主题,手指运动的精确数字想象力和其他国家试验用以下几点:主题(手指运动的想象力,休息状态)S1(58岁的58),S2(59岁48),S3(52岁,63年),S4 (56、57), S5(62年,39)。BCI IVa竞争第三数据集,我们选择第一个260次试验作为训练集,以下10个试验的测试集,最后10试验验证集。对于这个公共数据集,更可靠地评估的分类性能,我们还实现了10倍交叉验证来计算平均分类精度。在每一个褶皱的10倍交叉验证,每个部分进行测试,其余九个部分培训(90%)和验证(10%)。手指与小样本数据集大小,我们随机选择约80%的样本作为训练集,其余样品进行测试和验证。 The numbers of training samples, validation samples, and testing samples are denoted by S1 (92, 12, 12), S2 (85, 11, 11), S3 (93, 11, 11), S4 (89, 12, 12), and S5 (81, 10, 10).
2.2。方法
2.2.1。脑电图数据表示变换
CNN应用之前,我们首先将原始脑电图数据转换成图像表示。手指的数据集,因为感觉运动节奏通常出现在8 - 14赫兹频段(节奏)和18-26赫兹(节奏),我们使用带通滤波获取8-30赫兹信号组件从原来的脑电图信号。此外,脑电图信号从0.5秒到2.5秒后的外观视觉提示通常是用于模式分析。在这项研究中,提取信号在这一时期也为后续处理。上述处理后,每个样本都可以表示成一个矩阵的大小 ,2000年是采样点的数量和21是电极的数量。应该注意的是,虽然感觉运动节奏通常出现在8-30赫兹的频率范围,相关频段MI任务不同学科之间的不同,和最优频率乐队主要是当地的窄带。为了了解更多精确的频率信息,我们分解EEG信号的范围8-30赫兹到10次能带,每个子带的宽度是4赫兹,和相邻的部分波段之间的重叠2赫兹。之后,每一个样本都可以表示为一个矩阵的大小 ,10在哪里频率部分波段的数目。然后,对于每个空间的EEG信号在每个频率子带电极,我们计算它的信号能量如下: 在哪里脑电图信号序列的方差吗 。因此,每一个样本都可以表示为一个矩阵的大小 ,和矩阵的每个元素代表了EEG信号的能量在某个部分波段的脑电图电极。每个主题的数据集,然后规范化脑电图能量如下: 在哪里每个样本的能量矩阵,表示每个样本的指数,表示在这个位置,所有样品的平均能量是相应的标准差。信号处理上述步骤后,原来的脑电图信号转化为图像表示,脑电图电极的分布沿垂直轴和沿水平轴部分波段频率分布。
BCI竞争第三集IVa,原始的脑电图数据也带通滤波8-30赫兹的范围之内。应该注意的是,在这个数据集有118个电极。为了减少后续计算的负担,消除冗余通道的影响,根据文献[的建议18),我们从49中提取EEG信号通道进行后续分析。上述处理后,每个样本都可以表示成一个矩阵的大小 ,3500年是采样点的数量和49是电极的数量。随后,频域分解,0.5到2.5秒的时间分割、能源开采和归一化处理也进行了。然后,每个样本都可以表示成一个矩阵的大小 。
为了观察脑电图预处理后的局部特性,对于每个主题的两个数据集,我们所有的样品分为两组根据类别的MI和计算每组的均值比较。图1和图2显示脑电图的分布对象的局部能量特征的手指数据集和BCI竞争第三集IVa不同MI状态下,分别。
从图1可以看出,与其他国家相比,特定的电极的能量衰减,当手指MI进行,所以在这一领域有一个模式的区别,和这一现象主要发生在对边想象肢体的运动,如电极C3(指数10);上述现象符合ERD理论(31日]。进一步观察表明,这种模式差异有着明显的频域特性;例如,它是最明显的在8 - 14赫兹频段。从图2,它可以观察到的能量衰减的手运动想象力比脚更加激烈运动的想象力,所以这种相对稳定的模式差异出现在几个地方局部块。应该注意的是,从图1和图2有不同形式的局部模式不同学科之间的差异。具体来说,重要的局部块的位置和程度的差异是不同的。所有这些因素将会影响最终的模式识别的结果。与此同时,我们需要关注是否CNN模型局部特征自适应地学习。
2.2.2。CNN的结构设计
通过描述在前一节中,我们可以看到,MI脑电图信号有一个非常明显的局部特征,也符合基本的ERD理论,和有一个相对稳定的模式差异后转换成图片形式。为了学习MI脑电图特征自适应地进行模式识别,本节设计一种新型多层CNN结构,如图3。拟议的CNN模型由五层;第一层是专门设计的输入层捕获MI EEG信号的局部特性。注意,我们不使用任何复杂的算法和能量变化的信息保留在局部领域更完全。接下来的两层卷积层,主要为局部特征提取。应该注意的是,我们使用一维卷积滤波器卷积在第一层更好的分析的空间特性。最后两层是完全连接层和将softmax层;这两层主要完成分类任务。为了防止过度拟合,我们实现了辍学正规化之前输出层。每一层的具体描述如下。(1)输入层:输入图像的预处理是运动图像脑电图样本。为手指数据集,输入矩阵的大小 ,21是电极的数量和10是频率部分波段的数目。BCI竞争第三集IVa,输入矩阵的大小 ,49是电极的数量和10是频率部分波段的数目。(2)卷积C1层:这一层的主要功能是滤波器输入信号在空间域(即。,不同的电极被分配不同的权重值)。因此,一维卷积操作(空间电极在纵轴上)的卷积是在这一层,沿水平轴和卷积内核的幻灯片。这说明CNN的特点,即体重共享和本地感知。应该注意的是,由于没有任何时间或频率域信息的混合,通过观察获得的空间滤波器从这一层,我们可以理解的一部分空间运动图像的脑电图特征。在这项研究中,我们使用6空间过滤器;因此我们可以得到6空间卷积后特征图。的手指数据集,卷积核大小设置 。BCI的竞争第三集IVa,卷积核大小设置 。因为有10频率部分波段,地图的大小特征 。(3)卷积C2层:这一层主要是结合了前一层的特性和学习更复杂和抽象的局部特性。这一层的卷积操作仍然采用本地连接和重量共享的概念。每个卷积操作使用两个特征值的所有特征图上一层沿水平轴和幻灯片。滑动步也将两个减少参数的数量。在这一层,我们总共设立了12个过滤器,卷积核的大小 ,最后我们获得12特征图的大小 。(4)完整的连接层:这一层主要是连接卷积层C2和最终的输出层。我们已经建立了50个神经元在这一层。因为完整的连接,每个神经元与上一层的所有特征值。(5)输出层:这一层的功能是输出预测MI类别。由于本研究只涉及到两种类型的电动机的想象力,它只包含两个神经元,每个神经元与所有在前一层神经元连接。
CNN模型的训练是通过反向传播算法实现的。给定的输入数据,所有神经元网络结构产生激活值根据初始权重值,偏差值,和激活函数。根据将softmax层的输出,损失函数值的计算模型。然后,重量和偏见的梯度条件计算基于损失函数的值。更新之后,网络的参数根据梯度值。在这项研究中,我们初始化网络的权重值正态分布的随机值0和标准差的平均值为0.1,均匀初始化偏差值为0.1。所有神经元的输出层使用修正的线性单元(RelU)激活函数,及其操作如下: 在哪里是特征向量,重量值向量,偏差值,是输出激活值。许多研究表明,传统的乙状结肠函数梯度消失的问题。然而,使用RelU激活函数,它类似于神经元的反应机制在生物神经系统,我们通常可以达到满意的培训效果32]。输出层采用将softmax模型,模型的具体操作如下:
每个softmax模型的输出值代表样本属于某一类的概率,和最大值的类别是最终的输出的类别。损失函数使用交叉熵(CE): 在哪里和的概率分布预测和原始类别,分别。
梯度下降法是用于更新重量和偏见,和亚当优化器采用自适应算法。注意,为了防止过度拟合,实现更好的结果在测试集,辍学(33)操作之前执行输出层在这项研究。训练神经网络时,根据一定的概率丢弃一些神经元 ,和模型训练根据稀疏的网络结构。在测试阶段,所有的神经元,但所有的权重是1 -纠正原来的重量。在这项研究中,我们设置到0.5。表1概述hyperparameters CNN模型。
3所示。实验
就像前面提到的2,函数卷积的第一层主要是过滤原始输入信号在空间域。根据ERD理论,相关的大脑区域大多数汽车图像通常是位于对面的肢体的运动图像。为了直观地理解空间滤波器的特点,学会了CNN,手指的数据集,我们从每个主题的六个过滤器中提取一个过滤器脑地形图插图。图4显示每个空间滤波器的大脑模式分布五个主题在这个数据集。从图可以看出,最大体重通常是分布式的电极附近的“C3”通道;换句话说,EEG信号在这一领域对模式识别有最大的影响。这个区域是对面的右手食指和初级运动皮层。因此,第一层卷积的CNN可以学好汽车想象力脑电图的空间特征。应该指出的是,上述参数的学习完全没有手动操作,这是网络参数更新和迭代的结果,所以CNN显示了自适应学习能力强。
在这项研究中,我们训练CNN模型根据训练集和验证集。训练后,所有研究对象的模型可以有效收敛。把主题S1的手指数据集作为一个例子,分类精度的变化曲线如图5,蓝色实线显示了训练集的分类精度,红色虚线显示验证集的分类精度,横坐标显示了迭代次数,纵坐标显示了分类精度。从图可以看出51600次迭代之后,训练集的分类精度达到最高的价值保持稳定,而验证集的分类精度一直保持在最高的价值,因此可以认为该模型1600次迭代后达到最好的培训效果,和训练有素的模型被认为是最优分类模型的S1。
在这项研究中,我们评估的分类性能CNN模型根据测试集的分类精度。提出了软件和硬件平台的CNN模型英特尔(R)的核心(TM) i5 - 8500 3.00 GHz CPU、8.0 GB RAM,世爵,Python 3.6和2.0 TensorFlow (CPU)。有两个脑电图数据集,广泛的实验之间进行比较,我们的方法和其他方法密切相关。
BCI竞争第三集IVa,我们首先使用固定样本集分割分类绩效评价,也就是说,260个样本进行训练,10个样本进行测试,另一个10个样本进行验证。客观地评估我们的方法的分类性能,其他三个算法包括CSP (9],FBCSP [12],SFBCSP [13采用了性能比较。注意,CSP是基线MI脑电图模式识别方法;FBCSP和SFBCSP MI脑电图局部特性学习最先进的方法,我们的方法是密切相关的。这些竞争方法列出的实验设置如下。(我)CSP:脑电图信号提取49渠道的建议(18]。脑电图数据在0.5和2.5之间年代视觉提示后用于特征提取。带通滤波器的通带8到16赫兹一直应用于捕获节奏(17]。CSP过滤器的数量设置为2 (13]。三个广泛使用机器学习算法,包括LDA,支持向量机,和LR用于分类。(2)FBCSP:脑电图信号在同一49渠道如CSP提取。脑电图数据在0.5和2.5之间年代后视觉提示。6带通滤波器的带宽6赫兹的范围4 - 40 Hz没有重叠使用,如[34];这些设置了最优结果。互信息特征选择一直在执行,因为它给了最好的结果(35];支持向量机是用于分类。(3)SFBCSP:脑电图信号在同一49渠道如CSP提取。脑电图数据在0.5和2.5之间年代后视觉提示。17带通滤波器的带宽4赫兹的重叠2赫兹的范围4 - 40赫兹一直使用,如(13]。正则化参数是由10倍交叉验证、线性内核采用支持向量机分类的(13]。
表2列出了CSP + LDA的分类精度,CSP + LDA, CSP + LR, FBCSP SFBCSP,我们的方法在BCI竞争IVa三世数据集。从这个表中,我们可以观察到我们的方法达到同样的结果或执行比所有竞争对手科目aa,艾尔,av和最高的平均精度为90%。
为公众BCI竞争第三集IVa,更可靠地评估我们的方法的分类性能,我们进一步实现10倍交叉验证计算的平均分类精度也用CSP相比,FBCSP, SFBCSP。设置这三个相互竞争的方法保持不变;然而对于CSP只采用支持向量机因为它给最好的结果在表2。我们也调整了CNN模型;变化主要在三个方面:(1)6带通滤波器带宽的6赫兹的范围4 - 40 Hz没有重叠使用;因此输入矩阵的大小 ,49是电极的数目和6是频率部分波段的数目。(2)添加了两个完全连接层,和激活功能改变。(3)优化器是Adadelta改变。表3摘要CNN模型架构10倍交叉验证;调整CNN卷积模型包含2层,平层,3完全连接层和一个输出层。Elu和Relu选为激活函数卷积层和完全连接层,分别。图6提出了分类精度得到了CSP、FBCSP SFBCSP,我们的方法。两个修改CSP算法和我们的方法比基线算法CSP。我们建议的CNN模型进一步产生了更高的平均分类精度比FBCSP和SFBCSP方法。平均分类精度改进通过我们的方法分别为3.66%,1.44%,和1.59%相比,CSP, FBCSP,分别和SFBCSP方法。
的手指数据集,CSP和FBCSP采用性能比较。稀疏学习方法通常需要更多的训练样本,以确保性能;因此,我们没有使用SFBCSP这个小数据集的方法。注意,对于这个数据集,采用LDA分类算法,因为它给了LR和SVM相比性能优越。图7提出了分类精度得到了CSP、FBCSP和我们对该数据集的方法。我们的方法取得了较高的分类精度对于大多数科目比其他两个竞争的方法。平均分类精度通过改进我们的方法分别为4.84%和10.63%与CSP和FBCSP方法相比,分别。
进一步理解提出了CNN模型的计算成本,BCI竞争第三集IVa固定样本集分割,我们记录了每一个主题的培训时间(1600次迭代),和图8总结的时间时间CNN训练数据集的所有科目。从这个图我们都观察到CNN模型可以被训练在大约5秒,这对于实际的应用程序是一个可接受的时间成本。
4所示。讨论
从表中我们可以看出2,图6,图7,总的来说我们的算法比其他竞争算法取得了更好的分类性能。然而,我们注意到,对于一些科目,尤其是受试者aw和ay表2,我们建议的CNN模型的性能甚至比基线的CSP方法。主要原因可以总结如下。(1)对所有受试者在一个特定的数据集,CNN模型的结构和hyperparameters是相同的。然而,不同的用户有不同的特点。因此,对于一些科目统一参数设置可能导致次优的解决方案。(2)深度学习模型的性能高度依赖于训练数据的大小(21]。然而,在BCI竞争第三集IVa固定样本集分割,260用于CNN模型训练样本;训练集的规模相对较小,这可能在一定程度上影响到模型的稳定性。这可以进一步验证结果如图6;我们的方法的分类性能稳步超越CSP科目aw ay当10倍交叉验证算法。
解决上述的局限性和进一步提高分类的性能我们提出CNN方法,以下三个方面值得我们的未来的调查。(1)使用统一的CNN模型参数设置,我们计划学习不同学科的特点和应用特定于用户的CNN MI脑电图模式识别的结构和参数。(2)应对问题的小训练集和提高稳定性的深CNN模型,结合深度学习和接受主体转移学习是我们的计划的一个重要研究方向。(3)在这项研究中,MI脑电图的局部特征被提出自动学会深CNN模型;不过0.5秒到2.5秒的外观视觉线索后手动选择。换句话说,在时间域的特性没有充分的研究。指出在[36),使用一个固定的时间窗口几乎不能捕获所有科目区别的特征。在此基础上,我们认为进一步扩展提出了深CNN MI脑电图特征的模型学习整个spatial-temporal-frequency域。
5。结论
本文深入学习算法对肢体运动图像提出了脑电图模式分类。多层CNN模型是专为运动图像脑电图分类、和运动图像的局部特性EEG信号分析根据获得的参数卷积神经网络层。最后,提出了CNN模型相比,一些先进的机器学习算法。在实验中,公众BCI竞争第三集IVa和镇定的右手食指运动想象脑电图数据集被用来验证该算法。CNN的实验结果表明,该方法优于所有竞争对手的意思是数据集的分类精度。此外,该模型的训练时间相对较短。因此,我们要注意,该分类方法是真实的BCI系统的极大的兴趣。
数据可用性
在这项研究中,我们使用了两个不同的数据集进行分析。第一个数据集是公共BCI竞争第三集IVa和第二个数据集是右手食指运动想象数据集收集的数据集(用手指)。BCI竞争第三集IVa: BCI竞争第三集IVa用于支持这项研究的结果已经存入网站http://www.bbci.de/competition/iii/。手指手指数据集:数据集用于支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突。
确认
这部分工作是支持由中国国家自然科学基金(61772198和61772198号)和浙江省基本公共福利中国研究项目(没有。LGN18F020002)。
补充材料
补充文件S1、S2、S3、S4和S5对应五个受试者的手指数据集,这里DynamicSelect对应的手指运动的想象力,StaticSelect对应于其他国家和所有这些垫文件收集的MI脑电图数据集。(补充材料)