文摘

脑-机接口(BCI)的过程中,跨会话/科目变化导致大脑的潜在属性的差异。这个问题可能导致的变化特征分布的脑电图(EEG)在主题,大大降低了分类器的泛化能力。虽然subject-dependent (SD)策略提供了一个有前途的方法来解决个性化问题的分类,它不能达到预期性能的数据量的限制特别是深神经网络分类模型(款)。在此,我们提出一个实例转移subject-independent (ITSD)框架结合卷积神经网络(CNN)模型的分类精度提高在运动图像(MI)的任务。拟议的框架由以下步骤组成。首先,实例转移学习基于感知哈希算法来衡量相似光谱图EEG信号的不同科目。然后,我们开发一个CNN来解码这些信号实例传输之后的学习。接下来,分类的性能不同的培训策略(subject-independent——(SI) CNN, SD-CNN,和ITSD-CNN)进行了比较。来验证算法的有效性,我们评估的数据集BCI IV-2b竞争。实验表明,该实例转移学习可以取得积极实例转移使用CNN分类模型。 Among the three different training strategies, the average classification accuracy of ITSD-CNN can achieve 并获得明显的改善而对比模型 。在先前的研究,与其他方法相比,提出的框架ITSD-CNN优于最先进的分类方法均kappa值为0.664。

1。介绍

脑机接口(BCI)是用户和计算机之间的通信方法,不依赖于正常的大脑和肌肉的神经通路。运动图像(MI), BCI的范例之一,是一种思维方式,模仿运动意图没有真正的运动输出;也就是说,大脑想象整个运动没有肌肉萎缩(1]。研究表明,运动图像(MI)可以产生相同的感觉运动节奏的变化作为一个真正的运动(2]。这种现象会导致能量增加或减少在特定频段的脑电图,称为事件相关去同步化(ERD)和与事件相关同步(人)3]。ERD / ERS的差异总是用于解码精神意图,控制一个机器人,并执行对中风患者康复训练(4]。在这个过程中,准确解码MI是必不可少的因素,它决定了康复的有效性和质量。然而,由于生理结构的差异和学科之间的生理条件/试验,将会有明显的变化特征分布脑电图信号。尤其是自发电位活动,MI的信号极其微弱,总是伴随着非线性和非平稳的。它带来了巨大的挑战为MI解码模型。

随着机器学习的发展(毫升)和深度学习(DL)技术,更多的分类模型是广泛用于脑电图解码(5]。在分类模型的训练阶段,策略可以分为两种方式:subject-dependent (SD)和subject-independent (SI)。如图1,SD策略是旨在训练科目的使用自己的数据模型。相比之下,如果策略利用来自其他科目训练数据的广义解码模型一个新的主题(6]。的一个主要假设ML和DL的训练数据和测试数据属于同一个特征空间和主题相同的概率分布。但它往往是违反了EEG信号处理领域。换句话说,如果策略不能满足精度和泛化性能由于个体差异跨科目/会话。SD策略提供了一个有效的方法来优化这个问题;然而,它需要长时间校准会话收集高质量和大量的脑电图数据集。所有这些限制大大影响BCI在实践中的应用。

一个有效的方法来解决这个问题是实例转移学习(ITL) [7)相结合的优势SI和SD的人才培养战略,即。、培训个性化和足够的数据分类模型。迁移学习的定义是,给定一个源域和学习任务和目标域和学习任务转移学习旨在帮助提高目标的性能预测函数使用的知识 。ITL是典型的TL方法之一,通过调整数据实例知识转移为了提高泛化能力 。

ITL的本质不会改变信号的特征空间或财产MI的任务,但它发现最优传输源数据的加权系数相似性测量(8- - - - - -10]。然后转移加权系数加权的数量相应的数据 。如图2,代表传递权重系数数据。代表主体的序列号,是试验。在训练阶段,加权数据是结合数据来训练分类器。在此基础上,我们可以利用类似的脑电图数据从其他学科或会话来减少系统校准时间和列车解码模型目标主题(11]。例如,Azab等人提出了一种加权转移学习改善心肌梗死的任务,他们使用Kullback-Leibler散度来衡量两个功能空间的信号之间的相似性。根据相似度的结果,权重系数分配给源数据优化的小样本问题分类模型的训练(12]。Jensen-Shannon比率方法是用来测量目标数据之间的相似性与源数据在吉尔斯等人的工作13]。基于这种方法,他们提出一个目标识别框架基于规则适应转移学习,这可以减少在线BCI系统的校准时间通过重用数据相似性最高的和 。

然而,由于学科之间明显的个体差异,直接实例转移方法可能会带来负迁移影响。此外,传统的测量不专注于脑电图数据的具体特征,这会影响学习转移的性能。尤其是对汽车图像信号,传统的时间序列信号不能有效反映电机的特性意图,但信号的能量特征可以代表的分布特性。因此,选择translocatable对象和分配权重合理转移到核心研究例如转移学习(14]。在计算机视觉领域,基于内容的图像检索(CBIR)是一个重要的研究课题15]。CBIR的目标是找到图像从源域,属于同一类别。MI声谱图图像包含丰富信息的频率和能量特性,适合运动意图的提取特征。因此,我们假设CBIR技术可以实现有效的数据匹配的主题,实现有效的实例转移对面来 。感知哈希(p-Hash)算法是一种典型的CBIR方法,用于评价不同图像之间的相似性,将这些图像感知哈希代码和测量的距离16]。

与深层神经网络(款)技术的发展,基于款脑电图解码已经吸引了广泛关注。由于优秀的拟合能力和自动特征提取,款实现表现结果脑电图分类。在文献[17),一个卷积神经网络(CNN)和变分autoencoder (VAE)被用于两种MI分类任务。CNN使用多个隐藏层中提取特征,VAE是用于功能分类。CNN-VAE方法实现分类精度提高了3%比最好的方法称为文学。陆et al。18基于限制玻耳兹曼机)提出了一个新颖的方法(元)脑电图分类。快速傅里叶变换(FFT)和小波包分解(WPD)被用来提取信号的频域特性,作为网络的输入。三元堆满了一个额外的训练分类网络输出层。作者证实,这个网络的分类性能比技术发展水平评估公共数据集的方法 。在最近的一项研究[19),研究人员比较了分类性能的CNN和长期短期记忆(LSTM)网络分类MI的时频域信号。作者评估不同网络结构之间的适应性个体差异和提供更好的性能检测表明,CNN学科之间的差异,及其分类率显著高于LSTM。总之,CNN显示令人满意的分类性能MI-BCI任务相比,传统的机器学习方法或其他网络。然而,数据集的数量的限制阻碍了款的实际应用。特别是对于SD培训策略,很难收集足够的高质量的脑电图数据的主题。因此,我们提出一种新颖的基于p-Hash实例转移学习来提高数据的利用率和建立一个CNN MI分类。

基于上述问题,我们提出一个新颖的实例转移学习策略结合CNN subject-dependent MI分类。本文的主要贡献如下:(1)解决跨科目/会话个体差异的问题分类,我们创造性地应用基于内容的图像检索脑电图分类的方法。在此基础上,我们提出了一个新的实例转移(ITL)学习策略使用p-Hash算法,旨在计算转移轨迹之间的权重系数不同的主题/会话(2)有两个主要的局限性subject-dependent和subject-independent培训策略:小规模数据集和大不同学科之间的信号。因此,我们应用实例学习转移到优化传统的培训策略。相似性度量的特征空间执行跨科目/会话传递权重系数计算,旨在探索不同试验之间的关系。然后我们扩大目标主题基于实例的训练集由加权转移(3)提高分类的性能在MI-BCI任务中,我们把CNN与转移学习策略使用SD培训策略(ITSD-CNN)对MI信号进行分类。实验评估,ITSD-CNN表现结果比现有的方法所能达到的水平

ITSD-CNN的步骤可以分为以下步骤:首先,我们进行预处理的原始MI-EEG信号,采用短时傅里叶变换(STFT)将原始MI信号转换为二维谱图信号。然后,ITL基于感知哈希算法来衡量MI信号之间的相似性和 。接下来,我们建立一个卷积神经网络分类学习MI后数据传输。BCI竞争IV-2b数据集用于验证该框架的有效性。我们的结果表明,该方法可以显著提高分类的性能。与此同时,ITSD提供了一个新的培训策略优化的性能SD培训。的其余部分组织如下。部分2解释ITSD和CNN的材料和方法。部分3介绍了实验结果和讨论。讨论部分中描述4,部分5是论文的结论。

2。材料和方法

2.1。描述数据集

在本文中,我们利用BCI竞争第四集2 b (20.]。BCI研究所提供的这个数据集是在柏林和包含两部分:标准集和评价集。九个受试者进行这个实验,和三个频道(C3、C4和CZ)是用来记录脑电图250 Hz采样率。每个主题是需要想象的运动根据提示左和右的手。它们经历了5-session实验。实验过程如图3。

2.2。预处理的脑电图

MI信号非常弱,伴随着无关的组件。和MI的特点往往出现在特定频段:μ乐队(8 - 14 Hz)和β频带(14-30赫兹)。减少工件的信号的影响,我们一致滤波器8-30赫兹的信号通过巴特沃斯滤波器6订单。

MI的潜在活动总是引起的能量变化对侧皮层和身体的同侧的皮层在MI,记录下C3, Cz, C4,和周围的通道3]。然而,这种现象显然不能反映时域。以更好的形式来描述特性,我们将时间序列信号谱图信号后过滤。如图4,这三个渠道转化为一个二维的形式和使用垂直叠加张拼接成一个图像。的变化 - - - - - -轴和 - - - - - -轴代表时间序列的趋势和频率,分别。和颜色的深度表示的能量特性。一个试验,我们选择3到7 s的数据(图像)和STFT的窗口大小设置为256。转换后,所有光谱图图像大小 为了方便后续的计算和一致性。

2.3。基于感知哈希算法实例转移学习

MI的谱图信号可以生动地反映特性变化尤其是对频带的能量。感知哈希(p-Hash)算法可以获得最敏感信息通过离散余弦变换(DCT)在人类和机器视觉系统(16]。这种转变集中图像矩阵的主对角线上的能量,有效去除冗余和不相关的组件。在特定脑电图任务,学科之间的特性分布信号可能存在差异,但形式的特性是一致的。因此,我们假设变化之间的不同的模式可以有效地感知和被p-Hash MI。

本文运用p-Hash测量跨主题相似的谱图数据。然后,获得相似的ITL系数转化为输入分类器结合相应的数据。ITL的实现基于p-Hash如下。

首先,一些符号的外延应该解释道。我们定义代表和目标对象的数据是其他对象的数据。让我们定义 一组实验的脑电图表现为光谱图的 , 目标主题,脑电图试验的数量,是一个方阵的维度,代表了 - - - - - -主题。 代表当前目标对象的平均光谱图。

在计算之前,谱图的图像和分别调整大小以 并转换为灰度级别。然后,离散余弦变换(DCT)是利用压缩图像:

和在变换后系数矩阵。和转换后的结果。能量变化后的图像DCT主要集中在低频部分(21]。因此, 矩阵位于左对角提取为后续计算。接下来,DCT系数的平均值计算,分别为:

此外,DCT系数的平均值与每个系数设置为阈值标准进行比较。规则的阈值,二维矩阵 可以压缩成一维的 矩阵 。 在哪里的感知哈希的职位 , DCT系数的平均值, DCT系数的数组。获得的 矩阵是代表感知哈希码(22]。

最后,分别计算出汉明距离的感知哈希代码和设置的距离 随着ITL权重系数从源域到目标域。为每个审判从源代码,重量可以计算:

的计算处理转移重量如图5。

2.4。卷积神经网络

研究表明,CNN在处理[MI信号有明显的优势23]。CNN是一个多层神经网络组成的一个序列的卷积,池、和完全连接层。卷积层提取输入图像的不同级别的特性由养犬的大小,而池二次抽样层减少了模型的复杂度。随着层次的增加,可以提取出更高级的功能。完全连接层将改变输出矩阵从最后一层 - - - - - -维向量(类的数量)。利用反向传播来减少分类错误。

卷积的层,可以将输入图像与空间滤波器卷积形成特征映射和输出函数,表示为

这个公式描述了l th功能映射层。前特性计算的地图吗乘以卷积内核和偏置参数 。最后,通过RELU函数映射完成 。

池层是夹在连续卷积层压缩的数据量和参数,减少过度拟合。马克斯池方法选择这项工作如下: 在哪里和是当前功能的位置地图吗和代表池大小。双完全连接层结构可以有效地将图像的多尺度特性。考虑多个影响因素的时间、频率和信道,本文使用双完整连接层改善将softmax层的性能。双向softmax在最后一层深网络是用来预测两个运动图像的任务的分配。

是地图和th特性代表一个输出概率分布。反向传播的梯度计算根据熵损失函数。

和我们使用了随机梯度下降法(SGD)优化器的学习速率为了提高网络训练的速度。 在哪里是学习速率,而代表内核k和权重矩阵代表偏差值。代表期望输出和实际输出的区别。有八层提出网络(图6)。

第一层是输入层,第二层是一个卷积层与内核大小 ;下一层是最大池大小与内核层 。接下来的两层有相同的内核的大小和功能。两个完全连接层,分别由10和2神经计算预测的标签。根据熵的梯度计算反向传播损失函数。随机梯度下降的势头(个)优化器是用于优化与学习 , ,和 。我们将minibatch大小设置为50,马克斯时代6。减少计算时间和防止过度拟合,我们采用辍学操作。提出了CNN模型总结表1。

2.5。评估分类性能

在我们的研究中,平均分类精度和kappa值是用来测试的性能提出了框架。kappa值是一个典型的脑电图分类性能评价方法可以去除随机分类结果的影响。它可以计算如下:

评估实例转移学习的有效性,三个培训策略进行了比较。至于主题相关的方法(图7),共720次试验为一个主题分为训练数据和测试数据using10-fold交叉验证。

广义模型训练使用数据从其他学科( )在subject-independent训练阶段(图8)。

在ITSD方法,加权数据与目标数据输入到训练集的数据是用于测试模型性能;数据分区的方法显示在图9。

显示大小的训练和测试数据更清晰,我们简要总结的三个培训策略表的数据2。

3所示。实验结果和分析

3.1。提出了框架的性能

在本文中,我们使用BCI竞争第四集2 b来验证该方法。为每个主题在ITSD在训练阶段,我们提供从其他科目数据集实例转移(图9)。源数据和目标数据的混合后,我们调整实例的数量保持类平衡训练阶段。评估不同的训练策略的性能,我们比较不同方法的分类精度。

如表中所描绘的一样3,SD培训策略比如果基于CNN分类器即使如果获得更多的培训数据。这表明MI-EEG从不同学科会导致一个明显的差异特性相同的标签。ITSD-CNN的平均分类精度优于SD-CNN,得到14.1%的提升。值得注意的是,课题2和3可以更好的适应模式偏好通过有效地数据传输大大提高分类精度。

验证结果的意义,方差分析。如图10之间没有显著差异,SD-CNN SI-CNN,虽然ITSD-CNN执行的策略比其他两种方法满足收敛性和精度高( )。

通过观察训练过程,小样本的弱点可以直接影响网络训练的结果。有效的数据传输可以增加样本的数量来提高网络的泛化,防止underfitting。此外,该方法可以有效地减少分类器由于个体差异的影响。

3.2。比较与先前的研究

数字的方法提出了使用BCI竞争第四集2 b MI分类。在本节中,我们进一步将我们的方法与常用的策略意味着kappa值的度量。基于的分析表4和图11,我们可以观察到ITSD-CNN优于基线和最先进的方法。值得注意的是,混合框架基于CNN获得理想的结果在这些方法。这表明,CNN在MI分类具有较强的鲁棒性和精度高。此外,实例转移有效提高分类性能的CNN使用相同的模型和参数。

4所示。讨论

与传统方法相比,深度学习的应用脑电图分类已经成功地提高了性能(28]。然而,仍有一些局限性阻碍其应用在实践中。脑电图总是显示不同的功能分布在同一个精神任务跨科目/会话,这可能会导致在网络训练过度拟合。转移学习是帮助主题/会话分类性能。它可以用来初始化一个BCI利用其他学科的知识转移的一个幼稚的话题。同时,这种策略可能有助于全球特征分类器学习所有科目不陷入局部最优。因此,转移学习结合的优势SI和SD策略优于他们。在未来的研究中,它是有价值的设计一个解码模型基于转移的脑电图结合深层神经网络学习。

另一个限制是小规模样本训练分类器。严格的质量要求和收集脑电图数据很难在实践中获得大型数据集。基于款脑电图解码的性能直接关系到训练数据的数量。数据增强是一个有前途的方法来解决这个问题。如前所述在引用(29日,30.),人工生成的数据可以用来训练分类模型和脑电图的增强方法已被证明是有效的解码。生成的数据集可以提高模型的复杂度和鲁棒性。传统的增强方法包含几何变换和模型生成,这需要很长时间来准备和选择合适的生成的数据。它占用大量计算资源的BCI系统。因此,数据从一个可用的数据库增加可能会提供一个可能的方法。在这项研究中,提出实例转移从其他学科学习可以很容易地获取数据并传输数据自适应地分配权重,学科之间实现数据的利用率最大化。虽然这种方法的训练过程类似于subject-dependent策略,即。一个新的参与者,它需要验算;低成本的计算不会BCI的操作系统的负担。在后来的研究中,我们将探索学科之间变化的细节,实现更有效的转移学习。

5。结论

在本文中,我们提出一个新颖的实例转移与深层神经网络学习方法申请subject-dependent BCI系统中的运动图像的分类。在这项工作中,我们首先将原始数据转换成STFT的声谱图图像。然后,实例转移学习基于感知哈希算法是利用测量数据之间的相似性的源域和目标域。接下来,我们相似转换成传递权重系数实现单个试验的数据传输不同科目。最后,一个卷积神经网络构建来验证提出方法的性能和其他一些方法用来评估结果。实验验证实例转移学习的感知哈希算法可以有效地提供数据增加基于subject-dependent培训战略和提高分类器的性能,它展示了卓越的性能和潜力提出了小说的培训策略。与此同时,该方法提供了一个解决方案的弱点小样本深层神经网络。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究受到了陕西省的发展计划(批准号2018 zdcxl-gy-06-01)和中国国家重点研究和发展计划(批准号2017 yfc1308500)和特殊指导资金建设世界一流大学(学科)和中央大学的特色发展。