文摘
motor-imagery的脑机接口系统(MI-BCI)董事会的发展前景。然而,长时间校准和缺乏足够的MI命令限制其在实践中使用。为了扩大命令集,我们添加传统MI命令新命令的组合命令集。我们也设计一个算法基于转移学习,以减少收集脑电图信号的校准时间和培训模式。我们基于数据从传统的命令创建特征提取器并通过新命令的数据传输模式。通过比较之间的平均精度算法和传统算法和空间模式的可视化在我们的算法,我们发现我们的算法的准确性比传统算法要高得多,尤其是对于低质量的数据集。此外,空间模式的可视化是有意义的。该算法基于转移学习需要从源数据信息的优势。我们放大命令集,同时缩短校准时间,MI-BCI应用具有十分重要的意义。
1。介绍
技术解码大脑活动,脑-机接口(BCI)基于脑电图(EEG)使人们与计算机交互没有外围肌肉活动的参与,建立一个沟通大脑和计算机之间的桥梁。与信号处理、模式分类、机器学习、和其他技术,BCI系统翻译不同的大脑活动,比如细心的精神状态(1)、运动图像(2- - - - - -5](MI)等成机器指令控制设备。例如,它可以被用来控制无人机(5),帮助训练士兵6),帮助肌肉运动障碍的患者,如肌萎缩性脊髓侧索硬化症(7)、脑干中风(2,8恢复。
大多数研究对脑电图信号分类,研究人员正在高度关注电机产生的脑电图信号图像已广泛应用于许多BCI应用程序(2- - - - - -5]。运动图像BCI范式中,大脑活动产生的感觉运动皮层在想象肢体运动(9)如左手(LH),右手(RH),和两只脚在MI (F)。实验中,α的力量带(8 - 12 Hz)和β频带(13-30 Hz)增加或减少在同侧半球的感觉运动皮层和侧半球[10,11]。电源抑制和增强观察通过脑电图信号,分别称为事件相关去同步化(ERD)和与事件相关同步(人)12]。ERD /人可以用于翻译大脑活动模式,通过机器学习分类四肢的想象力。
然而,大多数MI-BCI希望应用程序的原型和仍然几乎之外使用实验室。在防止MI-BCI广泛付诸实践的原因,我们想给他们两个解决方案,这是长时间校准(13- - - - - -16)和缺乏足够的MI命令(17]。
第一个问题,即长时间校准,校准试验意味着研究人员需要大量训练科目和特定于任务的模式,耗费时间在收集数据和训练模式。由于主体和任务间EEG信号的变化18),训练样本需要从每一个MI命令包含EEG数据模型建设。因此,数据收集了BCI需要很多的时间。和数据集之间的差异很难给出一个模型适合每一个主题,而延长的时间训练模型。至于第二个问题,缺乏足够的MI命令可用于bci会降低。在传统的MI实验中,有近4类型的命令对象想象,左手,右手,两只脚,和舌头19]。
为了更多的命令添加到BCI系统的组合单一肢体命令可以被添加到命令集。例如,在现有的基础上MI命令(LH RH, F),我们可以得到命令相结合,同时运动的左手和右手(LH&RH),同时左手和双脚的运动(LH&F),和运动的右手,两只脚同时(RH&F)。然而,研究人员收集相同规模的数据集新MI命令这旧命令倍数数据收集所花费的时间。大小姐数据集也延长模型培训所花费的时间。除此之外,对于一个新的主题,新MI命令的想象力比典型的命令,导致他们训练这些命令很长一段时间的记录。由于越来越多、越来越复杂的局面,整个六命令,命令集的扩张就变得不那么可行。
为了缩短时间模型构造以及扩大命令集,转移学习将产生深远的影响。迁移学习算法使用数据集、特征或模型参数(20.]从源域训练模型在目标域,以减少训练数据的规模在目标域,这减少了采样和培训成本。在EEG信号的分类,有很多算法基于任务转移和subject-to-subject转移任务间和主体间的变化。在这些算法中,基于共同的空间格局特征提取器算法(CSP)的主流技术之一。CSP设计空间滤波器的方法,最大化两类数据的辨别力,使过滤数据的方差最优的分类(21- - - - - -23]。基于CSP和转移学习,研究人员提出了很多算法来生成空间过滤器从源域,例如,正规化CSP (24- - - - - -26CSP),固定子空间(27),贝叶斯CSP (28]。通过调整参数,找到共同的子空间,并利用贝叶斯模型,相似的特征从源对象可以共享,从源域特征提取器可用于目标域。
解决校准时间延长所致命令集是减少数据集的规模扩张为新收集的命令。因此,为了增加命令的数量在不延长校准时间的前提下,充分利用其他可用的是正确的数据为新的过滤器和分类器。虽然EEG信号的任务间变化到另一个不同的类,类功能特征保持不变的原则。因此,尽管它是不明智的,只需将训练集的旧命令添加到新类,之前的训练集的先验知识收集可以使用过滤器和分类器的构建新类。因此,使用学习转移到构建模型是最优的解决方案。从典型的命令和新命令我们把数据作为源数据和目标数据,分别。我们使用源数据来提高我们的目标数据模型的属性。
在本文中,我们提供一个空间模式传输算法。我们之前添加一个筛选过程利用空间滤波器产生的数据集的MI命令。为了缩小差异生成的过滤器和客观的过滤器,我们拒绝过滤器执行严重基于费舍尔比(29日,30.]。
本文的其余部分的结构如下。节2数据集,我们介绍我们的实验范式,以及我们的算法。节3实验结果显示。本文结尾部分的讨论结果4。
2。材料和方法
在本节中,我们显示我们的实验和算法用于在实验中记录的数据。
2.1。实验和数据处理
2.1.1。实验
我们记录大脑活动从5健康受试者的实验。BCI范式由六种不同的汽车图像的任务,即左手的想象力(1级),右手(二班),双脚(3班),左手和右手(4类),左手和双脚(5类),右手和两只脚的基础上(6类)。传统的命令,受试者更熟悉组合命令比较想象新的身体部位。因此,我们选择LH&F、RH&F LH&RH作为我们的新命令。
6分分离的实验是由短暂休息。运行一个由60试验(10的六类),总共产生360次试验为每个主题在每个类试验(60)。
在这个实验中受试者坐在电脑屏幕前的舒适的椅子上。在审判的开始,固定交叉出现白色的屏幕上。500毫秒后,图像的一个或两个箭头指向不同的方向对应于一个六类出现,4 s呆在屏幕上。图像之间的关系和MI命令显示在图1(一)。图像提示受试者执行MI任务要求,直到固定交叉后再次出现的外观形象。2.5秒的主题有一个短暂的休息,等待下一个试验。如图的范式1 (b)。
(一)
(b)
(c)
多通道脑电放大器与64个频道0.05和200赫兹之间的带通滤波和采样500 Hz用来记录脑电图,蒙太奇的图所示1 (c)。水平和垂直小城镇信号记录眼球运动检查,没有用于分类。
2.1.2。预处理
在预处理的过程中,我们删除噪声引起的眼睛和肌肉运动和选择有效的节奏(感觉运动节奏)为了提高相关信息。最初,我们rereferenced数据。左边的乳突期间被选为参比电极收集。为了避免数据一侧的偏见,我们rereferenced数据离线通过改变参考电极植入的平均价值的左和右乳突。我们将污染从坏通道通过通道周围坏通道的平均值来代替它们。然后,整个时间序列的脑电图数据在8-30赫兹带通滤波,像写在23]。我们跑ICA拒绝此次工件。我们从整个时期中提取时间从0.5秒段位于前指示执行MI后2 s指示。信号基线修正指示之前在间隔0 - 500 ms。最后,数据可视化处理筛选丢弃任何噪声试验。
2.2。方法
在本节中,我们显示我们的算法的总计划,详细描述每一个重要的组成部分。
2.2.1。的总方案的算法
的总方案中描述的算法是有组织的2,它可分为模型训练和模型试验。模型的训练包含四个组件。首先,收集脑电图信号在运动想象实验,预处理,分为源数据和目标数据根据我们的标准。第二,原始空间模式是由基于CSP的源数据的算法。第三,费舍尔比算法,我们将原始空间过滤器为目标数据空间过滤器。最后,特征提取的过滤器是作为输入到支持向量机(SVM)分类器31日,32训练模型。在模型训练之后,它可用于测试数据。测试数据的特点也提取转移空间过滤器。这些特性是作为分类器的输入测试模型。
2.2.2。数据传输标准和选择
预处理的数据将被分为源数据和目标数据。源数据来自旧的命令,和目标数据的新命令。为了提高传输的稳定性模型,我们需要选择适当的源数据正确的标签。在本节中,我们给我们的标准选择源数据和我们选择这些数据的原因取决于目标数据。最初,因为主体变化的每个主体之间的空间特征,我们选择源数据和目标数据相同的主题。和由于域适应(18转移学习地区)标准,我们选择最相似的数据之间的源数据和目标数据的身体部位的图像。例如,至于LH&F和RH&F的分类,我们使用LH RH和源数据的数据集。至于LH&RH和RH&F的分类,我们使用的数据集F和RH源数据。数据选择的标准也将部分中讨论4。4。
2.2.3。基于CSP的原始空间模式建设
的分类两个分布在一个高维空间,CSP算法设计空间滤波器,同时最大化方差为一个类和其他类方差最小化。基于协方差矩阵同时对角化的两个类,空间过滤器会导致特征的方差最优的歧视。
在传统的算法中,为了构建空间过滤器中提取最优特性,训练数据总是大的规模。通过使用源数据,我们可以减少对训练数据的依赖。为了使大部分的源数据,我们使用源数据构造空间过滤器。在下一节中,我们将一个特定的分类作为一个例子。我们将使用源数据(LH RH)构建源空间过滤器的分类目标数据(LH&F和RH&F)。
实验EEG信号从源数据表示为 矩阵 。 代表的是渠道的数量,是样品的数量每通道。是( )审判的EEG信号矩阵属于类( )。从韩类1指的是数据,二班是指RH。每个类的平均空间协方差矩阵可以计算的
从源数据协方差矩阵之和。和复合空间协方差矩阵可以映像
矩阵的特征向量,然后呢的对角矩阵对应的特征值。然后,美白的转换是获得
和从LH RH和增白和
然后,和可以映像
和是对角矩阵。是单位矩阵,和共享相同的特征向量。因此,这个属性使特征向量B有效的两个类的歧视。的矩阵呢第一个和最后一个特征向量 。空间过滤器可以计算为
2.2.4。基于费舍尔比模式转移
原始空间过滤器从源数据创建大规模。毫无疑问,原始空间过滤器适用于源数据。然而,并非所有的过滤器可以用来提取特性为目标数据。我们需要选择一个有价值的子集过滤器从原来的过滤器,过滤器源转移到目标过滤器。在本节中,我们简要介绍基于费舍尔比模式转移。我们需要的过滤器可以项目目标数据为最优特性具有更高的费雪比率。费舍尔比率的目的是找到特性的一个子集,在每个数据在不同的类之间的距离尽可能的大,而同一个类中的每个数据之间的距离尽可能小。因此,费舍尔比率的比率被定义为类内方差类之间的方差。有一个数据集它包含样品( ),属于C类。每一个样品有特性( )。有样品在一个类中。的平均值在一个类中。和是所有的平均值 。因此,费舍尔的比率可以计算为每个维度的特性
费舍尔比率越高的特性,更有识别力的两个类之间的特性。
回到模式转移,我们认为更多的最优滤波器,费舍尔特征提取的比例越高。因此,测试每一行的过滤器的性能,我们通过训练数据的投影特性生成原始空间过滤器。每个维度的得分在费舍尔比算法计算的特性代表每个空间滤波器的性能。基于CSP的原则,原过滤器从源数据应该分为两组,给予更大的特征值和小的特征值 ,分别。因此,选择的转移过滤器也应该在每组相同。我们将原始空间滤波器分成两组,生成,分别通过CSP第一个和最后一个特征向量。然后,我们选择相同数量的过滤器,在每组有更高的分数,和把它们转移过滤器。过滤器被描述为图的转移3
2.2.5。支持向量机的分类
在分类之前,我们使用我们的转移空间过滤器中提取特征的。转让空间过滤器 ,实验脑电图信号可以计算为
特征向量可以计算为
的方差行矩阵。
旨在发现决定类样本之间的边界,支持向量机是一种算法,可以有效地避免传统分类算法的缺陷,如过度训练,维度灾难,和局部最小值31日,33]。支持向量机分类器之间的距离最大化决策边界和保证金。由于支持向量机分类器的强度,它已经被广泛用于BCI分类(34,35]。
我们利用整个60试验的源数据从两个选择类在前一节中介绍了每个类和5试验的目标数据构建空间过滤器。过滤器的选择基于费舍尔比,我们选择了前4在最初的过滤器具有更高的分数。然后,我们转移到前面的5个试验目标数据训练特点,选择的空间滤波器。结合相应的类标签信息的培训,我们训练的分类器模型。
至于SVM分类器,高斯径向基函数作为核函数,和five-hold交叉验证选择合适的参数用于测试的数据。
3所示。结果与讨论
我们在我们的数据集的算法的性能与两种流行的算法相比,CSP和功率谱密度(PSD) (36]。我们利用每一个算法来提取特征测试的目标数据集。在CSP算法中,我们使用空间滤波器产生的目标数据。至于PSD,我们使用从单向脑电图功率谱密度值数据在特定渠道(C3、C4和Cz)。我们也计算平均PSD的三个渠道。为了测试算法的鲁棒性,我们使用12-CV 5次在目标数据集的每一个主题。为了减少传输数据的规模,在交叉验证,我们使用1/12作为训练数据和测试数据的11/12。我们将比较所有算法的平均精度。和比较不同算法的不同区别的模式将显示在接下来的部分。此外,为了使对比更特别,空间格局已经说明了专注于特定的大脑区域。
3.1。PSD分析数据集
为了测试EEG数据的可用性,PSD特性在特定渠道运动皮层(C3、C4和Cz)计算基于时间傅里叶变换为每个审判的脑电图数据。可以观察到明显的差异平均PSD的两个目标任务。想象LH&F运动导致的减少α和β乐队的力量在C4和Cz渠道和增加在C3,而相反的现象发生在想象RH&F运动。这种现象从PSD分析证实了ERD / ERS的描述。图4显示了平均功率谱通道C3, Cz,和C4第三主题,提出了两个任务之间的明显差异,尤其是在10 - 30 Hz。
3.2。空间模式说明
为了显示转移空间模式的优越性,我们从算法和可视化空间模式传统CSP算法,比较它们的可视化。两个最歧视的可视化空间模式提取通过两个算法从第三和第一主题中说明了数据5和6。在这两个人物,在第一行的空间模式生成算法,生成和空间模式在第二行从CSP。至于两个主题,3日主题为算法的分类精度高于第一主题。第三主题在我们算法的精度和CSP分别99.09%和98.18%,两种算法的精度高,算法的优化只能有点增加。至于第一主题,精度,分别为69.17%和56.67%,在CSP算法精度较低,但有很大的提高精度造成的传输算法。在图5,可视化显示,可以在FC5区别的权重最高,FC6渠道模式的算法和CSP。我们的算法和CSP的生理证据类似于PSD分析。结果表明在图6,可视化显示的模式从我们的算法比模式CSP的清晰,这是导致健康PSD比较传统的算法。优化的空间格局也会造成分类的增加。
3.3。分类结果的测试集
列出了所有算法的平均分类结果表1并显示在图7。至于每个科目的每个任务,我们运行12-CV 5次和收集的平均精度和准确性的范围。因为不同质量的数据从每个主题,每个主题在每个任务的平均精度变化在一个大范围。然而,我们发现,我们的算法执行比两个基线算法在大多数主题。此外,它执行更好的数据集在运动图像表现糟糕的任务。基于传统算法的准确性,我们发现第一和第四主题的精度在所有的精度相对较低,这意味着第一和第四主题表现更糟糕的是在所有的科目。区别之间的精度算法和传统算法如图8。我们可以发现增加的准确性第一和第四是所有的受试者相比更加引人注目。
3.4。分类结果在不同的任务
为了检验算法的性能分类不同的任务时,我们使用的空间在不同的命令模式传输算法的任务。我们使用数据从LH RH作为三种不同的目标数据的源数据分类、目标数据从旧命令,新的命令,新旧命令。针对源数据,我们选择与第一组LH与RH,和LH&F vs RH&F为第二组。至于第三组是旧命令和命令之间的分类,我们让每个分类两组LH与LH&F, LH与RH&F, LH与LH&RH, RH和LH&F, RH和RH&F, RH和LH&RH, F和LH&F F与RH&F和F与LH&RH。分类结果列在表中2并显示在图9。比较所有任务的准确性使用相同的源数据,我们发现我们的空间过滤器可以分类两老命令和新命令类似的准确性。然而,至于新命令和旧命令之间的分类,精度严重影响MI的相似的任务。根据精度在第二组的比较,我们发现每一个新的命令一种旧的命令很相似,应该作为源数据分类的新命令。例如,比较的LH与LH&F, RH和LH&F,和F与LH&F,我们发现LH与LH&F真的引起了低精度对比的准确性RH和LH&F和F与LH&F。
4所示。结论
为了增加更多的MI命令,我们将结合传统MI命令添加到BCI系统。减少人员支出的时间收集数据和训练模型的新命令,本文提出了一种新的特征提取算法基于转移学习。一方面,它降低了长时间校准通过充分利用现有数据和减少训练数据的数量在新MI命令。另一方面,它增加了较少的训练样本的分类精度BCI系统。我们的算法解决的问题长时间校准和缺乏MI命令,以及增加了准确性。此外,由于其低的受试者显著提高性能的准确性在传统CSP分类,这有利于受试者不能BCI系统很好地执行。我们的算法让BCI系统更加友好为主题。没有必要科目训练了很长一段时间为了适应MI的任务。
我们我们的算法和传统算法相比在我们实验室收集的数据集。从生理上我们的算法更合理的空间模式在恶劣表现主题。我们的算法比传统的算法性能更好。
总之,我们的算法比传统算法特别是科目较少的训练样本和糟糕表现在传统算法。具有良好的性能和稳定性,我们的算法可以减少训练样本的新MI命令将源数据从旧MI命令。
空间模式的方法适用于两类之间的差别。通过改变多类分类成二进制类,我们的算法也可以用于多类问题。在未来,有了更先进的特性提取器从我们的算法,我们可以利用它深转移学习的特征提取。的帮助下学习算法和最优特性,分类的性能可能会变得更好。
数据可用性
使用的数据来支持本研究的发现并不公开可用的同济大学,但由于技术政策从相应的作者在合理的请求。
的利益冲突
作者宣称没有利益冲突有关的出版。
作者的贡献
Xuanci郑、李杰和红飞霁整个研究设计。Xuanci郑和丽丽段进行了研究。Xuanci郑,杰李设计的算法。Xuanci郑做数据分析。Xuanci郑和李Maozhen写的手稿。杰壮族,天高、Rongrong Lu和乎彭日成贡献收到评论后的手稿。杰壮族,Rongrong Lu和天豪高帮助完善数据分析。乎彭日成帮助改进代码。,由于作者的疏忽,杰壮族Rongrong,天高乎彭日成是忘记添加到作者列表之前接受。
确认
这项工作是支持部分由上海市科学技术委员会授予18 zr1442700,部分由上海国际科技合作基金19490712800,和部分程序特别任命(东方学者)教授上海高等学校(没有。TP2018056)。
补充材料
算法的补充材料包含代码的手稿。代码的详细描述中可以看到README。md RAR文件中的文件(补充材料)