基于运动想象和P300的脑机接口脑电分析框架

摘要

基于运动表象(MI)和P300的混合脑机接口(BCI)是一种优选的策略，旨在通过结合各自的特征来提高检测性能。然而，目前用于组合这两种模式的方法分别优化它们，这并没有导致最佳性能。在这里，我们提出了一个有效的框架，通过将MI和P300的特征以块对角形式连接在一起来优化它们。然后采用双谱范数正则化的线性分类器对组合特征进行分类。在此框架下，可以直接学习、选择和组合MI和P300的混合特性。在基于MI和P300的混合BCI数据集上的实验结果表明，该方法与其他传统方法相比具有较好的性能。这提供了一个证据，证明本文所使用的方法有助于混合BCI中大脑状态的识别性能。

1.介绍

基于脑电图(EEG)的混合脑机接口(BCI)因其比单模型BCI具有更高的判别性能和更多的控制指令而备受关注[1- - - - - -4］.总的来说，许多研究工作都集中在基于不同BCI模式的实验范式设计上，以提高识别性能[3.- - - - - -6］.然而，在机器学习术语中，分析BCI模式的不同模式的方法对于改进判别性能也很重要。

BCI中的信号分析旨在预测用户在指定选项之外的大脑状态[7，8］.如何通过不同的方法提高单模态BCI下的检测性能是目前研究的重点。这些数据分析方法已应用于不同的步骤，如特征提取和选择(如公共空间模式[9，10.];结合启发式频带选择的独立分量分析[9];带权重(11.，12.])和分类(如线性分类器[13.- - - - - -15.]，非线性分类器[14.，16.，17.，以及半监督学习[18.，19.])。此外，一些人还试图开发一种具有统一准则的判别方法，用于从训练数据中优化分类器系数(如空间滤波器和时间滤波器)[20.- - - - - -22.］.

与单一模式脑梗死不同，混合型脑梗死存在两种或两种以上的脑梗死模式(如MI和P300)。在机器学习方面，挑战在于这些模式在信号中包含不同的顺序信息[3.］.对于基于MI的BCI，使用二阶信息，而对于基于p300的BCI，使用一阶信息。这就导致了在应用传统统计分析来结合和学习大脑模式方面的困难。许多在混合BCI下分析信号的尝试是通过分别从不同的模式中提取特征，然后将它们连接到一些相对简单的分类器中来进行的[2，3.］.然而，这些方法结合和学习的特征间接导致非优化的分辨率。

本文在前人研究的基础上，重点研究了混合BCI范式，包括MI任务和P300任务。这表明大脑信号包含一阶和二阶信息。为了克服上述挑战，我们提出使用一种判别方法，尝试直接结合和学习混合特征。这里应用的判别方法是由Tomioka和Müller提出的单模态BCI [22.］.用于P300任务的信号的一级信息和用于MI任务的信号的二阶信息以块对角线形式组合。可以在双光谱调节下系统地选择和学习这些组合特征。我们的实验结果和数据分析表明了这种判别方法的效率。

2.材料和方法

2．1．实验与脑电图数据采集

仪表设备（NeurosCan）用于测量数据采集的头部EEG信号。每个用户佩戴eeg帽（LT 37），用于测量来自电极的信号。EEG信号被引用到右耳。排除两个通道，“heog”和“veog”，代表眼球运动（这里未显示）。用于处理的EEG从Ag-AgCl电极记录，所述Ag-AgCl电极放置在额，中央，顶叶和枕骨区域中的位点。以下15个通道包括：“FC3”，“FCZ”，“FC4”，“C3”，“CZ，”C4“C4”，“CP3”，“CPZ”，“CP4，”P3，“P3，”P3，“P3，”P3，“P3，”P3，“P3，“”p4“，”o1，“”oz，“和”o2“。所有阻抗保持在5kΩ以下。eEG信号被扩增，在250Hz处采样，带通滤波在0.5至100Hz之间。

在这项实验中，数据从十二名志愿者（10名男性，2名女性）收集，年龄在22-35岁的范围内。用于组合P300和MI的图形用户界面与我们之前纸张中的描述相同[2，如图所示1．屏幕周围有8个闪烁的按钮。数据采集的试验设计如图所示2．在每次试验的初始状态（0-2.25秒）中，屏幕在从2.25到4秒的交叉显示在2.25到4秒以吸引受试者的视觉固定之前仍然为空白。从4秒到8个向上或向右箭头提示，并指示主题执行P300任务或MI任务（表1）.下一次试验在间隔4秒后开始。在这段时间里，受试者被要求放松。当提示(即向上/向右)出现时，8个按钮开始以随机顺序交替闪烁。每个按钮增强100毫秒，两次连续按键闪烁的时间间隔为120毫秒。因此，在960毫秒的时间内出现一轮按钮闪烁，每一轮在每次试验中重复4次。在P300任务中，被试被要求在没有任何动作想象的情况下专注于上中心按钮，而在MI任务中，被试被要求在没有任何按钮注意的情况下执行右手想象。有两个阶段，每个阶段由100个试验组成(每个任务50个试验)。第一个会话用于生成训练数据，测试数据来源于第二个会话。

2．2．数据预处理和模式提取

此数据集涉及两种类型的任务：与P300相关的任务，另一类对应于MI（表1）.在P300任务中，分类的类别是向上的中心按钮注意或不注意(向上或右箭头)，而在MI任务中，分类的类别是右手运动表象和没有运动表象(向上或右箭头)。首先，我们将在下面分别介绍这些任务的数据预处理过程。

在P300任务中，首先对脑电信号在0.1-20 Hz范围内进行带通滤波，然后下采样至60 Hz。接下来，将来自一个通道的信号分割成多个纪元，每个纪元在按钮(本实验中是向上中心按钮)闪烁后从0到600毫秒。每个特定按钮的闪光第3次试验，将15个通道的数据向量串接得到历元向量，记为,在那里和．的特征向量审判是通过对特定按钮闪烁的4次重复对应的4个历元向量进行平均得到的，并分配给一个目标．如果训练期间的试验对应于没有运动想象的特定按钮的注意力，则标签设置为+1。否则，标签为−1。然后，我们应用空间和时间预处理矩阵和为每个通道标准化和时间点以单位方差为．的和定义如[22.］.我们也选择和,在那里和是空间和时间域中的协方差矩阵。

在运动想象任务中，EEG数据在8-30 Hz范围内进行带通滤波，下采样至100 Hz。带通滤波信号数据为试验在球杆展示时开始，在球杆消失时结束和．目标与P300任务相同。在这里，我们使用了运动想象任务的二阶协方差项模式。与P300任务中的规范化类似，该模式也通过应用空间白化矩阵进行规范化(例如,),是空间域中的协方差矩阵[22.］.

用上述提取的P300模式和运动图像为审判，我们可以定下来作为块对角线连接的两者如下所示: 在哪里和为将每个特征标准化为单位方差的归一化因子，定义为每个块元素总方差的平方根[23.］.

2．3.线性分类

这里使用的分类器是线性函数，如下图所示: 在哪里，矩阵的大小是否合适是一个偏见术语。是两个矩阵的内积吗和（表示矩阵的元素）.表示,在那里是空间滤波器，只有前几个空间滤波器才足以像基于CSP的方法那样获得良好的分类性能。

在测试之前,参数对上述线性分类器进行训练得到。训练模式以及相应的真实目标，参数可通过使用双谱(DS)范数正则化器求解以下约束极小化问题来学习[22.，24.，25.]： 在哪里是重量矩阵的奇异值和是的等级．是控制模型复杂度的超参数，通过与训练数据集的交叉验证选择。对于每一个科目，值在0.1到10之间搜索，步长为0.2，并在交叉验证后设置为平均性能最好的数字。

因此，利用训练参数，我们可以预测模式的目标从测试数据集如下所示:

如上所述,我们可以看到,线性分类器可以选择和学习特征系统地根据双谱的规定,在这一功能是由结合在一块对角形式的一阶信息信号P300任务和MI的信号的二阶信息的任务。该框架可以直接为MI和P300的特性优化提供一种途径。

2.4。验证分析

为了比较，我们还使用了BCI社区最常用的方法进行了数据分析。对于MI任务的数据分析，我们采用公共空间模式(CSP)作为MI特征，线性判别分析(LDA)作为分类器(CSP-MI)。而对于P300任务的数据分析，使用逐步LDA作为分类器(SL-P300)。为了进一步证明我们使用的方法的效果，我们使用PROB方法进行分类[26.，我们之前已经介绍过[2，3.］.该方法结合了MI和P300模式的特点。分别利用CSP方法得到的MI特征向量和带标签的P300特征向量训练线性判别分析(LDA)分类器。使用相应的分类器计算每次试验的MI特征向量和P300特征向量对的两个分数。如果平均分数大于0，则该标签为1。否则，标签为−1。

3.结果

在进行测试之前，正则化常数通过10倍交叉验证，筛选出成绩最好的受试者，见表2．采用上述方法所选正则化常数得到的分类性能如表所示2平均精度为92.8％（DS-Hybrid）。我们还单独使用MI和P300进行分类，如表所示2．他们的平均个体分类准确率为79.6% (DS-MI)和81.4% (DS-P300)。的配对-检验表明，MI与P300相结合的结果比仅MI得到的结果更准确()或P300 (）.

采用标准算法对MI和P300范式进行数据分析的分类性能分别为79.3% (CSP-MI)和82.8% (SL-P300)，见表2分开。的配对-test统计分析表明，DS-hybrid分类精度优于CSP-MI ()及SL-P300 ()方法。平均分类准确率为87.6% (probi -hybrid;表格2）.的配对-test表明，该方法得到的分类精度也优于PROB方法(）.该结果提供了这种方法效率的证据。我们还使用数据的两个会话进行了10倍的交叉验证以复制结果，提供此方法的效率的进一步证据。我们还对测试集中的每次重复进行了分类。如图所示2而MI与P300 (DS-hybrid)相结合的方法在两次重复后的分类准确率比其他方法更稳定、更好。这表明使用我们的方法可以在更短的时间内获得更好的性能。

数字3.显示信道权值的地形(即，第一个空间滤波器的前15的平均值和第一个空间滤波器的后15个值在(1)， MI范式的CSP变换矩阵第一行，P300范式的分类器权值)，使用S1的训练数据集得到。我们可以看到，左运动皮层和枕叶皮层都参与了DS-hybrid的识别，而DS-MI仅参与了左运动皮层，DS-P300仅参与了枕叶皮层。头皮图的这种模式在所有受试者中是一致的。

4.结论

在这项研究中，我们建议使用具有用于多模分类的双光谱规范器的线性分类器。相对于概率或其他传统方法，该方法可以执行特征学习，特征选择，并通过直接通过间接多步之外直接结合的特征。该方法允许我们在优化框架中与分类器的培训共同执行特征学习。特别地，该方法可以以块对角线方式连接MI和P300的特征，允许我们通过更有效的方法将它们优化在一起。

相互竞争的利益

两位作者宣称没有相互竞争的经济利益。

致谢

国家重点基础研究发展计划(973计划)资助项目(no . 2015CB351703);国家高技术研究发展计划(863计划)资助项目(2012AA011601);国家自然科学基金资助项目91420302,61403147,61573150;广东省自然科学基金资助项目2014A030312005、2014A030313233。

参考文献

1. B. Z. Allison, C. Brunner, V. Kaiser, G. R. Müller-Putz, C. nepper，和G. Pfurtscheller，“基于想象运动和视觉注意的混合脑-机接口”，神经工程杂志，第7卷，第5期2、文章ID 026007, 2010。视图:出版商网站|谷歌学者
2. 龙杰，李勇，王华，余涛，潘杰，李飞，“一种控制模拟或真实轮椅方向和速度的混合脑机接口，”神经系统与康复工程学报，卷。20，不。5，pp。720-729,2012。视图:出版商网站|谷歌学者
3. 龙俊，李勇，余涛，顾志忠，“基于bci的二维光标控制的混合特征目标选择，”生物医学工程学报，第59卷，第59期1，页132-140,2012。视图:出版商网站|谷歌学者
4. G. Pfurtscheller, T. Solis-Escalante, R. Ortner, P. Linortner，和G. R. Muller-Putz，“有或没有基于图像的‘脑开关’的ssvep矫形器的自节奏操作:对混合BCI的可行性研究，”神经系统与康复工程学报第18卷第2期4, pp. 409-414, 2010。视图:出版商网站|谷歌学者
5. C. Brunner, B. Z. Allison, D. J. Krusienski等，“在离线模拟混合脑-机接口中改进信号处理方法”，神经科学方法杂志第188卷第1期1，页165-173,2010。视图:出版商网站|谷歌学者
6. 李勇，潘军，王芳，“基于P300和SSVEP的混合BCI系统及其在轮椅控制中的应用”，生物医学工程学报，卷。60，不。11，pp。3156-3166，2013。视图:出版商网站|谷歌学者
7. G. Pfurtscheller，G.R.Müller-Putz，A.Schlögl等，“格拉茨技术大学15年BCI研究：当前项目”神经系统与康复工程学报第14卷第2期2，页205-210,2006。视图:出版商网站|谷歌学者
8. J. R. Wolpaw, N. Birbaumer, D. J. McFarland, G. Pfurtscheller，和T. M. Vaughan，《用于沟通和控制的脑-计算机接口》，临床神经生理学，第113卷，第113期。6，页767-791,2002。视图:出版商网站|谷歌学者
9. B. Blankertz, R. Tomioka, S. Lemm, M. Kawanabe, k - r。Müller，“为稳健的脑电图单次试验分析优化空间滤波器，”IEEE信号处理杂志，第25卷，第2期1，第41-56页，2008。视图:出版商网站|谷歌学者
10. H. Ramoser，J.Müller-Gerking和G. Pfurtscheller，“在想象的手工动作期间的单试eeg的最佳空间过滤”康复工程学报，第8卷，第2期4，页441-446,2000。视图:出版商网站|谷歌学者
11. R. Tomioka, G. Dornhege, G. Nolte, K. Aihara, K.- r。Müller，“优化单一试验脑电图分类的光谱滤波器”，发表于模式识别，第4174卷计算机科学课堂讲稿，pp.414-423，Springer，柏林，德国，2006年。视图:出版商网站|谷歌学者
12. 吴伟，高贤，洪波，“基于迭代空间频谱模式学习(ISSPL)的单次脑电分类”，生物医学工程学报，第55卷，第55期6，页1733-1743,2008。视图:出版商网站|谷歌学者
13. V. Bostanov，“2003年BCI竞赛数据集Ib和IIb:使用连续小波变换和t值尺度图从事件相关脑电位中提取特征”，生物医学工程学报第51卷第1期6，页1057-1061,2004。视图:出版商网站|谷歌学者
14. F. Lotte, M. Congedo, A. Lécuyer, F. Lamarche, B. Arnaldi，《基于脑电图的脑-机接口分类算法综述》，神经工程杂志，第4卷，第4期。2、2007。视图:出版商网站|谷歌学者
15. G. Pfurtscheller和F. Lopes da Silva，脑电图事件相关去同步(ERD)与事件相关同步(ERS)脑电图:基本原理，临床应用及相关领域958,1999。
16. E. Haselsteiner和G. Pfurtscheller，“使用时间依赖神经网络进行脑电图分类”，康复工程学报，第8卷，第2期4，页457-463,2000。视图:出版商网站|谷歌学者
17. S. Rezaei, K. Tavakolian, A. M. Nasrabadi，和S. K. Setarehdan，《考虑大脑计算机接口应用的不同分类技术》，神经工程杂志，第3卷，第2期。2、2006。视图:出版商网站|谷歌学者
18. Li Y.和C. Guan，“基于迭代半监督支持向量机算法的联合特征提取与分类”，机器学习，第71卷，第71期1，第33-53页，2008。视图:出版商网站|谷歌学者
19. “基于自训练的半监督支持向量机算法及其在脑机接口拼写系统中的应用”，模式识别的字母，第29卷，第2期9，第1285-1294页，2008。视图:出版商网站|谷歌学者
20. M. Dyrholm, C. Christoforou, L. C. Parra，《双线性判别成分分析》，机器学习研究杂志， vol. 8, pp. 1097-1111, 2007。视图:谷歌学者
21. R. Tomioka和K. Aihara，“具有光谱正则化的矩阵”，“第24届国际机器学习会议(ICML’07)论文集，第895-902页，ACM, Corvallis, Ore, USA, 2007年6月。视图:出版商网站|谷歌学者
22. 富冈和k - r。Müller，“脑电图分析与脑机接口应用的规范化鉴别框架”，neuroimage.，第49卷，第49期。1, pp. 415-432, 2010。视图:出版商网站|谷歌学者
23. R. Tibshirani，《通过套索的回归收缩和选择:回顾》，皇家统计社会杂志。B.统计方法，第73卷，第2期3，第273-282页，2011。视图:出版商网站|谷歌学者|MathSciNet
24. M. Fazel，H. Hindi和S. P. Boyd，“一个排名最小化启发式启发式，应用于最小订单系统近似”美国控制会议论文集，第4734-4739页，美国弗吉尼亚州阿灵顿，2001年6月。视图:谷歌学者
25. d·j·麦凯信息理论，推理和学习算法，第7卷，剑桥大学出版社，2003年。视图:MathSciNet
26. G. Dornhege，B.Bableertz，G. Curio和K.R.Müller，“通过特征组合和多种多组范例促进了非侵入性EEG单试分的比特率”生物医学工程学报第51卷第1期6，页993-1002,2004。视图:出版商网站|谷歌学者

版权

版权所有©2017龙金毅等。这是一篇发布在知识共享署名许可协议，允许在任何媒介上不受限制地使用、传播和复制，但必须正确引用原作。