开发单通道混合使用运动图像和SSVEP的BCI系统

文摘

因为它使得基于脑电图众多脑机接口(BCI)系统正在开发关注小说特征提取算法,分类方法,结合现有方法创建混合好像。最近的一些研究表明各种优点的混合BCI系统的一种改进的准确性或可用的命令数量用户。但是,日常使用BCI系统还远未实现。拥有高性能少数量的渠道是存在的具有挑战性的问题之一,特别是与混合BCI系统,多个通道是必要的记录来自两个或两个以上的EEG信号组件的信息。因此,这项工作提出了一种单通道(C3、C4)相结合的混合BCI系统运动图像(MI)和稳态视觉诱发电位(SSVEP)方法。这项研究表明除了MI特性,SSVEP的特性也可以捕获从C3和C4通道。结果表明,由于丰富的特征信息(MI和SSVEP的)在这些渠道,提出混合BCI系统优于MI -和SSVEP-based系统在平均分类精度为85.6±7.7%两种任务。

1。介绍

脑机接口(BCI)建立human-to-device通信通道的大脑信号翻译成机器代码来控制外部设备或应用程序(1,2]。过去十年中,取得前所未有的发展领域的BCI试图将实验室研究现实世界的应用程序(3]。众多的技术特征提取方法(4- - - - - -6)、分类算法(7,8),和实验范式(9,10已经开发出来。大多数的这些系统是基于一个脑电图的形态,也就是说,他们使用汽车图像(MI) [9],P300 [10),或稳态视觉诱发电位(SSVEP) [11]。最近,混合BCI系统开始获得由于其重要性有前途的好处的分类精度为用户或用户命令的数量(12,13]。混合BCI系统是一个主要的结合BCI系统与另一个通信通道,它可以是一个BCI或另一个系统基于生理信号识别的肌电图(EMG)和electrooculography(小城镇)。因为它使得基于脑电图的例子混合BCI系统包括心肌梗死+ SSVEP的(14- - - - - -17],SSVEP + P300 [18,19],SSVEP +肌电图(20.]。它已经表明,它甚至可以创建一个vision-independent混合BCI系统结合听觉和触觉P300识别(21]。在这项研究中,我们关注的是技术发展的混合使用MI和SSVEP的BCI系统。

尽管SSVEP是一种有效的BCI方法与各种各样的应用程序,添加MI特性是一种方便的方法来改善它,因为MI的实现不需要提供任何额外的视觉刺激的运营商,只是认知任务。近年来,一些研究对混合BCI的发展做出了巨大的贡献结合MI和SSVEP的:一个五频混合动力系统利用C3, Cz, C4、O1,和O2渠道22),和一个四通道混合系统利用C3, C4、O1,和O2 (23]。中央和枕叶区域的选择是基于事实,从运动和视觉皮层脑电图信号处理提取MI和SSVEP的特性,分别。尽管他们不需要特殊培训,测量精度高,SSVEP-based BCI系统强烈有限需要脑电图电极的放置在枕骨区域,在一些情况下这可能会产生问题。例如,它可能发生如果BCI运营商面对撒谎,坐在一个座位头枕,或使用脑电图系统根本没有电极在枕区。它已经表明,它甚至可以测量SSVEP的信号从non-hair-bearing地区(24),但降低了信噪比可以准确BCI的发展的障碍。在我们之前的工作中,我们证明了SSVEP的信息也可以从中央脑电图频道(25,26)和MI的特性是一种有效的方法补偿拒绝SSVEP的性能(27]。获得良好的BCI的准确性是很重要的,它还需要几通道系统实际应用取决于应用程序。已经证明MI-related特性可以提取一个脑电图通道使用短时傅里叶变换(STFT)和公共空间格局(CSP) [28]。

这些发展,这项工作的目标是开发一种混合BCI系统采用MI和SSVEP的使用单通道从中部地区(C3、C4)。脑电图记录,受试者被要求执行三个不同的任务,即(1)右手(RH)和左手(LH),(2)视觉关注15赫兹或20 Hz SSVEP的闪烁,和(3)执行MI和SSVEP的同时。由于MI的存在与事件相关的desynchronisation (ERD)特性和SSVEP的主峰闪烁频率,混合BCI料显示更好的性能相比,BCI单一模式。实验设计的细节部分进一步讨论2。提出了单通道系统,我们应用短时傅里叶变换(STFT)和常见的频率模式(CFP)特征提取的方法。线性判别分类器(LDC)被用来估计的分类精度。结果表明,由于丰富的特征信息从中央通道的混合条件下,提出的混合BCI系统可以实现分类精度高85%,利用一个脑电图通道。参见3更多细节的结果。

2。材料和方法

2.1。参与者

十七岁的受试者(12男,年龄:23.1±2.6年)没有任何健康疾病的历史参与了这个研究。所有受试者正常或矫正到正常视力。实验过程中,每个参与者被告知和书面同意书。所有的参与者和BCI没有经验。执行的实验是按照国家的法律和制度审查委员会批准(IRB)的国立交通大学(变),台湾新竹。

2.2。实验范式

在实验中,每个参与者的研究是坐在一个舒适的位置和执行三个不同的任务如下:(1)MI任务:这个任务包含两个类,左手和右hand-imagined运动。经过初步训练,三个交易日MI数据记录。在每个会话中,15个试验每个类都被记录下来。结合三个交易日,这个任务由45试验每个类。参见图1(一)这个任务的模式概述。MI刺激,留下线索提出了作为主体的指示执行左手MI和适合右手MI的线索。(2)SSVEP的任务:在这个任务中,被试被要求专注视觉上刺激呈现在屏幕上闪烁的黑/白(21“LCD, 60 Hz刷新率,1920×1080分辨率)。使用的频率刺激表示15赫兹和20赫兹(见图1 (b))。三个交易日SSVEP的数据记录,每个会话包含10试验/类。(3)混合的任务:在这个任务中,受试者被要求专注视觉上闪烁的SSVEP的刺激,同时执行右手(RH)心肌梗死或左手(LH) MI。包括以下两类:(1)RH-MI + 15 Hz-SSVEP和(2)LH-MI + 20 Hz-SSVEP。参见图1 (c)这个任务的概述。左线索(编程呈现闪烁在20 Hz)表明用户执行LH MI和数字闪烁。同样,一个正确的提示(闪烁15赫兹)表示用户执行RH MI和数字的刺激。三个交易日的混合任务为每个主题,记录每次会议由15个试验每个类。

(一)

(b)

(c)

遵循了类似的过程与上述所有任务空白2秒,然后固定(加号)2秒,和刺激提示4秒。受试者被要求执行一个任务在整个持续时间的提示显示。没有反馈提供给受试者在试验期间,所有的分析都是离线。每个主题三个上述任务在一个随机的顺序执行。

2.3。数据采集和预处理

32路(与脑电图电极放置10 - 20国际体系,见图2从Neuroscan)系统是本研究中使用脑电图记录。获得的数据采样率为500 Hz,和所有的频道都保持的阻抗低于5 kΩ。所有的预处理和分析步骤进行离线在MATLAB 2014 b和使用EEGLAB [29日MATLAB工具箱),脑电图数据处理。记录脑电图数据过滤使用1 ~ 50 Hz带通滤波器去除电力线噪声(60 Hz)和其他高频噪音。然后,提取时代进行进一步分析。

2.4。短时傅里叶变换)

STFT信号(数据)频道分为许多部分,然后分别计算每个部分的傅里叶变换。STFT,时间序列信号从一个脑电图通道变成了时频域窗口段大小为500 ms和250 ms的重叠。MATLAB函数谱图信号处理工具箱用于实现STFT。

2.5。常见的频率模式(CFP)

常见的空间格局或CSP是一个著名的MI特征提取算法(30.]。CSP发现时间序列的最优空间格局EEG信号,而这些空间模式负责区分两类。类似于CSP, CFP关注最佳频带区分两类基于频域数据(26,31日]。在我们之前的工作中,我们实现了CFP采取功率谱(PSD)作为输入(25,26]。通常情况下,从多个渠道获得的PSD(形成一个二维矩阵)是CFP采取作为输入。然而,单通道系统缺乏的能力形成一个二维矩阵采用PSD。在单通道实现STFT时间序列数据包含时频信息可以输出一个二维矩阵,这是一个似是而非的CFP的输入。CFP然后获得的特征用于分类目的来评估系统的性能。CFP-based特征提取的算法如下。

时频数据的协方差(E)为每个审判计算如下:

组合协方差估计的协方差求和每组(所有试验一组平均):

一个美白的转换应用,这样所有的特征值等于1,在哪里和的特征向量和特征值吗分别为, 。

和被改变了和,他们的共同特征向量如下:

的总和和等于1。最大特征值的特征向量将最小的特征值反之亦然。一个新的试验数据(E)的时频映射投影矩阵如下:

第一个和最后一个过滤器提供最大方差的最小方差为一个类和其他类。特征向量计算如下:

的信号( , )是通过选择第一个制定米和最后一个米过滤器,协方差最大化的两个类之间的区别。获得的特征向量与CFP将传递到分类阶段估算BCI系统的性能。

提出了混合BCI系统的框架如图3。在这项工作中,所有的分析和结果都是基于一个单通道,使用C3和C4通道。

2.6。分类

LDC分类器应用于估计分类精度在使用5倍交叉验证实现的任务。在每一个褶皱,训练数据用于生成CFP的权重矩阵,然后它被应用于测试数据生成测试功能。PRtool 5,模式识别MATLAB工具箱,用于分类的目的。一个配对t以及用于验证显著差异之间的表演提出了混合BCI系统与不同的参数,MI-BCI, SSVEP-BCI。不同BCI模式的分类精度估计使用脑电图数据记录从各自的任务。例如,MI-BCI精度估计使用MI的数据记录的任务。

3所示。结果

3.1。功率谱

图4(所有科目)显示了平均功率谱密度的混合任务的数据。EEGLAB PSDs spectopo函数用于生成活动。传说LH和RH表示左手MI + 20 Hz SSVEP的右手MI + 15赫兹SSVEP暗示试验的混合任务。由于同步性能的MI和SSVEP的这个任务期间,MI - (ERD特性)和SSVEP -(主要在刺激频率峰值)相关光谱模式可以显式地从数据记录观察到的中央通道C3和C4。

(一)

(b)

3.2。分类精度在不同的任务

C3和C4的分类精度估计通道单独和独立于彼此。为C3”频道的最高平均85.62±7.67%的精度得到混合的任务,然而,精度为55.15±3.38% MI任务和69.22±8.98% SSVEP的任务。同样,C4频道,混合任务导致84.98±7.85%,然而,55.87±4.48%的精度在MI任务达成和69.47±10.04% SSVEP的任务。混合BCI系统的性能明显高于(见图5)相比MI-BCI ( ,配对t以及)和SSVEP-BCI ( ,配对t以及)。也没有观察到显著差异之间的性能C3通道和C4基于通道混合BCI系统,导致一个合乎逻辑的结论,提出了单通道混合BCI系统可以与C3和C4通道。

3.3。分类精度和训练数据集的大小

任何BCI系统,通常是性能降低时更少的试验可用于分类器训练。测试的稳定性提出了混合BCI方法,交叉验证试验在训练数据集的数量减少到48岁,32岁和16个试验,模拟5倍分类使用30日20日和10个试验每个类,分别。平均分类精度明显降低( ,配对t以及)从85.62±7.67%和84.98±7.58%至79.25±12.67%和76.63±10.12% C3和C4频道,分别在16个试验是用于分类器训练而不是72(见图6)。没有观察到显著差异在分类精度使用48或32试验与72年相比,分类器训练的试验。

3.4。分类精度和试验时间

长脑电图样品允许BCI系统获得更高的性能,提取更多的信息关于大脑的活动,但是很难实时操作系统。评估系统的准确性与不同试验持续时间,不同时间窗段从记录中提取原始试验与初始点集的开始刺激发病。例如,2 s试验持续时间意味着宽一两秒时间窗口跨越最初两秒钟(从刺激开始)。图7显示的变化提出了系统的准确性取决于不同的试验持续时间。试验持续时间从4减少到2年代,分类精度也大大减少从85.62±7.67%至74.14±7.53%,C3通道和84.98±7.58%在C4频道74.36±7.34%。

4所示。讨论和结论

本研究演示了一个过渡的混合BCI系统对减少脑电图通道的数量。在我们过去的工作26),两种不同的多通道系统与3和32脑电图渠道开发;他们两人可以胜过提出系统的准确性(图8)。然而,之间总是会有取舍的分类准确性和电极用于系统的数量。更多的脑电图渠道让我们更好地进行特征提取,从而达到更高的精度。然而,单通道系统方便,适合日常生活实用应用程序的目的是为进一步研究的一个重要话题。结合SSVEP的混合BCI和MI模式,就可以补偿性能下降。除此之外,混合动力系统可以补偿BCI文盲问题,当有些人不能有效地使用一个特定的BCI的形态。混合系统(MI + SSVEP的),一个用户MI-BCI文盲仍然能使用系统通过使用SSVEP的孤独,从而增加其普遍性。在我们之前的研究27SSVEP的系统的性能相比),我们利用两对脑电图渠道从中央和枕叶区域。在两种任务系统的分类精度为89.94±3.94%与O1-O2渠道和85.53±2.69%同样的通道。提出,在这项研究中,混合动力系统演示了一个类似水平的分类精度结合重要的优势只利用一个脑电图通道和提供更多的自由的通道位置与单模SSVEP-based好像。

它已被证明可以诱发宽频率范围(SSVEP的反应32)从非常低的频率(33]。在这项研究中,我们将演示的MI和SSVEP-related PSD的变化在执行一个合并心肌梗死+ SSVEP的认知任务。基于光谱特征的MI和SSVEP的反应,合理使用高频率的SSVEP的刺激心肌梗死+ SSVEP的混合动力系统,以避免重叠(图4)。故意MI的方法需要用户执行认知任务,这意味着对于MI提示MI响应出现延迟发病取决于反应时间(34]。因此,减少试验的持续时间超过一定的限制可能会减少的贡献MI混合BCI的性能特性。

提出和测试系统的主要限制是几类的数量,也就是说,只有两个输出命令可用于用户的BCI的应用程序。因此,未来的工作都集中在用户命令的数量扩张,但保留一个单通道系统的优先级和最佳性能。

的利益冲突

作者宣称没有利益冲突。

确认

工作的部分支持由台湾科学技术部(大多数)批准号。103 - 2410 h - 009 - 019 - my2和105 - 3011 - e - 009 - 003。研究也在一定程度上由陆军研究实验室,并根据合作协议没有完成。w911nf - 10 - 2 - 0022。作者感谢林Shish-Chuan她帮助记录数据。

补充材料