都可以引起P300电位和SSVEP的视觉刺激,让受试者唤起大脑模式通过执行视觉注意力的任务没有额外的心理负荷。P300和SSVEP的特性位于不同的域(时域与频域),和两个大脑模式有明显的独立性。性能的提高可能导致利用率的P300和SSVEP的特性。脑电图的特性可能会提供额外的信息,促进目标的分类和不属预定目标的。

Bi et al。 22)提出了一个基于SSVEP的混合范式和P300为开发speed-direction-based光标控制。在这项研究中,刺激P300是分布在上部和下部的屏幕,和检测SSVEP的刺激(顺时针或逆时针旋转控制装置)是显示在屏幕的左右。结果使用方法基于支持向量机的分类显示,hBCI的准确性高于90%。

锅等。 29日]发现意识在八意识障碍患者(DOC)通过使用混合范式SSVEP和P300。指令后,左边和右边照片闪烁在黑色背景与固定的6.0和7.5赫兹的频率,分别唤起病人的SSVEP的。同时,每两个相框的随机唤起P300的5倍,每次出现持久的200 ms和连续两个表象之间的时间间隔是800 ms。使用的BCI系统的特点P300和SSVEP的检测病人注意到照片。8例(四个植物人(VS),三个最小意识状态(MCS),和一个闭锁综合症(LIS)参加了实验。使用基于svm分类器,一个与病人,一个MCS病人,和一个LIS病人能够选择自己或他人的照片(分类准确性,66% - -100%),这表明病人命令可以使用一个混合了BCI,进一步证明了他们有一定的认知能力和意识。

有四个理由把SSVEP和MI: (1) SSVEP——MI-related大脑模式同时产生;(2)SSVEP的诱发电位,可以稳定地检测到不熟悉的学科几乎没有训练,但是对于大多数新用户,很难适应的过程完成MI任务;(3)SSVEP可以检测到由一个审判基于EEG数据,检测不需要一个平均的过程;(4)非可视培训将阻挠科目,而SSVEP的提供了一个可能的解决方案来吸引对象参加MI的任务。

基于上述原则,Yu et al。 26)结合SSVEP和MI MI培训提供有效的连续反馈在24科目。最初,该分类器分配一个更大的重量SSVEP的为了得到正确的反馈训练的开始。随着训练的推移,参与者减少了视觉注意力SSVEP刺激但保持持续关注MI心理任务。当受试者适应节奏活动,MI的分类器的重量变化。结果表明,可以用来改善hBCI MI培训和生产后的大脑模式只有五个交易日(约1.5小时)。

以脑波图为基础的BCI系统的一个重要方面是多维控制,涉及多个独立的控制信号。这些控制信号可以来自多个大脑模式,如心肌梗死和P300。P300是可靠的大脑模式用于生成离散控制输出命令,和MI更有效生成顺序控制命令。

李和他的同事们( 16]提出hBCI结合MI大脑模式和P300电位2 d光标控制和目标选择。GUI如图 2,圆和正方形代表光标和目标,分别与指针的初始位置和初始位置和颜色(绿色或蓝色)的目标是随机提供。三个“上升”按钮,三个“下降”按钮,两个“停止”按钮flash在随机顺序唤起P300电位。用户的任务是将光标移动到目标,然后选择或拒绝绿/蓝的目标。用户的控制策略描述如下。用户可以移动光标到左边或者右边,想象自己的左边或右边运动,分别,用户可以移动光标向上或向下通过关注的三个闪烁的“向上”或“向下”按钮来唤起P300电位。如果用户不打算在垂直方向移动光标,然后用户可以关注的两个“停止”按钮。

为了进一步实现BCI鼠标,目标选择和拒绝功能是必需的。具体地说,一次鼠标点击感兴趣的目标(绿色广场),用户可以选择目标通过集中关注一个闪烁的“停止”按钮,同时维护一个空闲状态的运动图像。如果目标是不感兴趣的(蓝色方块),用户可以通过继续拒绝想象左边或右边运动没有关注任何闪烁的按钮。

2 d光标控制的算法包括两个部分:P300检测垂直运动控制和motor-imagery检测水平运动控制的细节呈现在 19]。P300检测的信号处理过程包括三个阶段:低通滤波,P300特征提取和支持向量机分类。对于motor-imagery检测,信号处理阶段包括常见的平均引用(汽车)空间滤波,带通滤波的具体μ节奏带8—13赫兹(),基于CSP的特征提取算法,支持向量机分类。目标选择或拒绝的算法是基于P300电位的混合特性和MI。心肌梗死后提取P300电位的特性和使用相同的算法上面所描述的那样,一个混合的特征向量为每个审判是由连接MI的特征向量与P300电位的特征向量,然后送入支持向量机进行分类。

11名健康受试者参加了在线实验,其中包括80年的一次试验为每个主题。每个试验包括两个连续的任务。第一个任务期间,受试者被要求将光标移动到目标,提出了在随机位置在屏幕上。光标击中目标后,奉命执行第二个任务的主题选择或拒绝目标根据目标的颜色选择和蓝色拒绝(绿色)。第二个任务的时间间隔设置为2。在所有科目中,一个试验的平均时间是18.96秒,成功试验的平均精度为92.84%,和目标选择的平均精度,成功地将光标移动到的目标是93.99%。此外,一些数据也为离线分析收集来演示P300电位和MI混合特性的优势为目标选择/拒绝与P300电位的使用或MI特性。实验结果表明,使用混合特性的准确性明显高于只使用MI或者P300电位特性(混合特点:83.10±2.12%;MI特点:71.68±2.41%;P300特点:80.44±1.82%)。 Based on the BCI cursor, Long et al. [ 28基于MI)提出了一个混合BCI范式和P300电位实际操作轮椅通过提供方向(左或右)和速度控制(加速和减速)命令与5科目。

所有这些混合动力系统有三个优势。首先,两个独立的控制信号生成基于MI和P300的潜力。第二,用户可以从任何位置移动光标到随机定位目标。第三,混合动力控制策略使用MI和P300电位提供更好的识别性能比使用MI-only或P300-only控制策略。

Belitski et al。 30.)提出了一个离线audiovisual-based P300拼字和相应的数据分析结果。7个健康受试者的研究表明,在视听条件P300反应强度高于独自在视觉和听觉的条件下。同样的,et al。 32]探索平行拼写者为健康受试者BCI无关的目光之后,在听觉和视觉领域是相互独立的。结果表明,15个用户可以在线拼写,平均准确率为87.7%。这些现有的研究结果表明,视听集成可能是一个潜在的方法来增强大脑模式,进一步提高BCI性能。王等人。 33)提出了一个新颖的视听BCI系统,基于time-synchronous视觉和听觉刺激。在这个视听BCI的GUI中,有两个数字按钮(两个数字随机从0到9)位于左右,和两个扬声器放置横向到monitor。两个按钮以另一种方式。很多按钮时视觉上增强,相应的提出了从口语侧议长。通过这种方式,用户提供暂时的,空间,和语义一致的视听刺激持续300毫秒,interstimulus间隔是随机从700年到1500 ms。十个健康受试者参与了实验。实验由三个交易日的管理在一个随机的顺序,相应的纯视觉,auditory-only,视听条件。在每个会话,10个试验的主题首先执行一个训练,然后30试验的测试运行。在线的平均精度视听、纯视觉和auditory-only会议对所有健康受试者为95.67%,86.33%,和62.33%,分别。视听BCI明显优于纯视觉和auditory-only好像。 This audiovisual hBCI system was then applied to the consciousness detection of 7 patients with DOC. The experimental results indicated that the audiovisual BCI can provide more sensitive results than the behavioral observation scale.

上面的双峰BCI需要专注于刺激视觉互动和反馈,这限制了它们的适用性与良好的愿景和完整的注视控制用户。由于用户不需要视觉交互操作时听觉或触觉BCI,双峰听觉/ tactile-based方式允许视觉扫描的BCI无关。阴et al。 34)提出了一个双模P300 BCI相同的方向,同时提出了听觉和触觉刺激相同的空间方向。资助和森 3511)研究了触觉和听觉BCI用户提供视觉和听觉障碍。

这些现有的结果揭示了BCI auditory-tactile的几个优点。首先,auditory-tactile双模BCI具有更好的整体系统性能比听觉或触觉单模P300 BCI。其次,在视觉计算机应用,auditory-tactile hBCI提供一个有吸引力的目标感觉领域的可能性可以诱发潜在的不依赖视觉刺激,虽然性能通过使用这个系统是低于BCI依赖目光转移。第三,视觉和触觉hBCI是另一种为用户提供视力下降。

里氏et al。 50)提出了一个hBCI结合脑电图和肌电图。在每个试验中,12名健康受试者被要求重复练习五秒钟用左手还是右手(握着拳头的手)基于视觉线索(左箭头或右)。研究人员分别加工和分类脑电图和肌电图信号,然后融合。典型变量分析是用于选择科目的特点,最大化之间的分离性不同的任务,和稳定的特征是由高斯的交叉验证分类器基于训练数据。由此产生的特性给出了阈值,归一化,并基于最大距离分类科目的方式。最后,贝叶斯方法用于融合的概率两个分类器来生成控制信号。一个脑电图活动的准确性为73%,单独的EMG活动是87%。然而,hBCI的准确性提高至91%。此外,模拟疲劳肌肉、肌电图的振幅通道减少在操作过程中(从10%到100%)和脑电图活动越来越重要在融合数据作为EMG肌肉变得更累。结果显示一个脑电图,EMG-based BCI系统的显著优势。

最近,一些研究结合脑电图和小城镇建设一个hBCI。因为许多残疾人能够控制自己的眼球运动,此次信号是一个适当的选择对于许多用户的BCI系统。李等人。 41)采用基于EEG-EOG hBCIs拼字系统,打字速度快。hBCI系统由传统ERP-based拼字,EOG-based命令探测器和视觉反馈模块。在线ERP拼字被用来计算所有候选字符的分类概率从脑电图时代。概率最高的特点被选为基于概率排序的视觉反馈。小说拼字系统的准确性为97.6%,及其ITR 39.6±13.2比特/分钟20个参与者。结果表明,这脑电图,EOG-based拼字的更好的性能比传统的ERP-based拼字。

其他混合bci基于多个信号也被报道。一种充分利用空间和时间信息的大脑活动是结合fMRI BCIs脑电图。EEG-fMRI结合BCI的一个关键优势是,脑电图可以提供在线缓慢皮层电位(SCP)反馈给受试者。它也揭示了基本的心理生理机制,比如当地的反应和SCP的变化之间的关系,这有助于开发新的培训程序和模式。尽管fNIRS可怜的空间分辨率与功能磁共振成像相比,便携式,反映了大脑的血流动力学反应活动。

作者在 45)已经证明MI-based BCI的性能被梳理脑电图和NIRS明显改善。它允许那些不能仅因为它使得基于脑电图运行BCI来实现有意义的分类率。脑电图很容易扭曲的尺度extracerebral组织,尽管梅格不是只要电动尺度同心的影响。因此,梅格信号比相应的当地EEG信号,可以提供更多的空间信息。在[ 47],梅格和脑电图信号生成的感觉运动皮层被用来指数三个瘫痪患者的手指运动。

从用户的角度来看,hBCI系统的复杂性通常高于传统简单的BCI。用户可接受性是一个重要的性能指标,需要仔细考虑hBCI设计和实现。hBCI基于大脑的设计模式,面临的挑战之一就是如何确定大脑模式的最佳组合,以达到期望的目标,可以从用户到用户和组合。例如,它应该考虑长期使用SSVEP和P300会增加视觉疲劳。在设计几个感觉hBCI,面临的挑战是确保所需的大脑模式是由多个感官刺激增强。先前的研究[ 33)发现,结合音频刺激和视觉P300-based BCI的自然口语词汇可以帮助减少脑力劳动的负担。因此,我们可以考虑更多的组合多个涉及听觉和触觉感官刺激模式在未来的研究。hBCI基于多个信号,一个挑战是如何充分利用不同信号的特点来实现最大的改进系统性能。此外,在设计实时hBCI基于脑电图和功能磁共振成像,高噪音,反应迟缓和高维度的脑电图数据(通过功能磁共振成像扫描仪生成),和低时间分辨率的功能磁共振成像数据不可以忽略不计。

hBCI系统可能涉及多个大脑模式,多个感官模式,或多模信号输入。确保这些组件是有效地协调hBCI系统,有必要研究相关的大脑机制。例如,跨通道集成/大脑中交互可以提供多种感觉的BCI的大脑机制。然而,很少有研究迄今为止hBCI的大脑机制。

直到现在,大多数hBCI系统(如BCI浏览器和BCI轮椅)是为健康的主题。它需要延伸到病人和扩展他们的临床应用价值。近年来,越来越多的hBCIs已经用于临床应用,如偏瘫患者的康复和治疗( 51, 52和医生 53]。在设计这些hBCI系统对病人时,它们之间的区别和健康受试者需要充分考虑。在某些情况下,甚至一个单一的病人设计是必要的。hBCI病人与医生的应用才刚刚开始,和hBCI-based通信和康复是我们未来研究的一个重要话题。此外,各种智能技术,如自动导航系统和智能机器人,结合BCI。这种组合不仅大大减少了用户的工作量,也使BCI系统更加可靠、灵活、强大的允许主题关注最终的目标,忽视相关的底层细节的执行行动。这对患者是有前途的识别和控制能力较低。因此,未来的研究应该关注这样的系统开发的病人。