文摘

尽管脑机接口技术主要是设计时考虑到残疾人,也可以有利于健康的主题,例如,在游戏或虚拟现实系统。在本文中,我们讨论了典型建筑、范例、需求,以及electroencephalogram-based游戏系统的局限性。我们开发了一个原型三级脑机接口系统,基于稳态视觉诱发电位范式和Emotiv EPOC耳机。在线射击游戏,OpenViBE环境中实现,用于用户的反馈。系统利用波原子变换特征提取,实现平均使用线性判别分析分类器精度78.2%,79.3%使用支持向量机分类器和一个线性内核,使用支持向量机分类器和80.5%的径向基函数内核。

1。介绍

以来第一次实验的脑电图(EEG)在1929年的人类,人类的大脑的脑电图主要是用来评估神经系统疾病在临床环境和在实验室研究大脑功能。一个想法,大脑活动可以作为通信通道逐渐出现。识别单个消息或命令的可能性考虑复杂性、失真,和可变性的大脑信号似乎非常遥远。然而,脑电图显示直接与用户意图的相关性,从而使直接脑机接口(BCI)通信通道。BCI需要高计算能力详细分析大脑信号,实时,直到最近,必要的技术不存在或者非常昂贵。计算机硬件和软件现在支持持续发展的高度复杂的许多高速信号通道的在线分析。同时,大大增加社会认可的需求和潜在的严重的神经肌肉障碍患者贡献如脊髓损伤临床,科学和商业利益更好的通信和控制技术。创建了一个跨学科的研究领域提供直接的人机交互通过信号,由大脑本身生成。

脑机接口(BCI)技术是一种通信通道,使用户能够控制设备和应用程序,而不直接使用肌肉(1]。提出发展认知神经科学领域的最新进展在脑成像技术,如脑电图、脑磁图描记术,功能性磁共振成像。越来越多的BCI研究是相对较新的领域。第一个BCI原型是由比达尔博士在1973年(2]。这个系统的目的是作为一个有前途有严重残疾的人的沟通渠道,如瘫痪、肌萎缩性脊髓侧索硬化症,脑卒中或脑瘫痪(3]。延续和加速度BCI研究和开发的最新进展已开始解决真实世界应用程序生成活动的日常生活,环境控制,锻炼,运动,和语言沟通能力4]。

BCI技术,结合环境辅助生活(AAL)系统,可以使家庭环境更加智能和辅助,提供替代的通信手段支持独立生活的老年人受到损伤的影响。生活质量的人患有严重的运动障碍可以受益于使用BCI-based辅助技术(5]。尽管最近的进展,仍有许多障碍建立一个有用的和有效的BCI系统。的最大挑战与精度,速度,价格,和可用性。目前的BCI系统是不准确和信息传输速率很低。这意味着用户需要很长一段时间来发送命令的设备控制。另一个问题是高成本的脑电图设备,如脑电图帽和放大器(6]。系统具有高传感器计数需要很长时间来准备使用和不舒服。由于这些限制,没有BCI系统已经成为商业成功的日期。声音的知识数据采集过程中,脑电图波形特征、信号处理方法对特征提取和分类是一个先决条件之前试图设计和实现一个功能BCI系统。这些研究点就凸显了BCI开发社区是重要的和必要的,为进一步BCI发展(7- - - - - -9]。

因此,BCI技术仍有许多问题需要解决交通可行的辅助生活(10)以最少的培训工作和支持所需的独立使用在家里。一种方法是开发BCI应用程序根据用户为中心的设计方法之间的桥梁BCI系统和他们的最终用户11]。另一种方法是游戏化,使用游戏的元素严重nongame上下文(12]。重新定义的日常控制任务愉快的多媒体应用程序可以定义一个新的水平控制的可能性残疾人但也对于健康的用户(13]。

本文的目的是探讨BCI技术作为游戏控制器选项,从而需要更少的脑电图质量和低风险的相互作用。通过使用低成本设备如Emotiv EPOC耳机,针对消费者而不是科学家和医务人员,在系统中,我们牺牲系统用户的价格和舒适的性能。研究人员已经应用Emotiv上神经头盔的技术以各种方式:刘et al。14g的EPOC设备相比)。USBamp装置在稳态视觉诱发电位(SSVEP)系统,效果很好。它也被运用于其它范例,如P300-based系统,由Duvinage et al。15]。在这篇文章中,我们使用和比较线性判别分析(LDA)和支持向量机(SVM)分类器与脑电波数据特性获得使用波原子变换(窟)基于原型SSVEP的BCI的控制比赛。

论文的其余部分的结构如下。部分2讨论BCI技术的应用程序。部分3描述了典型的BCI系统的体系结构。部分4论述了常用BCI范例。部分6描述所使用的材料和方法。部分7给出了实验结果。最后,部分8提出了结论。

2。BCI技术的应用

BCI设计代表了一个新的前沿科学技术,从神经科学等领域需要多学科的技能,工程,计算机科学,心理学和临床康复。BCI研究不仅已成功用于帮助残疾人(16),但也作为一个额外的数据输入通道对于健康的人。它可以利用作为额外通道在游戏控制17),增强现实应用程序(18),家庭设备控制(19)、疲劳和压力监控(20.),和许多其他应用程序。

BCI的应用可分为两大类,医疗应用程序和非医学的应用程序,比如多媒体和虚拟现实。第一类包括以下:(我)康复和假肢装置控制。BCI技术用于中度至重度患者运动障碍。虽然在一些疾病康复是不可能的,如肌萎缩性脊髓侧索硬化症,一些患者,也就是说,中风患者,有时可以恢复部分或全部失去了运动控制与有效的康复。运动图像(MI) BCI可以用作对康复的意义。在研究[21,22)等,患者使用BCI试图把握对象控制机器人假肢手。机械手臂为病人提供反馈,帮助他们康复。虽然康复结果显示潜力,机器人假肢控制要求的控制命令,没有实现BCI系统。实验中,因此,大多局限于1 d和2 d运动控制。(2)医学诊断。BCI技术可用于开发健康监测应用程序可能定期屏幕用户神经疾病如癫痫的早期指标(23),建议用户去看医生诊断。(3)辅助流动。残疾人最有益的设备是那些让他们重新流动。这是通过提供轮椅控制,通过BCI。BCI-driven拼写设备用于拼写字母或单词,让残疾人沟通。P300的拼字是最著名的BCI范例之一(24]。(iv)BCI控制Web浏览器和音乐。上网已经成为了通信在全球范围内的主要来源。BCI技术使发展,使残疾人互联网访问。随着越来越多的日常生活的各个方面可以访问在线(教育、零售、个人理财、或业务),连接也增加的潜在好处。在一项研究25),患者P300范式用于导航文字,浏览向前和向后,使用书签,法术文本。(v)精神状态识别。工作在这一领域涉及心理状态的识别,如注意力水平,治疗注意力缺陷障碍患者(26),工作负载,和疲劳27),对于一个运营商的认知状态评估。

虽然BCI技术主要是设计时考虑到残疾人,也可以有利于健康受试者。脑电图是特别适合这个目的,因为它无损伤,可移植的,有几毫秒的时间分辨率,和相对较低的成本。因此BCI的非医学的应用包括以下:(我)游戏。所有BCI范式已经利用了游戏的目的。使用BCI作为主要手段来控制游戏的游戏或作为额外渠道沟通,执行某些用户操作,而游戏主要是由传统的控制手段。游戏的例子包括一个三级汽车想象asteroid-dodging游戏中描述(28),和一个受欢迎的BCI控制接口游戏“魔兽世界”(29日]。基于SSVEP的游戏包括一个双阶级游戏叫MindBalance [30.),P300-based MindGame [31日)以及弹球(32],Pacman [33),和俄罗斯方块34]。(2)虚拟现实。大多数现有的作品关注,虚拟摄像机旋转或旅行在虚拟环境。皮等人使用BCI基于μ节奏与“第一人称射击游戏(35]。μ节奏高水平触发相机旋转,而低μ水平触发正确的旋转。其他命令在游戏中通过使用键盘。

3所示。典型的BCI系统的体系结构

BCI是一个人工智能系统,可以在脑波识别模式在这些阶段:信号采集、预处理、信号增强、特征提取、分类、和控制接口(36]。设计一个BCI系统是一个多学科的任务,涉及的知识和方法领域的计算机科学、信号处理、神经学和生理学。

需要使用BCI,两个阶段:训练阶段,(1)(a)的用户培训心甘情愿地控制他的大脑潜力(在操作条件BCI的情况下),(b)离线训练阶段,调整训练算法(模式识别的BCI),和(2)在线阶段,BCI系统用于控制。

在网络模式下,BCI系统通常执行一个六阶段(见图1):大脑活动测量、预处理、特征提取、分类、命令翻译和反馈(37]。(1)大脑活动的步骤测量电极用于获取用户的脑电图在头皮上的特定区域,形成BCI系统的输入。这一步涉及到确定的数量和位置频道,放大,模拟过滤和A / D转换。选择通道位置根据使用的范式和精神任务执行。(2)去噪记录大脑信号的预处理步骤包括为了提高里面的相关信息。去噪可以由通道或人工制品拒绝,DSP信号滤波方法。预处理包括脑电图记录的准备。它是一个重要的阶段,决定了滤波、分割,消除趋势方法进一步EEG数据准备阶段。过滤和分割(也称为时代)是用来确定和最大化的信息在特定的时间或频率范围与特征相关联引起的大脑活动。大多数认知脑电图活动通常是在0.2 -40赫兹的范围;因此过滤这个范围之外的降低噪音。电电源频率的带通滤波器通常除了执行。过滤后,脑电图数据的分割。这涉及到连续脑电图信号分割成寿命窗户,通常重叠或锁定刺激(如同步bci)。 Epoching allows for averaging and dramatically simplifies the feature extraction and classification process. Detrending removes any baseline drift associated with the EEG recordings. This is important to ensure the quasi-stationarity of small EEG segments. The sample rate can be converted to represent the data in as few samples as possible to reduce the computational demands of processing a large number of samples. The sampling rate must be chosen to be at least twice that of the maximum frequency contained in the data (Nyquist rate [38])。采样率为128 Hz可以记录频率64赫兹,因此捕捉整个范围的脑电图波。(3)特征提取是一个由几个步骤来描述信号相关的,指令值称为“特性。“这个阶段经常BCI设计方法的特点。特性描述信号在尽可能少的组件是弹性噪音和文物必须识别和使用。识别并从信号中提取好的特性是一个至关重要的步骤,BCI系统的设计。如果从脑电图不相关的特性,不描述信号很好,分类算法,将使用这些特性将问题分类用户的心理状态;正确的精神状态会识别利率低,在这种情况下,接口的使用是不可能的或不方便。因此,即使有时可以使用原始信号作为输入的分类算法,建议选择和提取优点为了最大化系统的性能,使后续的分类算法的任务变得更加容易。因此,通常情况下,选择一个良好的预处理和特征提取方法有影响最后的表演比选择一个好的分类算法(39]。(4)分类是一个步骤,分配一个类标签从信号中提取一组特性。这个类标签对应的心理状态。可以以不同的方式进行分类,从简单的阈值或线性模型到复杂的非线性神经网络分类器。分类的目的是给一个正确的类标签之前提取的特征向量。这个类代表一个BCI用户的意图。识别神经生理学信号在BCI的关键步骤是将功能转换成命令(40]。为了达到这一步,一个可以使用回归算法或分类算法,分类算法是目前为止最用于BCI社区(41,42]。(5)翻译成一个命令执行通过发出一个动作,对应于用户的心理状态识别,也就是说,计算机屏幕上的鼠标光标移动,控制一个拼字,或移动轮椅。(6)反馈的步骤为用户提供他/她的精神状态的信息。这有助于用户有意识地控制他/她的大脑活动增加执行任务的性能。

4所示。BCI范例的概述

各种利用BCI范式,如P300 [43],SSVEP [44],ERD / ERS [45],MI [46),缓慢的皮层电位(SCP)的基础47)和混合方法(48- - - - - -50]。我们回顾一些范例下面详细。

4.1。自发的潜力

自发的脑电图测量当没有刺激实验对象。在健康受试者自发脑电图测量长时间跨度的大脑活动的变化不断波为事件更高或更低的频率。特点不同的认知过程,心理状态和激活过程中可以观察到自发EEG波。某些频段的出现在一个特定的大脑区域可以分配给某些心理任务。乐队与脑节奏相关的限制范围,尤其是β和γ,可以接受矛盾,往往是进一步细分为部分波段,可以进一步区分大脑流程活动频率,在那里赫兹或赫兹是通常被认为是有限的临床效用;虽然最近的一些论文发表了大脑认知过程的存在的β,γ,和高伽玛乐队(51),文学不写明是否越高频率活动(> 30 Hz)是脑的起源。EEG节律影响不同的行为,思想,和心理状态。例如,运动的计划可以阻止或减弱μ的节奏。事实上,纯粹的思想影响大脑的有节奏的活动可以作为一个BCI系统的基础。

4.2。事件相关电位(ERP)

事件相关脑电位(ERP)不同于自发的大脑活动的出现而受到刺激的主题,并指出通过执行广泛的分析数据。大脑产生不仅不间断的自发活动,而且对某些内部或外部事件和潜在的变化特征。情景刺激、基于事件的活动登记,不显示,如果没有刺激。通过展示主题与外部刺激(如单击声音或闪光),一个特定的反应和特定脑电图组件预计将出现持续的脑电图活动刺激后表示。这些分析了ERP在时域使用触发器,时间戳的刺激脑电图的报告指出。展示的主题是在恒定刺激的间隔,而他的/她的脑电图记录。演讲后的数据包括时间的刺激然后分析。引起ERP与振幅的1/10的自发的大脑活动是噪音,几乎没有明显的脑电图数据。计算机分析时间后样品后的刺激和对信号进行平均,诱发电位变得清晰可见。作为振荡的最不感兴趣的,只有特定的频率测量通过选择大约100毫秒的时间窗口几秒钟。 The observed potential has amplitude of less than 10 μV和持续时间约为0.5秒。它也有一个典型的形式;后几毫秒的刺激,和非常小的振幅产生振荡。这些潜在的差异是积极的还是消极的改变大脑的潜力,所以会说大脑皮层积极或消极的52]。

在典型的ERP,首先,一个小积极性测量(称为P1),紧随其后的是一个消极(称为N1或N100,出现在大约100毫秒),紧随其后的是一个清晰的积极性(P3),也就是大约300毫秒后观察到的刺激后,到达峰值约为400毫秒,称为P300波(53]。P300和N100波相关的刺激,因此观察到的医疗目的;多发性硬化患者,P300波通常超过健康的病人。同时也服务于一个目的诊断其他心理疾病,如精神分裂症、多动障碍。除了感官刺激,ERP是诱发其他事件相关的动作,比如想象力或物理motorical活动,也就是说,胳膊或腿的运动。

4.3。诱发电位(EP)

诱发电位(EP)的一个子集ERP中发生反应或在注意某些物理刺激(听觉、视觉、感觉等)。他们可以被认为是源于一个重组的阶段正在进行脑电图信号。EP可以区分不同刺激相关属性,例如,视觉诱发电位(VEP)的视觉皮层不同刺激频率相同光(54]。等EP听觉诱发电位(AEP)也使用55]。

之间的区别是在文献中瞬态EP和稳态EP (SSEP)基于刺激频率。前出现时刺激频率小于2赫兹。如果刺激重复率大于6赫兹,一个周期响应称为SSEP的结果。SSEP是由增加信号功率的乐队,等于刺激频率或频率的整数倍。振幅和相位SSEP的刺激高度敏感参数,如重复率、颜色对比或声音语气,调制深度和空间频率。SSEP也发现强烈依赖于空间的注意,被放大的频率的目标用户的关注。SSEP振幅的增加反映出增强的神经对刺激的反应,属于空间注意的范围。这个基本思想证明了使用SSEP的方法确定了目标在一群刺激足够不同的刺激率。

有三种主要形式的刺激:(我)听一个。特定频率的信号音调或点击作为刺激。(2)视觉的一个。刺激了光与特定的频率闪烁。(3)躯体感觉一。刺激引起的周围神经电刺激。

刺激的顺序安排为范例,以研究应对某些任务。使用最广泛的如下:(我)次数要明显少于静坐诱发电位。研究对象是放松和刺激信号指示执行任何任务。(2)古怪的范式。用户要求参加一个随机序列组成的两种刺激与其中一个比另一方更频繁的刺激。如果与用户相关罕见的刺激,外观触发P300波可观察到的用户的脑电图。

4.4。稳态视觉诱发电位(SSVEP)

几项研究[56- - - - - -58)展示了神经活动的增加由视觉刺激兴奋当测试主题指导他关注的区域包含刺激的视觉空间。结果表明,关注作为一个“焦点”,加强刺激的皮层表示在参加地区的视觉空间相对于刺激呈现在无人区域的视觉空间。

研究表明,如果两个或两个以上的刺激同时提出了不同的闪烁频率,神经反应引起的闪烁,接收对象的焦点。大脑对应生成的响应频率的刺激频率,因此可以使用的傅里叶分析EEG检测数据。脑电图记录,这些稳态反应称为稳态视觉诱发电位(SSVEP) [59]。如果主题指导他的关注视野,而忽略了其他人在执行目标探测任务,SSVEP闪烁刺激引起的出席视野有更大的振幅比SSVEP引起同样的刺激在另一场参加试验。

的使用频率标记研究关注的明显优势很容易神经反应分离成不同的类。多注意调节SSVEP的响应可能取决于各种参数,如刺激频率(57),刺激间隔(60)、颜色(61年),和形状(62年]。众所周知,低频闪烁诱发更密集的SSVEP的但可能导致用户感觉不舒服和容易累。

5。要求和限制因为它使得基于脑电图的游戏系统

其他几个因素时必须考虑设计一个BCI系统原型。设计最终用户友好的系统,可用于日常活动,也就是说,轮椅或鼠标光标控制,系统应该允许用户在任何时间发送命令。这样一个系统必须不断分析EEG信号,确定用户是否打算向系统发出控制命令,也就是说,在控制状态(CS)或如果他无法控制状态(数控),表明不发出控制命令。如果系统检测到用户的CS状态,它必须决定哪些控制命令被发出。我们考虑到这个,当我们的BCI系统设计。

与大多数bci低精度的最大问题,可靠性、信息传输速率,用户可接受性(63年)、性能变化内和跨科目(64年),和一些学科的BCI文盲65年]。有时系统不匹配的输出输入。当然,这或多或少可以严重取决于应用程序。如果用于移动光标在电脑屏幕上一个错误的输出时不时将是可以接受的,但如果用于控制运动的物理设备,如轮椅,这种行为变得不可接受。另一个问题与许多BCI范式是一个长期的输入输出延迟。今天,最成功的系统工作在不到30位传输速率每分钟(66年]。可能足够运行一个简单的字处理器系统,但它是控制轮椅的太慢了。目前大多数研究因此关注提高速度和准确性的两个因素的BCI沟通。尽管越来越多的BCI应用程序存在,仍有许多问题好像需要克服大型公共变得有趣。

第一个问题在于EEG传感器。传统脑电图系统像Biosemi ActiveTwo包括一顶帽子和256脑电图电极。高传感器计数和电线使得这样一个系统可能使用在实验室外,因为安装需要一个或几个助理和准备时间。另一个缺点是需要用于导电凝胶留下残留在用户的头发。g。撒哈拉沙漠系统由g。tec不需要导电凝胶,但仍然需要电线和电极帽。

BCI通常是唯一的输入方式为研究项目已经开发的应用程序。这可能是有问题的:必须控制光标不断通过想象运动导致高工作负载。它可能会更好如果BCI的多个模式用于控制应用程序。这样的例子多通道应用程序或混合bci是“AlphaWoW”(魔兽Alpha-World) [67年),在α脑波带结合键盘和鼠标输入,和“介意羊!“(68年),SSVEP的结合鼠标输入。其他的例子包括光学系统(69年),眼睛凝视光标控制相结合,BCI进行选择,与大脑exergames Kinect接口(BKI)记录和分析动作捕捉信号和脑电图信号为了监视电动机恢复过程(70年]。

BCI研究的重点应该从可靠性可用性和用户体验(71年]。这是必要的BCI系统的实验室迁移,融入社会。健康的人可以选择从各种可选的输入模式。因此,对于健康的人选择BCI,用户体验和可用性必须是足够的。大多数人从来没有使用BCI和新奇的这种新技术可能是一个原因人们决定使用BCI而不是替代输入模式,即使BCI是不可靠和慢。然而,如果可用性不好,人们会选择不同的输入方式。由于这一事实在BCI研究主要集中在可靠性、没有标准化的方法来评估用户体验为BCI存在,。一些研究人员(见,例如,Kubler et al。11])使用视觉模拟量表(血管)对用户满意度等级从0到10。这样的评级并不提供任何深入的信息满意度的来源,但它允许容易监控。

最后限制提到这是BCI可以传输的数据量。脑电图措施的混合信号起源于神经大脑活动。大脑的两个功能最低层主要是面向本地的(72年]。通过观察大脑区域负责这些信号,可以测量相应的信号。子层次越高(思想、情感)装配在较低的水平,只存在于一个抽象方法。测量物理过程在这些较高图层将需要额外的工具来测量低级信号转化为更高层次的上下文。一个需要特定的“翻译”等操作。问题是这种混合测量信号的解释。因此,高度复杂的控制假肢,脑电图信号是不够的,永远不可能在未来。必要的信号来控制臂,包括考虑之间的闭环控制大脑和手臂,理想情况下包括手指和集成触摸传感器,将太模糊执行足够的手臂运动的基础。

6。材料和方法

6.1。硬件

设计的EPOC耳机,Emotiv Inc .)已经被选为我们的系统的基础。Emotiv EPOC包含14和2参考电极,电极放置在国际演出系统(73年];响应时间是250 - 500 ms。耳机设计作为一个视频游戏配件,开发人员感兴趣的是使用设备作为控制器。这个项目是研究产品选择版本。这提供了耳机的接口编程和原始脑电图数据的访问。无线耳机传输加密数据。无线芯片是专有的和操作在同一频率范围为802.11 (2.4 GHz)。内部设备的采样率为2048 Hz。数据然后downsampled 128 Hz前可用系统捕获EEG信号。捕获的数据包含值的每个14电极EPOC耳机。

有许多优点为使用Emotiv耳机在其他BCI和EEG设备。许多BCI设备限制由于布线。然而,Emotiv耳机是无线的,因此便于运输和提供免费的活动范围设置,在日常使用环境是非常重要的。另一个优势是,电极的EPOC不需要导电凝胶,使其更容易穿上和使用。用户没有使用耳机后洗头发。最大的好处是,它是相对便宜的。EPOC耳机的有几个缺点:它只使用14传感器,而许多医用设备使用数量的4倍。这将导致更少的数据来自大脑。此外,更强大的设备有一个采样率高达1000赫兹,而不是EPOC运行的128赫兹。自从EPOC耳机不是为了更好的信号检测,电极接大量的噪音。 Several techniques can be used to increase the Signal-to-Noise Ratio (SNR) such as band-pass filtering, averaging or class adaptive denoising [74年[],DCT压缩75年),信号分解和阈值(76年],或非线性信号运营商[77年]。

6.2。软件

Emotiv软件开发工具包(EDK)是用于与EPOC。它主要是用C编写的,但该公司还提供包装器来访问的应用程序编程接口(API) c++, c#、Java和MATLAB。MATLAB提供的方法对C代码中调用函数允许直接访问EDK的API。

OpenViBE [78年)是一个开源的图形化编程语言设计BCI应用程序使用。OpenViBE的目的是为BCI提供开源软件。该软件的主要特点是其模块化、高性能、实时数据采集和反馈功能,兼容各种硬件设备,多种脚本语言支持。过滤器,它可以用来获取过程,实时分类,想象大脑信号。

6.3。实验设置

实验的目的是开发一个系统,利用大脑活动提供控制在实时的环境中,以评估信号处理算法。三级自学BCI设计与数控(无法控制)状态选择,因为此系统设置可以很容易地改编成轮椅或鼠标光标控制。系统是基于OpenViBE平台,由5个人场景,每个执行序列。脑电图数据记录使用Emotiv EPOC耳机。因为耳机没有任何传感器运动皮层,甚至获得适度的结果与运动图像(MI)方法是非常不可能的。由于传感器覆盖枕叶和顶叶皮层合理,多个视觉刺激选择性注意中的SSVEP的范式被选作实验,由于其众所周知的成功和有限的培训要求。

6.4。数据采集

数据采集是通过选择执行渠道将用于数据记录。这允许单个传感器接触质量评价。感兴趣的信号,在SSVEP的情况下,是O1、O2, P7, P8(见图2)。

获得实时的数据采集客户端(见图3)。以同样的方式处理数据作为训练数据,以获得相同的特征向量分类器可以识别。三种分类器的输出输入SSVEP的选民算法,决定当前的类标签的信号。如果检测到一个数控状态,一个类标签的“0”分配给审判。控制信号可以用于移动船和传递给船控制应用程序。而在数控状态,执行任何行动。

6.5。数据预处理

传感器的信号平均和带通滤波6-40赫兹乐队执行。然后信号被分成2 s的时代,0.5秒间隔。获得的平均信号值是平均4个时期,然后一个FFT可视化执行不同的频段。

然后执行预处理步骤以消除干扰信号,提取相关信息特征的分类器。首先,数据分为三组,根据相应的类标签,左,右,和相应的中心。这样做的好处是一个二进制分类器可以区分试验是否属于某个类,通过使用“一个与所有”的标准。这使得数控类,所有三个分类器输出是假的。接下来,时间和空间滤波应用于每个三组。具体来说,每组信号的带通滤波在目标频率的兴趣:离开教室,29.5 -30.5赫兹;中心,19.5 -20.5赫兹;11.5 - -12.5赫兹。这样做,使用四阶巴特沃斯滤波器。

6.6。特征提取

特征提取我们使用波原子变换(窟),一个相对较新的Demanet提出的变换和应79年]。窟执行一个信号的多分辨率分析,即把一个信号分解成不同的频率部分波段。波原子是一个变种锋利的小波频率定位和提供一个稀疏的膨胀比小波振荡函数。波原子组成波领域高度各向异性的叠加,本地化和多尺度波形和捕获模式的一致性和振荡。窟已经以前主要为图像去噪在图像处理领域,图像水印,图像散列,以及特征提取降维和数值分析80年,分析心电图(ECG) (81年)数据。

窟脑电图处理,因为它是一种很有前途的方法去噪和特征提取能力,尤其有用信号不连续和尖锐的峰值时的脑电图(82年]。我们希望窟系数从脑电图数据样本中提取可以保留足够的信息允许正确的分类,同时减少功能应该减少网络训练时间和分类。波原子2 d小波包的一个变体,保留一个各向同性方面比率。他们非常适合代表一个信号的振荡模式(80年]。

提取特征,我们第一段信号,提取的5 s长期刺激试验,因为只有这部分信号进行相关信息。接下来,每一段进一步分为1每0.2年代的时代,它提供了80%重叠邻近的时代。然后,窟系数获得了每一个时代,并聚合特征向量。因此,25个特征向量提取每一个审判。用于分类器训练。

作为基准比较窟,我们使用频带能量(BP)特性的方法。BP给定频带信号进行带通滤波,然后在平方过滤信号,最后平均获得的值在一个给定的时间窗口(21]。频带能量特征通常是计算几个频段之前决定根据心理状态识别。这些特性已经明显成功地用于MI分类(21)也为认知处理任务的分类(51]。功能是由训练自适应提取常见的空间模式(CSP)过滤器,然后在目标频率带通滤波的信号,如前所述,然后执行带功率计算。英国石油(BP)值作为特征来训练分类器。

6.7。视觉刺激用户

视觉刺激用户可以通过使用LED或执行一个液晶电脑显示器。然而,led需要额外的硬件来生成一个恒定的频率。对于本实验中,我们更喜欢使用液晶显示器。使用监控的缺点是刺激频率是有限的刷新率。刷新率应该多次的刺激频率;即监视与60 Hz刷新率,6.67赫兹,7.5赫兹,8.57赫兹,10 Hz, 12赫兹,15赫兹,和20 Hz通常使用。在选择刺激频率也很重要,不是另一个选择的频率的谐波频率(例如,7.5赫兹和15赫兹)。SSVEP的反应不仅能引发大的振幅响应主频率,而且在谐波频率,导致missclassification。在60 Hz刷新率监视器,10 Hz闪烁,它反转目标颜色,通常一些光明与黑暗之间的组合,产生一个闪烁,每三帧;12赫兹闪烁,三帧黑后跟两个帧显示光的颜色。 Therefore, the sequences of certain two frequencies could be combined to get three frequencies with a varying number of frames in each cycle (e.g., 10 Hz and 12 Hz produce 10.5 Hz, 11 Hz, and 11.5 Hz). The EPOC headset has a sampling rate of 128 Hz and therefore has low resolution at higher frequencies. The experiments using SSVEP often include stimulation frequencies of up to 60 Hz, but these should be avoided while using the EPOC. Experiments with different frequencies performed showed that best results for a three- class BCI were obtained by using 30 Hz, 20 Hz, and 12 Hz. Therefore, these frequencies were chosen for the final experimental setup.

6.8。培训

训练数据采集程序执行几次,获取训练数据的三个类。自从训练系统是有时效性的,它需要大量的从用户的注意力和专注力,由于用户疲劳试验的数量是有限的。20次试验在本实验装置,每个类选择,共计60试验一个数据集。分类器训练是通过收集4脑电图SSVEP的数据的数据集,从2获得的健康受试者(28岁)。受试者在BCI很少或没有经验。在实验中,他们被要求关注目标,定义的频率闪烁。

会议是由20试验每个三个类的(左,右,和中心),在一个随机的顺序安排。会话的时间组织相应的:在我们的协议中,试验持续了10。首先,1 s的黄色箭头显示,指示目标,用户必须集中注意力。从第二个1秒6,审判进入刺激阶段。在这个阶段所有三个目标开始在相应的频率闪烁。用户特别要求不移动你的头部,放松面部肌肉,不要眨眼在这个阶段。刺激然后紧接着4 s休息期间,用户被允许休息他的注视,眨眼,或移动。EEG数据从这个时期不用于分类。这是见图4。

脑电图记录数据,加上标记事件,如类标签为每个审判保存在电脑上。只有相关频道,在这种情况下,O1, O2, P7, P8用于分析。

由于支持向量机和LDA二元分类器,在处理三级问题在这种情况下(用户选择的三个目标之一),one-versus-all范式的分类器训练;也就是说,第一个分类器以从第一个刺激频率特性为目标类和其他两个频率不属预定目标的刺激。这同样适用于第二个和第三个分类器。投票算法用于从三个选择类分类器输出。如果所有的分类器输出不属预定目标的条件,那么国家据说数控(无法控制)。

6.9。游戏界面和玩

闪烁的彩色目标被选为白色和黑色的组合。研究[83年]分析了不同颜色的目标如何影响分类的质量。为我们的实验中,白人黑人色彩组合被选中,因为它给最高的对比。用户提出了一个液晶显示器,包含3闪烁目标一个黑色背景和一个黄色箭头。恰好在这时候,目标开始以不同的频率闪烁。这就是呈现在图5(一个)。

后进行分类器训练,实验对象被邀请参加一个video-game-like实验。在这个游戏中,提出了主题图的一个接口5 (b)。“宇宙飞船”由两个“引擎”,这两个矩形,和一个“炮”,三角形。主题能够旋转的飞船将他/她的注意力集中于矩形目标之一。

这艘船被向左或向右根据目标用户的关注领域。集中注意力在中间的三角形,用户能够发射宇宙飞船炮。旁边会出现一个红色的圆形目标船在一个随机位置。这个游戏的目的是旋转宇宙飞船和火击中佳能红的目标。击中目标后,它会消失,出现在另一个位置。

执行在线游戏使用OpenViBE场景如图6。获得实时的数据采集端。以同样的方式处理数据作为训练数据,以获得相同的特征向量分类器可以识别。三种分类器的输出输入SSVEP的选民算法,决定当前的类标签的信号。然后可以发出控制信号将船和传递给船控制应用程序。如果检测到数控状态,未能发出控制信号,不执行操作。

7所示。结果

评价系统,从两个不同的主题,获得的两个数据集已经S1和S2。已经使用两种特征提取方法进行了分类评价,(窟)和波原子变换频带能量(BP)特性(这里用作基线方法比较)。有两种类型的分类器,线性判别分析(LDA) (84年)和支持向量机(SVM) [85年]。支持向量机的实现是基于LIBSVM,可用http://www.csie.ntu.edu.tw/ cjlin / libsvm /。LDA分类器我们使用专有实现OpenViBE LDA的环境。系统使用OpenViBE环境实现。所有的计算都是在电脑上执行虚拟机与英特尔酷睿i5 - 3570, 3.4 GHz, 4核,3.5 GB RAM。

由于缺乏训练数据,执行10倍交叉验证和测量精度相同的数据用于训练分类器。表示的精度指标选择的结果,因为它是一个简单的指标,它是由用户直接连接到系统的可用性。它可能高估了分类结果,因为分类器训练在相同的数据。最有可能的结果表明性能高于用户会在在线分类。我们使用三种分类方法进行分类,比较结果。

评估系统的进行了使用两个天真的主题,名为S1和S2,熟悉BCI技术。两种特征提取算法进行测试。(窟)算法第一波原子变换系数。第二个算法和频带能量频带(BP)刺激。这些特性被用来训练分类器。我们测量的准确性和测量每一个主题,而与4种不同的分类器进行分类(LDA,稀疏的LDA (sLDA)与线性内核,支持向量机和支持向量机与RBF内核(参数值γ= 10))。这项研究的结果发表在表1。

结果表明,WAT-based特征提取方法比BP-based执行一个与所有四个分类器。这种方法也可以用于SSVEP的范式。尽管最好的结果是通过使用支持向量机分类器和一个线性内核,与其他分类器结果非常相似。这表明一个好的特征提取算法的选择在BCI应用程序更重要。nonoptimal分类器可以产生良好的结果,因为大多数数据模型选择好的特性。具有良好的特性,可以使用一个简单的分类器,运行得更快。这些结果还表明,它有可能开发出基于低成本收购BCI接口系统设备,如Emotiv EPOC,执行在一个合理的可用性水平。

最后,培训时间培训(完整的数据集)对LDA和SVM分类器比较表2。在这种情况下,支持向量机优于LDA。1 s的脑电图数据样本的处理在280 ms,系统可以实时执行。

开发系统的可用性评估非正式受试者的数量太小,执行正式的评估使用,例如,视觉模拟量表(血管)。这两个主题抱怨不适由于疲劳眼睛经过一段时间的使用系统。疲劳是由低频闪烁的游戏界面。这个问题可以通过增加闪烁的频率来减轻;然而,它不能做是因为EPOC设备的特点。使用更先进的脑电图设备可能解决这个问题。

8。结论

我们已经研究了脑电图(EEG)信号处理和分类技术来设计脑机接口(BCI)系统用于离开了实验室设置AAL环境或智能家居等,与这些主要目标:(1)提高效率的BCI的准确性;(2)提高可用性和适用性,因此向最终用户;(3)设计一个用户友好的BCI系统基于游戏化原则。

我们已经研究了系统性能在使用稳态视觉诱发电位(SSVEP)模式。我们开发出了一种三级BCI系统,基于SSVEP的范式和Emotiv EPOC耳机。我们已经创建了一个场景,让用户控制游戏中的虚拟宇宙飞船通过他/她的想法。允许用户发布的场景3控制命令和no命令(NC)状态,从而自学控制。创建场景分类器训练,包括信号预处理和特征提取。

一个在线射击游戏,在OpenViBE环境中实现的,已被用于反馈。波原子变换(窟)被选为特征提取。系统实现了80.5%的平均精度为主题,而使用支持向量机(SVM)分类器与径向基函数(RBF)的内核。窟的使用允许实现和提高4.8%的精度与基线相比频带能量(BP)特性。这些结果表明,BCI可以作为交互技术对于复杂的应用程序,提供实时操作和反馈。结果还强调,BCI可以使用低分辨率低成本可行即使customer-grade电信号采集设备。这样可以降低系统成本、流动性和准备的时间和主题,因此,允许由非专家主管做好准备。通过改进系统成本和人体工程学,BCI技术可用于公众可以享受有趣的应用程序,游戏和虚拟现实。

关于信号处理和分类BCI设计的一部分,我们相信,一个更好的方法是结合,而不是选择预处理、特征提取和分类方法。提出了许多方法和测试在BCI域中,虽然他们中的一些人有时被证明比别人表现得更好,没有单一的方法已被确认为是最好的。这部分是由于系统用户的差异。因此,我们应该把重点放在现有方法相结合在一起,他们适应最适合用户。因为不同的方法利用脑电图的不同方面,这些方法可以一起使用以互补的方式,可能会导致更好的结果比单独使用一些“最好”的方法。

在未来的工作中,我们计划开发一个真正的BCI-based游戏并执行实验更多的健康和动作受损主体以及执行可用性评估使用视觉模拟量表(血管)。

利益冲突

作者宣称没有利益冲突有关的出版。

承认

作者也想承认的贡献成本行动IC1303 -架构,算法和增强平台生活环境(AAPELE)。