文摘

EEG-controlled游戏应用范围广泛从严格医疗完全非医学的应用。游戏不仅可以提供娱乐,还强烈动机练习,从而实现更好的控制与康复系统。在本文中,我们目前的实时控制眼球运动的视频游戏为异步并使用两个时间脑电图传感器的通信系统。我们使用小波检测的实例眼球运动和时间序列特征区分六类的眼球运动。控制接口的开发测试该算法在实时开启和关闭眼睛的实验。利用视觉反馈,平均分类精度为77.3%,获得了控制六个命令。和80.2%的平均分类精度得到使用听觉反馈控制与五命令。控制算法被应用在二维视频游戏角色运动的方向和速度。结果表明,该算法有一个高效的响应速度和时机的比特率30位/分钟,展示其在实时控制的有效性和鲁棒性。

1。介绍

脑电图(EEG)是一种非侵入性技术测量从头皮的电极电势产生的大脑活动和其他构件(如眼电图(小城镇)和肌电图(EMG)。如今,脑电图技术已经被用于建立便携式同步和异步脑-机接口(bci)。因为它使得基于脑电图的bci是最有前途的空间应用程序接口。它们可以被归类为“唤起”或“自发的。“唤起BCI利用脑电图的强势特征,所谓的诱发电位,它反映了立即自动反应大脑的一些外部的刺激。自发的bci是基于脑电图的分析现象与大脑功能的各个方面相关的心理任务由主题在他/她自己的意愿。

好像有运动障碍的人提供一个与环境的交互方式将大脑活动转化为设备控制(1]。最近,几个BCIs开发基于诱发电位P300和稳态视觉诱发电位(SSVEP)或基于潜在变化和缓慢变化的节律性活动2]。许多关键问题面临的发展等BCI分类准确性,自由度的数量,和培训过程(即。,用户如何学会操作BCI)。一些研究人员已经证明,BCI用户可以学会控制自己的大脑活动通过视频游戏3,4]。因此,练习EEG-controlled游戏应用程序可以提供强大的动力。在这方面,一个主要问题是如何发展医疗和非医疗游戏提高bci的目标的鲁棒性使它更加实用和可靠的技术。

眼球运动因为它使得基于脑电图和眨眼工件是普遍问题BCI研究[5]。然而,目前的作者认为这些构件实际上是一个有价值的信息来源,用于通信和控制。本文几个参与者在不同的实时测试实验在不同的日子里检查脑电图信号的可变性和不稳定性质。本研究表明,相同的控制性能可以通过小城镇或脑电图信号获得使用合适的位置和最小数量的传感器为脑电图技术。参与者的控制性能测试在自然环境中,他们被要求执行他们的眼睛的运动,身体,头部尽量自然。

节2,BCI-based医疗和非医疗的游戏,流行的眼动跟踪技术,混合bci基于大脑活动和眼球运动进行了综述。节3、材料和方法对于发展中几个范例介绍了实时实验。这些实验都是基于实时分类和控制开启和关闭的眼睛使用我们的算法与最小数量的脑电图传感器。节4,结果眼球运动的分类和视频游戏控制。优点和缺点提出的观点在不同的场景中与节中详细的方面进行讨论5。最后,给出了结论和未来的工作前景6。

2。相关工作

2.1。BCI-Based游戏

简单的BCI-based游戏可以帮助没有经验的用户控制通过大脑活动。基于脑电图的游戏设计提高注意力的强度或持续时间,增加的脑波控制的速度和精度,提高其他能力2]。两种类型的BCI-based游戏经常看到:医疗和非医疗的游戏。用于医疗目的,Lalor et al。3)描述一个游戏旨在改善操作使用SSVEP的BCI所需浓度。其他医疗运动会旨在鼓励快速生成运动想象BCI命令和增强用户体验4]。出于娱乐目的,几个BCI-based游戏开发,例如,一个基于流行的视频游戏“俄罗斯方块”,玩弹球,跳舞机器人(6- - - - - -8]。大多数的非医学的游戏是基于浓度水平的球员8]。

2.2。眼动跟踪

在日常生活中交谈,眼球运动起着重要的作用在与环境的交互显示一个人的方向和水平的关注。幸运的是,大多数残疾人仍然可以控制他们的眼睛。因此,眼球运动可以是一个额外的选项来提高他们的生活质量。眼球运动可以作为此次测量信号或通过摄像机和应用于通信和控制系统(9- - - - - -19]。这两种方法都有各自的优缺点(表1)。

2.3。混合好像

最近的研究表明,此次信号获得使用脑电图技术用最小数量的脑电图传感器在额叶或耳朵是实际检测和分类眼球运动(20.- - - - - -23]。因此,大脑活动并不从脑电图作为附加信息。混合bci为复杂系统通过提供一个潜在的有效控制大脑,non-brain-based活动的结合。轮椅的控制,例如,需要多个自由度和快速检测意图,因为它使得基于脑电图只轮椅控制一个挑战。每种类型的好像有其局限性,但混合BCI结合了不同的方法使用多个模式的优势(24,25]。

提出了一种混合BCI结合运动图像和P300在李et al。26]。这是进一步用来控制轮椅的方向和速度长et al。27]。然而,一个快速和准确的设计前后stop命令和命令尚未获得。王等人。28)提出了异步轮椅控制混合EEG-EOG BCI,结合运动图像,P300电位,目光闪烁。他们的实验结果不仅证明了人脑控制轮椅系统的效率和鲁棒性,但也表明,参与者可以控制轮椅自发地、高效地没有任何其他援助。然而,王等人只用一个眼球运动,眨眼。在这里,我们表明,超过6类眼球运动可以分类,用于实时控制,证明此次信号在脑电图数据的实用程序。以后我们提供解释的实验范式,脑电图记录,和实时视频游戏控制,描述和讨论我们的分类和控制结果,然后得出结论与未来前景。

3所示。材料和方法

3.1。实验范式

五个参与者(4男性,1女),平均年龄为26.2岁(标准差(SD): 2.5)正坐在椅子上,指示观看显示屏位于不同位置在眼睛水平。所有的受试者正常或corrected-to-normal愿景和没有BCI经验。其中一个患有弱视(视力问题也称为弱视)。受试者进行实时测试实验中,紧随其后的是一个eye-controlled视频游戏。创建实时测试实验对该算法的性能进行评估。然后参与者玩视频游戏使用眼球运动。在这项研究中,分类精度计算使用实时测试实验中,使用视频游戏和控制性能评估。

在实时测试实验(图1),五个参与者被要求一个白色的球转移到五个位置(上,下,左,右,和中心)使用眼部运动或改变其颜色闪烁。参与者没有动他们的眼睛在时间间隔控制期间一致。对象执行十(10每眼动试验),每次运行持续60年代。在第十年代,参与者被要求注视一个白色的球的中心。然后他们被要求把白球的四个方位(上、下、右或左)使用眼球运动。在过去的10年代,参与者被要求闪烁三次改变球的颜色从白色到黄色。然后,参与者被要求将一个白色的球五位置闭着眼睛使用语音指令实时显示发送命令的可行性为盲人自主基于眼动控制系统。后测试算法的性能在实时的实验中,参与者们能够玩视频游戏在使用眼部运动20分钟没有经过任何训练或校准的阶段。实时控制的视频游戏,受试者可以移动头部位置和方向,看着游戏人物和流星的运动在不同的时间。图2显示了eye-controlled游戏的实验框架和电极位置。

3.2。脑电图记录

EEG信号中获得实时实验使用g。USBamp系统(g。tec医学工程、奥地利)的采样频率256赫兹。两个脑电图电极应用于左、右耳朵背后的上部区域(图2)。这个提议的位置是有利的,因为它不是阻碍头发和允许捕获的小城镇没有不适,可能发生与电极表面上。一个夹电极连接到正确的耳垂,参考和地线的额头。为了防止肌肉工件,参与者被要求避免强烈的闪烁和头部动作。

8阶巴特沃斯带通滤波器截止频率较低的0.5赫兹的上截止频率100赫兹是应用于记录信号。一个四阶- 52赫兹陷波滤波器用于抑制50 Hz电源噪声。

3.3。分类算法

后记录EEG信号从右和左半球,实时算法应用于区分六类:眨眼,中心,右,左,,。信号数据从放大器的计算机发送1块。EEG信号分为低和高频率成分分离此次活动从大脑活动(1)。高因此,四阶巴特沃斯低通滤波器的截止10 Hz被用来EEG信号分解成两个频段:低(0.5 -10 Hz)、高(10 - 100赫兹)。在预处理阶段,基线工件被减去平滑修正信号与它的意思是(2)。在最近的研究中,此次信号,但工件包括在EEG信号作为有价值的信息来源: 在哪里EEG信号的采样频率(,)。基线校正后,两个信号和计算(3)。最大化类左派和右派之间的边缘通过使用左边的区别()和()电极信号。区分上下类使用平滑的和两个电极。增加了实时检测在分类阶段之前因为眼球运动的时间间隔的长度是不固定的。时间间隔的长度是根据每个不同试验自然眼球运动和控制时间为每个参与者(图3):

在我们以前的工作(20.),我们测试了离线算法分类眼球运动之间的四个方位为信号使用曲线下的面积和。然后我们添加特性在线眼球运动(六类之间的歧视21]。信号对应于每只眼睛定位有一个特定的形状(图3),闪烁脉冲类似于高斯脉冲。小波量图是用于检测阶段的眼球运动。我们应用连续小波变换的信号和。为尺度参数,和位置,类是 在哪里连续小波变换系数,是积极和定义,任意的实数定义的转变,是Haar小波函数,表示复杂的共轭,是或信号。类是一个实值函数的规模和地位,因为信号是实值。不断为不同尺度参数的值,和位置参数,我们获得了小波系数。然后通过计算获得了小波量图: 系数的变换系数,每个小波系数的能量,小波系数的能量为1 s。对于这两个和信号,曲线下的面积的正面和负面的山峰是用于特征提取。面积计算在200 -女士窗口的位置集中在最大的小波系数采用梯形法。海浪是位于之间的最大的小波系数。

分层分类是用来区分模式获得和信号。固定阈值四个特性,最大的小波系数,曲线下的面积,振幅,实时实验前和速度,通过计算均值和标准差的基于我们之前的研究(20.,21]。分类结果转换成向量来生成二进制输出。这些被用来移动光标在屏幕上输出和控制一个游戏。

3.4。Eye-Controlled游戏

演示的功效eye-based控制在现实世界的应用程序中,我们创建了一个简单的游戏。这个游戏是一个障碍逃避2 d游戏平台游戏。在游戏中,一个角色必须在两个方向运行,以避免受到流星下降出现在半随机的序列在一个封闭的阶段。角色的运动控制玩家的眼球运动(图4)。

游戏的实现分为两个模块,EEG信号分类模块和图形游戏模块。EEG信号分类模块中实现MATLAB (MathWorks纳蒂克,MA),图形游戏模块使用统一实现4游戏开发生态系统(Unity Technologies,旧金山,CA),和游戏的逻辑是用c#编写的。两个模块的界面上的相互通过TCP / IP协议。

3.5。角色的运动机制

分类模块能够识别6眼动类(左,右,中心,,,和眨眼)。然而,视频游戏只需要3命令:“离开”,“,”和“闲置”,所以左和右类映射到各自的命令和其余类映射到“空闲”命令。定义的角色的方向和速度都是一个单位向量的符号和大小,分别。最初,向量是设置为0,所以这个角色游戏开始时站着不动了。积极的矢量字符向右移动,和一个负矢量向左移动。离开的命令从分类模块向量大小降低了0.1个单位,而正确的命令增加0.1个单位的大小。角色的速度改变通过增加或减少一个固定大小的角色的加速度。收到命令每1 s离散控制角色的不断运动。所以角色的运动方向被确定为主导的命令在一个给定的命令序列窗口。这种方法被用来补偿自然在眼球运动方向突然改变当眼睛回到中心位置。 The idle command was different from the movement commands in that the vector magnitude was set to 0 immediately after the idle command was received, allowing the character to stop when the player intended with no delay. The maximum speed of the meteors was defined by a vector of units 0.1, and the initial speed was 0. Acceleration downwards was defined as a vector of units 0.01. The number of meteors was semirandomized, but no more than 5 appeared at one time. There were 5 meteors release points lined up evenly across the top of the screen (Figure4)。每个点都有自己的一套semirandomized释放时间和延迟值。释放我们设置了值,平均每重复3颗流星。困难是由流星的数量和速度控制。因此,分类精度是基于停止和移动的角色,而不是避免流星。表2总结了要执行的动作的字符显示在图3对应于每一个眼动。

3.6。评估标准

该算法的性能评估的实时实验通过计算6和3类的分类精度基于成功或失败将球或字符所需的方向,分别。视频游戏的控制,精度、灵敏度和特异性计算三个类(左,右,和闲置)等 TP是真阳性的数量,TN的数量是正确的底片,FP是假阳性的数量,和FN假阴性的数量。

4所示。结果

计算和为每个类(图导致独特的签名3),可以利用分类。表3显示了一个混淆矩阵的六类和精度平均在五个参与者(16.67%的几率级别)。所有参与者证明可靠的控制白球在第一个实验中,实现平均精度为77.33 (SD: 2.52%)。显示该算法分类精度高,左,使用0%的数据中心,眨眼类培训或校准阶段和100%的数据进行测试。

我们用单向方差分析来评估实时分类结果六个眼球运动类的参与者。参与者之间无显著差异观察的准确性(= 0.06,)。

表4显示了一个混淆矩阵的五类(上,下,左,右,和中心)和精度平均在五个参与者闭着眼睛使用相同的阈值。所有参与者导致分类精度与打开或关闭眼睛几乎相同,平均精度达到80.2% (SD: 1.87%)使用听觉反馈闭着眼睛(20%的几率级别)与参与者之间无显著差异(,)。

我们观察到,分类精度使用闭上眼睛“中心”和“向上”类的增加相比,使用的情况下打开眼睛。这个精度区别类的“眼睛”和“闭上眼睛”是由于相似波形的“方向”和“但”信号。“向上”和“眨眼”类组合在一个类在闭眼的实验。因此,提高类的分类精度提高。中心类的准确性也增加,因为没有噪声相关的视觉信息。算法显示精度高和鲁棒性使用单个试验的实时控制白球打开,闭上眼睛的情况下与所有用户之间没有显著差异值都使用相同的阈值。参与者弱视患者显示最低的分类精度相比由于难以正确地移动他的眼睛。

实时控制的视频游戏,受试者可以移动,看着他们的眼睛的位置和方向的运动游戏人物和流星各种计时。表5显示精度、灵敏度和特异性为每个参与者。这些值计算基于精度(表2),上,下,中心,眨眼类视为闲置类。平均灵敏度是90%以上,参与者3实现了约100%的准确性使用单一审判做出决定。准确性参与者之间没有发现显著差异(,)、敏感性(,),或特异性(,)。

响应速度和时机也很重要在BCI的完全控制。使用串行通信,分类算法处理60位/分钟,但控制算法处理第一位,忽视了第二。因此,视频游戏的比特率控制30位/分钟。该算法是有用的在分类精度和节省时间的因为实时应用所面临的主要问题是计算和处理时间。

5。讨论

在这项研究中,受试者能够执行实时控制的接口使用六个眼球运动和玩视频游戏有三个基于眼动的命令。因为人类眼睛的休息位置是前置,我们返回我们的眼睛回到中心位置后,看着其他方向。这一行动会导致分类目的相反的方向,进而影响接口控制。为了解决这个问题,游戏角色的动作并不遵循从逐字分类模块发送的命令。的运动加速度的字符被定义为一个单位向量设在,“正确”的积极的价值观和“左”消极的价值观。运动命令逐渐增加了目标方向的加速度值。该技术减少了眼睛回到中心位置的影响。“闲置”或停止命令,该命令需要立即响应,运动向量立即回到零级尽快停止字符停止玩家。

类的上下,即使两个传感器位于相同的点在左、右耳朵后面,我们能够获得可分别的此次活动。我们相信眼睛没有动,反映在中心轴角。这种不同可能使上下方向的检测成为可能,并通过计算放大。表6总结了优点和缺点的健壮的基于EEG信号的实时控制系统。

自眼球运动产生的电信号的大小取决于角速度,许多研究人员已经使用的大视角30°、45°之间得到高精度检测的方向或位置眼球运动(12,29日- - - - - -33]。这个大视角不适合日常生活的应用,因为它几乎立即导致眼睛疲劳,累人的用户。比较实时使用打开的眼睛从这项研究结果与我们之前的离线和在线分类工作(20.,21),我们发现,分类精度使用小视角从近90%下降到77%。这可能是由于实时应用程序的复杂性,环境条件和用户的行为。参与者被要求让自己舒服和执行动作尽可能自然。有实例,眼球运动,但信号数据显示没有严重影响头部或身体动作。虽然该算法的未来版本将受益于一个自动阈值子程序,而不是一个校正阶段,结果表明,当前算法承诺在实时应用程序。

通过这项工作,我们不仅可以帮助残疾人也是盲人使用他们的眼球运动与听觉反馈来控制智能应用程序使用语音指令。对于健全的用户,发送命令闭着眼睛的想法可以减少疲劳问题相关的丰富详细的视觉环境。基础应用,在一些特殊的眼球运动视觉信息可以取而代之的是信息从触觉,嗅觉、听觉等感官的情况下减少或增加室温和音乐的音量。我们试图为非侵入性的发展,异步的,和混合bci大脑活动和眼球运动相结合。这种BCI可以提供实用工具在日常生活中应用和实际机器控制。尽管大多数方法在BCI领域仅仅关注大脑活动,我们看到这一领域的升级机会的结合脑电图和小城镇。这种方法可以用来帮助残疾人和健全现有BCIs相比效率高。

6。结论

本文提出了异步和鲁棒实时控制的视频游戏使用两个时间脑电图传感器通过眼球运动检测。多级控制算法设计在视觉上精致的身临其境的2 d游戏。研究表明,成功的多级控制的结果是可能的使用合适的位置传感器来检测和分类在打开,闭上眼睛的情况下眼球运动。

在不久的将来,康复医学治疗,和娱乐,我们想设计便携式、非侵入性和异步混合EEG-EOG-based游戏和智能应用程序使用最小数量的可穿戴的无线传感器。

利益冲突

作者宣称没有利益冲突。

作者的贡献

这里介绍的工作是进行所有作者之间的合作,但主要部分由第一作者已经完成。Abdelkader Nasreddine Belkacem实时实验,开发了该算法,并分析了数据;Supat Saetia和Kalanyu Zintus-art设计游戏的2 d图形;duke energy Shin Hiroyuki Kambara, Natsue Yoshimura, Nasreddine Berrached,和Yasuharu小池百合子监督提出了工作,编辑论文的最终版本,并批准它。

确认

这项工作得到了日本有意合作署(JICA)和“BMI技术临床应用开发”战略下进行大脑科学研究项目由教育部,日本的文化、体育、科学和技术。

补充材料