比较稳态视觉诱发电势视觉刺激的脑-机接口在虚拟现实环境下的分类精度和视觉舒适

文摘

最近的研究在脑-机接口(bci)基于稳态视觉诱发电位(SSVEP)演示了使用控制对象或虚拟现实(VR)环境中生成的命令。然而,大多数SSVEP-based BCI研究表现在虚拟现实环境中采用了视觉刺激,通常使用在传统液晶不考虑环境的差异呈现设备(头盔显示器(hmd)在虚拟现实环境中使用)。视觉刺激和眼睛之间的距离HMDs在容易引起眼睛疲劳,降低SSVEP-based bci的整体性能。因此,在本研究中,我们已经测试了两种不同类型的视觉stimuli-pattern-reversal棋盘刺激(prc文件)和成长/收缩刺激(GSS)——年轻健康的参与者HMDs穿。初步实验研究中每个参与者的视觉舒适的视觉刺激。在随后的在线《阿凡达》控制实验中,我们观察到相当大的差异,个别参与者的分类精度基于视觉刺激用来引出SSVEP的类型。有趣的是,有一个密切的关系和主观视觉舒适度评分之间的在线SSVEP-based BCI的性能:大多数参与者显示更好的分类精度在视觉刺激他们更舒服。我们的实验结果显示适当的视觉刺激的重要性增强的总体性能SSVEP-based bci在虚拟现实环境中。此外,预期的适当的视觉刺激某些用户可能是容易被测量用户的视觉舒适度不同的视觉刺激,而不需要实际的BCI实验。

1。介绍

脑电图(EEG)是应用最广泛的神经信号的脑-机接口(bci),其主要目的是提供瘫痪或禁用与外部环境沟通的新方法(1]。因为它使得基于脑电图的典型范例bci包括汽车图像(MI), P300和稳态视觉诱发电位(SSVEP) [2]。其中,一个SSVEP-based BCI范式由于其鲁棒性,得到了广泛的采用外部噪音和很少的培训需求3]。由于其优于其它范例和最近开发了先进的分析方法(4,5],SSVEP-based好像已经实现了各种应用程序包括残疾人辅助和康复工具(6健康)和实际应用,如汽车导航(7)和娱乐(8]。此外,虚拟现实(VR)技术的快速进步,SSVEP-based好像已经成功地应用于虚拟现实应用程序与免提控制虚拟物体或无语通信(9- - - - - -11]。

尽管大多数虚拟现实设备目前使用头盔显示器(hmd),没有以前SSVEP-based VR-HMDs BCI研究考虑环境差异和传统的液晶显示器。自传统SSVEP-based BCIs呈现一个液晶显示器使用设备呈现视觉刺激在过去的几十年里,许多研究已经进行的各种参数的影响视觉刺激bci的性能;这些参数包括空间频率(12),时间频率(13)、颜色(14),数据记录频道(15),和时间窗口大小16,17]。相反,SSVEP-based bci在虚拟现实环境中实现了视觉刺激与那些传统的液晶显示器环境中使用,没有任何重大修改。换句话说,所有SSVEP-based BCI研究表现在虚拟现实环境中假定的视觉刺激HMD不是明显不同于液晶显示器。例如,MindBalance游戏(9),3 d游戏使用SSVEP-based bci在虚拟现实环境中,采用pattern-reversal棋盘刺激(prc文件)引出SSVEP的反应。最近发达neuro-optical诊断工具使用VR耳机(18)也采用传统的prc文件。然而,众所周知,一个实验在虚拟现实环境中很容易视觉疲劳比LCD环境;这主要是由于图像失真,或串扰,在立体观看19)以及源照明和眼睛之间的距离(20.]。

在目前的研究中,我们使用两种不同类型的视觉stimuli-PRCS和成长/收缩刺激(GSS)——来有效地引起SSVEP的反应在液晶显示器环境中,14日参与者HMDs穿。两个具有代表性的视觉刺激的性能被调查的个体分类精度和主观视觉舒适的分数。调查后的视觉舒适的参与者在初步离线实验中,性能的SSVEP-based bci研究通过在线《阿凡达》在虚拟现实环境中控制实验。

2。材料和方法

2.1。参与者

16岁年轻健康的人(10雄性和雌性6,20.5±1.6岁)与视力正常或corrected-to-normal参加了我们的实验。所有的参与者被告知实验的细节和给他们的书面同意。两个参与者的数据排除在进一步的分析:首先是排除由于频繁闪烁的眼睛在视觉刺激的表示(眨眼污染14总数的40个试验),第二由于不存在的光谱峰值记录脑电图。视觉检查发现的眨眼是垂直眼电图(小城镇)记录在离线实验。这种所谓的“BCI-illiteracy”是一个众所周知的问题因为它使得基于脑电图在bci [21]。这个实验是汉阳大学的机构审查委员会批准的大韩民国(IRB hyi - 14 - 167 - 11)。

2.2。视觉刺激

两种不同类型的视觉刺激是用来引出SSVEP的反应:prc文件和GSS。prc文件是传统的视觉刺激,使用液晶显示器环境中最常见的诱发SSVEP的反应;这种刺激交替呈现两个棋盘模式180°相位差(7)(图1(一))。GSS是亮度和大小变化的新视觉刺激诱发SSVEP的反应。这种刺激是基于之前的研究,报道,动态变化也可以引起周期性VEP响应(通常称为稳态运动视觉诱发电位或SSMVEP) (22,23)(图1(一))。这些刺激了在虚拟现实环境中使用的HMD HTC万岁™虚拟现实系统(宏达有限公司新店地区,新台北市,台湾)。视觉刺激都是调制引起SSVEP的响应对应四个频率,也就是说,6日,7.5,9日和10赫兹。这些频率测定通过考虑呈现设备的刷新率(90赫兹),这是一个整数倍数的四个目标频率。在离线实验中,prc文件是固定的视角在14°,虽然这GSS的8°和16°之间的不同。在线实验,prc文件的视角是减少到6°,GSS 4°之间的不同和8°为了验证可行性和可用性的视觉刺激在一个现实的虚拟现实环境中,大型刺激不能普遍采用。注意,根据之前的报道,视觉刺激与视觉角度大于3.8°会产生类似水平的SSVEP的响应(24]。

2.3。实验范式

在初步离线实验中,每个刺激类型提出了每个参与者随机打乱顺序。在每个试验中,四个视觉刺激对4 s提出了不同的频率,如图1(一)。interstimulus间隔(ISI)被设置为2 s,在哪个数字在屏幕上呈现的颜色绿色和闪烁在1赫兹表示参与者的刺激应该关注在未来刺激间隔。每个在每个刺激视觉刺激类型出现的20倍(为每个频率的5倍),因此,试验的总数是40。EEG信号记录;然而,没有即时反馈给参与者在实验中。最后初步离线实验中,参与者被要求主观评价与两种刺激类型的视觉舒适规模范围从0(很不舒服)到10(很舒服)。

在线实验,参与者也参加了初步离线实验被要求控制人类全身阿凡达站在一个虚拟的道路在虚拟现实环境中。《阿凡达》可能朝着四个方向:上,下,左,右。四个视觉刺激频率用于离线实验给出了在顶部,下,左,右的《阿凡达》指出可能的运动方向的阿凡达(图1 (b))。每个参与者被要求按顺序将《阿凡达》在一个正确的方向后给定的路径。共有三种不同的路径,20运动组成的每个步骤,创建。为所有60运动步骤,每个方向步骤的数量平衡。对于每一个路径,同样的范式与prc文件或者GSS,重复两次演讲的视觉刺激时为每个参与者随机确定。《阿凡达》可能移动一步只有当分类结果(方向)恰逢路径的正确方向。因此,最小数量的试验必须完成每个会话20岁的时候,当分类精度为100%。每个试验持续了5 s,包括2 s演讲的视觉刺激,阿凡达运动1 s, 2 s为ISI给参与者的时间将他们的目光下运动。视频显示的在线实验参与者被附加到这个手稿作为补充电影,和它的高分辨率版本可以在YouTube上找到™(https://youtu.be/TC4QMPhW6y8)。

2.4。Biosignal采集和预处理

从七个电极EEG数据记录(C_z,阿宝₃,阿宝_z,阿宝₄阿,₁阿,_z阿,₂)使用商业biosignal记录系统(ActiveTwo BioSemi,阿姆斯特丹,荷兰)。此外,一对电极上方和下方右眼获得垂直此次数据。采样率是2048赫兹。记录脑电图数据re-referenced C_z(4,25)然后在6和带通滤波50 Hz使用零相位切比雪夫型我无限脉冲响应滤波器在MATLAB中实现(MathWorks, Inc .,纳蒂克,妈,美国)。程序实时分析数据开发利用实地考察工具箱(26]。

2.5。数据分析和统计分析

SSVEP的反应的分类,我们采用了一种最近推出了多元的算法称为扩展同步指数(EMSI) [5),表现出卓越的性能与传统的分类方法相比(27]。

的Wilcoxon符号秩检验是用于统计分析,因为分类精度的两种视觉刺激并不遵循正态分布Kolmogorov-Smirnov评估的测试。

3所示。结果

在离线实验中,GSS比prc文件分类精度和信息传输速率(ITR)对所有窗口大小(数字2和3);ITR计算如下: 在哪里表示数量的刺激,表示分类精度,从0到1表示单个分类试验所需的时间(28]。统计分析使用Wilcoxon符号秩检验还显示在GSS的性能统计上的显著差异,prc文件(Bonferroni-corrected分类精度和ITR窗口大小)。虽然窗口大小为1.5 s显示最高ITR(图3),2 s时代被用于在线的分类实验。这是因为不同的也是1.5和2年代时代并不大,但分类精度的改善是2 s相对独特的时代相比,1.5年代的时代。

表1显示了每个参与者的分类精度的在线实验。与初步离线实验,没有发现统计学意义之间的分类精度prc文件和GSS ( ;Wilcoxon符号秩检验)的在线实验虽然GSS的平均分类精度高于prc文件。两种情况之间的差异的可能原因,即。,the offline and online experiments, will be discussed in Discussion.

进一步分析,所有的参与者被分成三个组基于主观视觉舒适评级的两种视觉刺激后得到初步离线实验。的参与者更舒适prc文件归类为第1组,和那些更舒适GSS被分为2组。参与者的刺激同样都归类为集团3和排除在进一步的分析。有趣的是,所有三个参与者(即。,P6,P8,和P10)in Group 1 exhibited higher classification accuracies for the PRCS than for the GSS, while most participants in Group 2, with the exception of only one participant (i.e., P5), exhibited higher or equivalent classification accuracies for the GSS than for the PRCS. These results suggest that the performance of the SSVEP-based BCIs in VR environments might be potentially improved by selecting the best stimulus type for each individual, which would be readily chosen by inspecting the individual’s subjective visual comfort for different visual stimuli types.

4所示。讨论

活性BCI系统的性能高度依赖于刺激的类型用于引出特定脑电波反应。尽管已经完成的一系列研究找到一个最佳的视觉刺激的传统SSVEP-based bci在液晶显示器环境中,研究尚未报道的影响视觉刺激的性能SSVEP-based bci在VR-HMD环境中。我们假设prc文件,它广泛应用于SSVEP-based bci,可能不是最佳的视觉刺激在VR-HMD环境因为HMDs的图像显示在接近眼睛比液晶显示器,并因此,prc文件可能太强烈的眼睛。因此,在这项研究中,我们测试了另一种类型的视觉刺激称为GSS改变大小和亮度在虚拟现实环境中,比较了BCI表演prc文件。

在离线实验结果,GSS表现方面的prc文件分类精度;然而,不同性能大大减少在网络实验。这一现象被认为来自几个因素:第一,空间频率的prc文件离线实验是不同于在网络实验。空间频率变化从0.25周期/度离线实验0.5周期/度在线实验。根据以前的报告(12),空间频率的prc文件与SSVEP-based bci的性能有着密切的关系。第二个原因可能是背景的差异;例如,在离线实验中,单调的深灰色背景,而在网上的实验中,一个相对复杂的背景和许多干扰(图1 (b))。这个复杂的背景可能会分心的引出SSMVEP因为边境的GSS有时由于背景图像变得模糊。相反,prc文件将由背景的影响较小,因为这刺激保持它的大小在演讲。

我们的在线实验表明SSVEP-based BCI的视觉刺激更舒适的用户通常表现在虚拟现实环境中,与其他刺激。这一发现不符合先前的报道显示,视觉刺激唤起强烈诱导强烈的视觉疲劳(SSVEP的反应29日- - - - - -31日)当一个液晶显示器用于呈现视觉刺激。然而,也有一些证据显示,视觉舒适和BCI性能之间的关系是依赖于刺激呈现设备(例如,发光二极管:led)或刺激类型(例如,SSMVEP) [32,33]。我们的研究结果还表明,在虚拟现实环境中用户的最佳视觉刺激可能很容易由评级之前用户的主观视觉舒适度的主要BCI实验。这种策略可能会大大减轻一系列离线BCI的必要性实验来确定一个最佳的视觉刺激用户在虚拟现实环境中。

在离线实验中,四个参与者评价相同的视觉舒适度评分对prc文件和GSS。有趣的是,他们通常达到更好的分类精度GSS prc文件。虽然有限的样本容量很难概括,选择GSS而不是prc文件可能产生更好的分类精度情况下没有区别在主观视觉舒适的评级。然而,进一步的调查必须制定一个更通用的规则选择的最佳视觉刺激SSVEP-based bci在虚拟现实环境中。此外,在目前的研究中,我们测试只有两种类型的视觉刺激;然而,更多类型的视觉刺激需要在将来的研究中在虚拟现实环境中开发和测试。

5。结论

我们所知,这是第一个研究比较不同类型的视觉刺激SSVEP-based bci在虚拟现实环境中。我们的研究表明,选择一个最佳的视觉刺激,一个人可以改善的总体性能SSVEP-based bci和减少在虚拟现实环境中视觉疲劳。密切关联的性能SSVEP-based bci和主观视觉舒适的观察,表明通过简单的选择一个合适的视觉刺激pre-experimental检查个人的偏好向视觉刺激可以帮助提高性能的SSVEP-based bci在虚拟现实环境中。

数据可用性

使用的数据来支持本研究的发现可以形成相应的作者。

信息披露

Kang-min崔和Seonghun公园co-first作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

作者的贡献

Kang-min崔和Seonghun公园同样导致了这项研究。

确认

这项工作得到了学院的信息和通信技术规划和评估(IITP)授予由韩国政府资助(MSIT)(2017-0-00432,非侵入性的发展集成BCI SW平台控制家用电器和外部设备由用户的思想通过AR / VR接口)。

补充材料

一个影片剪辑显示在线实验是附加到这个手稿。连续两个试验为每个类型的刺激记录作为一个视频来说明这个实验的简单范式:一个用于分类结果的情况下是正确的,而另一个是不正确的。材料与方法中提到,《阿凡达》只有在移动情况下的分类结果正好与路径的方向。(补充材料)

引用

1. j·r·沃尔波n . Birbaumer d·j·麦克法兰g . Pfurtscheller和t·m·沃恩“脑-机接口的通信和控制,”临床神经生理学,卷113,不。6,767 - 791年,2002页。视图:出版商的网站|谷歌学术搜索
2. e .阴t . Zeyl r·萨博t .洲,d . Hu和z周,“混合脑机接口基于P300的融合和SSVEP的分数,”IEEE神经系统和康复工程,23卷,不。4、693 - 701年,2015页。视图:出版商的网站|谷歌学术搜索
3. g . Bin x高,z, b .香港和美国高,“网上多渠道SSVEP-based脑机接口用典型相关分析方法,”《神经工程》第六卷,没有。4、文章ID 046002, 2009。视图:出版商的网站|谷歌学术搜索
4. y, e .阴f·李et al .,“两级频率识别方法基于SSVEP-based BCI的相关成分分析,“IEEE神经系统和康复工程,26卷,不。7,1314 - 1323年,2018页。视图:出版商的网站|谷歌学术搜索
5. 郭y, d, d .姚明,p .徐”扩展SSVEP-based BCI的多元同步指数法”Neurocomputing卷,269年,第231 - 226页,2017年。视图:出版商的网站|谷歌学术搜索
6. d . Lesenfants d . Habbal z卢戈et al .,“一个独立的脑-机接口SSVEP-based闭锁综合症”,《神经工程,11卷,不。第三条ID 035002, 2014。视图:出版商的网站|谷歌学术搜索
7. p·马丁内斯,h . Bakardjian和a . Cichocki”完全在线multicommand脑机接口视觉neurofeedback使用SSVEP的范例,”计算智能和神经科学ID 94561条,卷。2007年,9页,2007。视图:出版商的网站|谷歌学术搜索
8. a . m .·范·弗利特罗本:Chumerin et al .,“设计一个脑机接口控制游戏使用消费者品位脑电图硬件,”学报2012年ISSNIP生物和生物机器人会议:生物和机器人学的更好、更安全的生活(BRC)IEEE,页1 - 6,里约热内卢,巴西,2012。视图:谷歌学术搜索
9. e . c . Lalor s p·凯利,c .芬努凯恩et al .,“稳态VEP-based脑机接口控制在一个身临其境的3 d游戏环境中,“EURASIP在信号处理的发展》杂志上,卷2005,不。19日,3156 - 3164年,2005页。视图:出版商的网站|谷歌学术搜索
10. c·g·库根和他脑机接口控制在虚拟现实环境中,物联网的应用程序,“IEEE访问》第六卷,第10849 - 10840页,2018年。视图:出版商的网站|谷歌学术搜索
11. j .针板b z艾莉森,c . Brunner et al .,”一个可行性研究SSVEP-based与激励和身临其境的虚拟交互和增强现实,”2017年,https://arxiv.org/abs/1701.03981。视图:谷歌学术搜索
12. n . r . Waytowich y,亚马尼创立和d . j . Krusienski”优化棋盘空间频率的稳态视觉诱发电位脑-机接口,“IEEE神经系统和康复工程,25卷,不。6,557 - 565年,2017页。视图:出版商的网站|谷歌学术搜索
13. n . r . Waytowich和d . j . Krusienski”小说描述的稳态视觉诱发电位脑电图频谱,”学报ACM SIGKDD:大脑知识发现(KDD)车间美国,纽约,纽约,2014年。视图:谷歌学术搜索
14. m . Gerloff和m .先令,”主题响应变化的色彩和电容SSVEP的频率测量,”生物医学工程/ Biomedizinische Technik57卷,第98 - 95页,2012年。视图:出版商的网站|谷歌学术搜索
15. 周宏儒。黄,黄永发。Lim Y.-J。荣格,崔h . s . w . Lee和学术界。Im,“发展SSVEP-based BCI的拼写系统采用QWERTY-style键盘,“神经科学杂志》上的方法,卷208,不。1,59 - 65年,2012页。视图:出版商的网站|谷歌学术搜索
16. e .阴z, j .江y,和d·胡“动态优化SSVEP的脑机接口(BCI)拼字,”IEEE生物医学工程,卷62,不。6,1447 - 1456年,2015页。视图:出版商的网站|谷歌学术搜索
17. m . j .江e .阴c . Wang, d .明,“动态停止策略整合到高速SSVEP-based bci,”《神经工程,15卷,不。4、文章ID 046025, 2018。视图:出版商的网站|谷歌学术搜索
18. c . Versek a . Rissmiller a Tran et al .,“便携式neuro-optical诊断系统使用虚拟现实显示,“军事医学卷,184年,第592 - 584页,2019年。视图:出版商的网站|谷歌学术搜索
19. t也免不了,a .饭岛爱,矢野,“视觉疲劳引起的立体图像和寻找需求,以阻止他们:复习一下,”显示,33卷,不。2、76 - 83年,2012页。视图:出版商的网站|谷歌学术搜索
20. j .郭d·翁B.-L。咄,刘y, y王”,HMDs使用对视觉疲劳的影响在虚拟环境中,”学报2017年IEEE虚拟现实(VR)洛杉矶,页249 - 250,美国2017年3月。视图:谷歌学术搜索
21. 艾莉森,t . Luth, d . Valbuena a . Teymourian Volosyak,和a .γ射线激光器”BCI人口:多少和什么样的人可以使用一个SSVEP的BCI ?”IEEE神经系统和康复工程,18卷,不。2、107 - 116年,2010页。视图:出版商的网站|谷歌学术搜索
22. f . j .谢g .徐j . Wang,和y,“运动稳态视觉诱发电位振荡产生的牛顿环:对脑-机接口,“《公共科学图书馆•综合》,7卷,不。6篇文章ID e39707 2012。视图:出版商的网站|谷歌学术搜索
23. j .谢g .徐王j . et al .,“心理负荷和疲劳的影响基于稳态诱发电位的脑计算机接口任务:比较基于周期性闪烁和motion-reversal的视觉注意力,”《公共科学图书馆•综合》,11卷,不。9篇文章ID e0163426 2016。视图:出版商的网站|谷歌学术搜索
24. k·b·Ng, a·p·布拉德利和r·坎宁顿”刺激特异性的稳态视觉诱发脑-机接口电势,”《神经工程,9卷,不。第三条ID 036008, 2012。视图:出版商的网站|谷歌学术搜索
25. s . m .赖,z, y s挂z妞妞,c . Chang,“基于彩色瞬态视觉诱发电位的脑机接口编码/解码方法,”IEEE杂志在新兴和选定的主题在电路和系统,1卷,不。4、578 - 589年,2011页。视图:出版商的网站|谷歌学术搜索
26. r . Oostenveld p .薯条、e·马里斯和人类。Schoffelen”,实地考察:开源软件高级分析梅格,脑电图,和侵入性电生理数据,”计算智能和神经科学ID 156869条,卷。2011年,9页,2011。视图:出版商的网站|谷歌学术搜索
27. p . y . Zhang徐、k . Cheng和d .姚明,“多元同步指数频率识别SSVEP-based“脑机接口”神经科学杂志》上的方法卷。221年,32-39,2014页。视图:出版商的网站|谷歌学术搜索
28. j·r·沃尔波h·拉莫斯·d·j·麦克法兰和g . Pfurtscheller”EEG-based沟通:准确性提高了响应验证”IEEE康复工程》第六卷,没有。3、326 - 333年,1998页。视图:出版商的网站|谷歌学术搜索
29. a . Duszyk m . Bierzyńska z Radzikowska et al .,“对一个优化的刺激参数基于稳态视觉诱发电位的脑机接口,“《公共科学图书馆•综合》,9卷,不。11日文章ID e112099, 2014。视图:出版商的网站|谷歌学术搜索
30. a . m .德雷尔,c·s·赫尔曼,j . w . Rieger”用户体验和BCI分类精度之间的权衡与调频稳态视觉诱发电位,”人类神经科学前沿2017年,卷。11日。视图:谷歌学术搜索
31. t . Sakurada t·森、t .小松和k . Kansaku”使用高频视觉刺激高于临界闪烁频率SSVEP-based BMI,”临床神经生理学,卷126,不。10日,1972 - 1978年,2015页。视图:出版商的网站|谷歌学术搜索
32. s Mouli r .印度:“对一个可靠PWM-based发光二极管视觉刺激改善SSVEP的反应以最小的视觉疲劳,”工程杂志,卷2017,不。2、广州2017页。视图:出版商的网站|谷歌学术搜索
33. w·严,g .徐m .李et al .,“稳态运动视觉诱发电位(SSMVEP)基于平等的亮度彩色增强,”《公共科学图书馆•综合》文章ID e0169642卷。12日,2017年。视图:出版商的网站|谷歌学术搜索

版权

版权©2019 Kang-min崔等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。