浓缩脑-机接口通过人机交互的虚拟环境

文摘

三度空间的表示刺激的认知过程的人机交互(HCI)的核心和基础。这些认知过程发生在用户导航和探索虚拟环境(VE),主要是与空间记忆存储,关注,和感知。类型有许多独特的特性(例如,参与、浸泡和存在),可以显著提高人机交互在高度要求和互动系统,如脑-机接口(BCI)。BCI是nonmuscular通信通道,试图重建个体之间的交互和他/她的环境。尽管BCI研究始于60年代,这种技术还没有有效的或可靠的为每个人在任何时间。在过去的几年中,研究人员认为,BCI主要缺陷可能与人机交互问题。迄今为止的证据表明,大可以工作环境条件(1),(2)BCI控制面板的效率最大化,(3)实现导航系统不仅对用户的意图,而且基于用户的情感,和(4)调节用户的精神状态提高区分控制和无控模式。

1。介绍

脑-机接口(BCI)系统,尝试建立人脑和计算机之间的通信,以取代自然之间的连接中枢神经系统(CNS)和肌肉骨骼系统。利息BCI研究大大增加由于各种各样的应用程序,包括neurorehabilitation,机械设备,exoeskeletons和domotic系统。尽管BCI研究始于60年代,这种技术还没有有效的或可靠的为每个人在任何时间。在过去的几年里,一些研究人员如法比乐天和卡米尔Jeunet认为主要BCI缺陷可能与人机交互(HCI)问题[1- - - - - -4]。我们可以看到在图1虚拟环境(大)有许多独特的特性,可以显著提高人机交互在高度要求和互动系统,如BCI。本文将更详细地描述五个要点:(我)类型的主要特点(部分2)(2)这些特征如何改善人机交互(部分3)(3)如何改善人机交互通过VE有助于克服一些缺点的BCI系统(部分4)(iv)广泛的领域内的最新进展(修改部分4)(v)强烈的倾向这个研究领域(部分5)。

2。虚拟环境:系统需求和用户的关注

人们有全面清晰的感知环境,尽管他们有限的感官系统。由于神经系统的信号处理,不断更新人类的反应,人们可以执行复杂的活动。例如,一个人能够识别和分类大量的声音在周围空间合并。因此,这是一项艰巨的任务开发类型,生成合成视觉、听觉、触觉感受,可以欺骗人类感知。已经有两个基本要素:系统需求和用户问题[5]。图1提供了一个概述的所有组件包含在这些两类。

对系统需求,VE通常要求一个3 d发生器和人机交互。建模和动画的3 d发生器由3 d对象在下列标准:(1)几何、定义的视觉外观,声音,气味,味道,和/或VE中的每个对象的纹理;(2)的角度来看、空间几何和用户之间的关系;和(3)运动、几何变化响应用户操作和时间进度。对于人机交互,输出接口用户感觉和刺激交互技术为解码用户的欲望。的输出接口年代分为听觉、视觉和触觉设备。听觉设备促进用户意识,甚至高质量的声音可以帮助创建一个更现实的和身临其境的体验。耳机和扬声器是最常用的听觉设备(6- - - - - -9]。视觉设备允许用户看到,结束,根据对象和也给用户一个立体视觉的已经10- - - - - -12]。它们可以头戴设备或固定设备(如显示器和投影仪。分为tactibility和动觉触觉系统设备。Tactibility设备提供触觉反馈电阻等感知环境的属性,质量,材质,或温度。动觉设备提供感知运动或运动的努力(13- - - - - -15]。的交互技术指与VE交互的模式。常见的图形用户界面,语音识别器,和头部跟踪系统/眼睛/手。语音识别器适合低心理工作负荷情况下因为人类倾向于阻止他们听觉通道在极端负载的情况。跟踪系统位置传感器,监控用户运动VE。这允许VE发生器渲染和显示已经从用户的角度来看,实现物理浸的影响(13- - - - - -15]。跟踪系统的一些例子如下:(1)电磁传感器来确定位置和姿态,(2)机械传感器模拟力的影响,(3)光学传感器来确定三维位置,(4)超声波传感器来计算距离,和(5)惯性传感器来检测运动如陀螺力、加速度、或倾向。

除了技术方面,人类的这些计算机系统(或用户担忧)必须也会考虑。用户的关注与虚拟世界的一代认知相当于真正的一个。最近的这两个世界发生在用户之间的相似性在那里的感觉。用户交互和虚拟空间,好像他们在那里;也就是说,他们经验的存在。存在发生在用户感觉沉浸在VE,感觉与它交互的能力,和对事业感兴趣的任务。存在的三个主要方面是浸、用户特点、和参与16,17]。浸泡时带来用户认为自己被包围和VE。刺激呈现和交互水平的工具,一个虚拟的系统使用质量好的浸。刺激表现取决于三个因素:(1)浸渍质量相关的感官信息呈现给用户,(2)戏剧性的内容和结构已经实现,和(3)感知的接口,将人们的经验。互动的水平是由广泛探索的可能性已经和预测能力和预测接下来会发生什么18,19]。虚拟交互高度修改个人的特点,因为他们不能控制的,他们必须被考虑。用户感知动态改变用户穿过并与VE交互,这是第一个考虑的心理过程。的认知表示已经是另一个重要的个人贡献,捕捉用户的身体之间的关系和环境中的对象。最后,用户在个人技能发生显著的变化,扭曲的虚拟交互。某些情况下这样的技能是知觉-运动的能力,心理状态,特征,需求,偏好,和经验。最后但并非最不重要,最后一个元素类型的用户关注参与。之间的关系已经作为一个空间和个人的身体被称为参与。当级别的控制,用户在虚拟传感器机制是高的,和他们的社会互动已经很好,用户关注系统抑制可能VE的约束。因此,用户忘记了实际环境中实现一个完整的参与(20.]。

3所示。通过虚拟环境改善人机交互

作为类型依赖代表真实的特点、对象和场景,3 d对象的表征和增强用户体验(UX)的地方,相比,二维表示。立体的表现刺激认知过程的人机交互的核心和基础。这些认知过程发生在用户导航和探讨了VE,主要是与空间记忆存储,关注,和感知。更重要的是,这样的认知过程可以以某种方式调制类型自开发设计是根据研究目标和用户需求12]。此外,大很容易达到用户参与和体验,精通人机交互的两个愿望因素。到目前为止,大已经被验证是有效的,安全的,激励方法用于提高用户和系统之间的交互(21]。

但是,类型不能为人机交互本身作出贡献。用户交互的类型可能成为草率、冗余和令人烦恼的交易。现实和复杂的设计,类型必须概念化和根据人为因素设计和用户特征。

4所示。虚拟环境和脑-机接口的集成

类型已被广泛用于BCI发展增加动力和浸入式,提出了各种各样的场景,从日常生活到视频游戏(12]。多个应用程序类型的BCI的控制包括虚拟汽车(22),通过虚拟导航栏(21)或虚拟公寓(23,穿过虚拟街道(24]。最常见的应用是在domotic系统。例如,一个典型的情况是使化身选择3 d虚拟对象和操作,如打开/关闭灯,电视,或灯(25]。其他应用程序正在轮椅控制,飞行模拟器(26),和虚拟城市(27]。在小节中,BCI研究总结了科学讨论BCI的重要性,当前的缺点BCI认为,已经在BCI研究是合理的,回顾该领域的进步。

4.1。脑-机接口

BCI是nonmuscular通信通道,试图重建个体之间的交互和他/她的环境。BCI系统包括两个阶段:校准(离线分析)和控制(在线分析)。前者是指培训过程的机器识别不同的大脑模式的用户,而后者关注感兴趣的设备的控制通过训练机。BCI的基本功能如下。系统中的用户是谁控制设备通过修改他的/她的大脑状态通过外部(如视觉、听觉或触觉刺激)或内部刺激(如心理任务)。这样的大脑活动调制是感觉到,放大,处理,显示出来,并保存在两个不同的方面,侵入性和非侵入性。最常用的入侵electrocorticography记录方法,而非侵入性方法的一些例子脑电图(EEG),功能性磁共振成像和近红外光谱。然而,脑电图在BCI社区成为广泛使用的方法。一旦大脑信号被收购,发电机强调相关的神经生理学特性和生成特征向量的时间,频率,或空间域,甚至。功能翻译然后试图区分控制和无控状态和分类器的输出转换为控制命令。 The control module and the device controller convert the control commands into semantic control signals for a particular device. Figure2说明了BCI系统的结构(28- - - - - -34]。

根据(35],BCI系统可以分为主动,被动,被动系统。活动系统产生的输出命令由用户直接调制在有意识的精神状态。最常用的控制活动系统的任务是运动图像(MI),主要依赖缓慢的皮层电位的检测,感觉运动节奏鼻中隔黏膜下切除术后(),刺激大脑皮层电位(MRCP检查)。鼻中隔黏膜下切除术后,可以估计下两个方案:绝对的和相对的。鼻中隔黏膜下切除术后在前一种情况下,不提供一个基准参考国家和处理技术被称为频带能量。鼻中隔黏膜下切除术后在后一种情况下,引用一个基准状态,通常在几秒钟之前提取MI活动,和处理技术是与事件相关的(de)同步而闻名。在这两种情况下,信号功率μ(8 - 12 Hz)β(16赫兹)频段被量化。反应好像产生的输出对外界刺激的反应如视觉、听觉和触觉。大多数的反应好像依赖与事件相关电位(ERP)的检测大脑反应,出现一些数百毫秒刺激后发病,与不同的极性,在不同的记录。最广泛使用的ERP P300,这是一个积极的潜力,从300年到500年出现刺激后发病女士和经常在parieto-occipital区域。P300是一个组件与选择性注意和记忆机制。其他类型的反应好像是那些基于稳态诱发电位,对感觉输入解码,而不是P300等认知过程。最后,在被动的好像,用户的头脑并不直接控制系统在主动和被动系统。这些系统用于检测心理工作负荷,工作记忆负荷、疲劳、自我错误,和欺骗或预期错误(和其他国家)当用户与移动设备、车辆、机器人,或任何其他系统。

4.2。脑-机接口的相关性

虽然BCI开发一直鼓励在过去的几年里,有一个普遍缺乏研究便携式和可靠的技术来探测大脑活动;准确和高效的算法;直接的、相关的和建设性的反馈技术;和有益的和直观的交互式方法。根据(32],BCI研究应的基础上进行三因素:(1)最近出现强大的和廉价的硬件和软件,可以执行复杂的高速分析大脑活动,(2)中枢神经系统,出现了更深入的了解研究,和(3)新识别的需求和能力的人患有疾病如脑瘫、脊髓损伤、中风、肌萎缩性脊髓侧索硬化症,多发性硬化症和肌肉营养不良。BCI进步一直是特别感兴趣的工业和医疗领域,和应用程序主要考虑在五个领域32]:(1)更换,BCI可能替代中枢神经系统功能与神经退行性疾病如多发性硬化;(2)restorage,BCI可以重新恢复流动性的周围神经系统和肌肉骨骼系统有截肢的人;(3)增强,BCI可能增强人类反应:例如,它可以监控水平的关注在必要时为了提高警觉;(4)补充BCI系统能补充自然中枢神经系统输出:例如,它可以用于控制机械手臂作为援助在几个任务从计算到工业应用;和(5)改进,BCI还可以改善功能的设备如矫形器通过监测自然中枢神经系统输出和提供反馈,会导致控制正确、有效地矫正法。

4.3。争议性问题

即使承诺和期望BCIs大大增加,这些系统并不是一个完全工作原型。按照(36),BCIs四势陷阱。首先,太少一直注意终端用户的需求在设计BCI的解决方案,特别是那些与人类相关方面,学习策略,和交互式设计。在这方面,众所周知,40%健康的用户无法控制一个活跃的BCI系统,而剩下的只有达到一个温和的性能。这种现象称为BCI文盲,表明终端用户的需求和他们的认知概要的遗漏可能在其中扮演着重要的角色在BCI的缺点37]。其次,该领域的研究人员似乎忽视BCI系统的用户行为和经验应对控制任务,很大程度上取决于先前的感觉运动能力和动机。用户必须产生稳定、清晰和可检测的神经模式,训练过程和反馈方法应该促进收购控制技能基于EEG信号的调制。第三,真正的工作环境噪声很大,更多的动态,和不可预见的与控制实验室环境;因此,信号处理和模式识别应该多才多艺的和健壮的算法。最后,还有缺乏明确的指标来评估有效的BCI系统的性能。,目前还不清楚如何人类和机器重量因素,检测和精度等指标,分别从BCI输出结果。到目前为止,该领域的研究人员报道指标直接从机器学习分类器的性能,获得专门准确性和特异性。然而,分类器的的性质指标不能说明用户是否已经正确调制他/她的大脑信号或他/她是否舒适和集中在控制任务使用。

4.4。已经可以改善BCI在人机交互方面如何?

不仅是一个BCI系统本身的发展有关,但它也涉及一个质量好的人机交互的设计,考虑到BCI用户需要训练有素的详尽。用户培训的关键方面是重复,反馈,和动机(38]。用户必须重复控制任务,因为人类通常通过试验和错误学习实践。这个学习的过程可以通过反馈和加速动力。反馈提供持续的性能信息控制任务,逐步提高了用户在即将到来的重复的表现。激励创造一个鼓励的环境中,日益引起的疲劳可以减少重复的控制任务。用户培训最终导致规避控制任务,允许用户把他们的注意力控制装置,而不是BCI系统的功能。

孤立的假设认知过程相关的BCI控制,以及人为因素的忽视和环境要求(如前所述),在BCI复杂的人机交互的应用程序。近年来,大已成为有吸引力的替代选择,丰富BCI系统的人机交互。类型被认为是,方便用户系统适应bci,因为他们提供用户感官与适当的反馈。此外,用户可以学会控制BCI系统更现实的条件下,因为虚拟模拟提供了一个更直接的互动环境。一般来说,它已经表明,用户操作时更舒适的BCI系统VE。这是因为大诱发动机和娱乐,甚至更多,提供了充足的范围在如何实现一个目标21,39,40]。

大已经成为一种很有前途的替代在BCI丰富人机交互系统,因为它们会导致更高的用户性能(41];他们好像更现实的情况下测试;他们改善注意力、动机、学习;他们促进原型;他们是可行的诊断和治疗的目的12]。更详细的给出了这些点如下。

4.1.1。更高的BCI性能

一直认为高度融入大诱发高强烈的现场感,进而促进BCI性能,因为类型为用户的感官提供适当的反馈。一个更好的BCI在更短的用户培训和更高的性能结果用户的信心。大可能会导致更大的性能由于其性质的准确代表现实生活在虚拟域的元素。这些环境和对象的表示允许精化的虚拟场景地图的日常任务和例程。这个映射允许建立一个培训协议,它可以提供与任务相关的反馈。当前交互式系统不够明确,成为一致的任务使用。而实现类型要求努力和时间,往往无法获得,回报依赖的可能性代表中将任务的用户,谁看到,成为超越抽象符号的一部分在屏幕上。VE,用户可以感知不断变化的心理任务。例如,如果一个心理任务是想象“踢球”,然后,他们看到一个虚拟腿来自自己踢球,他们将本体感受和机构。已经提供了明确和准确的可能性。 Virtual representations encourage users to generate and maintain mental images by facilitating sensory information and providing feedback within a meaningful context for them [18,41- - - - - -45]。

10/24/11。BCI更现实的情况下实现

人机交互是一个巨大的限制在实验室。作为虚拟模拟提供了一个更直接的与环境的交互,用户可以学会控制系统更现实的情况。此外,人为因素的影响(如精神疲劳、沮丧或懒惰)和干扰来源(如别人的谈话,环境噪音,或者家用电器工作)在BCI可用性可以同时被研究。

“实际情况”一词不仅指高技术实现,但它也关注已经关联的用户(46]。这个因素可能有更高的对系统性能的影响。一个很好的例子是工作在41]。在这种工作,控制任务是想象画不同的汉字的基本笔画。此外,实行控制的任务是尽可能真实因为用户观察绘制过程的显式表示。研究人员认为想象运动的图形演示可以促进心肌梗死的一代。进行了如下研究。14个科目(22 - 25年)被分成两组:实验和控制。实验团队使用该模式基于汉字的基本笔画。对照组采用传统的格拉茨的方法。平均而言,实验组系统精度达到了79.8%,而对照组65.1%左右。此外,参与者填写用户体验调查问卷,结果表明,该模式更容易使用,更容易理解。 Overall, this work strengthens the idea that VEs must be contextualized to provide a familiar working environment where users can make full use of their previous knowledge. In this work, it was shown that the modulation of EEG signals through MI activity could be significantly improved if appropriate environmental working conditions are provided.

4.4.3。改善注意力、动机和学习

活泼愉快的和合作者(他们的工作是引用(47)人类国家定义为大脑的心理生理调节达到最优状态。这个过程使人类能够满足环境要求。在这方面,准备捕捉相关的刺激(注意)和渴望学习和探索(动机48)在BCI应用中至关重要。类型已被证明是一个潜在的工具指导的注意,增加动力,加速学习的BCI用户。

4.4.4。实验室原型BCI系统

虚拟实验可以促进BCI系统的发展,详尽地测试BCI原型也可以进行。事实上,这可能证明实现物理设备的巨大费用,如机器人手臂和exoeskeletons。

4.4.5。诊断和治疗的目的

类型适合指导严重瘫痪的病人如何适应他们的新环境(例如,如何控制轮椅)或如何恢复基本功能如走路或说话。

4.5。该领域的进步

大量的BCI系统的虚拟应用程序已经进行。活跃BCIs大多是用于导航(49,50),并改善用户性能通过增加用户动机(10,51]。活性BCIs被用来选择和操作对象在虚拟的住处。例如,P300诱发电位应用控制功能的设备如电视、灯、或粉丝52,53]。另一个例子是利用稳态视觉诱发电位(ssvep)来控制虚拟化身的行为(12,54]。在日常应用的模拟,类型和bci交互系统已代表场景从拿着一个杯子和倒水43)确定和识别对象(55]。然而,应用程序也一直在关注更多的参与体验如打网球(39甚至一个审美体验提供了一个虚拟的游戏(56]。尽管几个方向提出了BCI系统之间的十字路口上的进步和类型,在这个领域进一步部分趋势将和详细解释。

在本节中,回顾了现有的研究已经应用在bci,排除那些有关游戏的目的。视频游戏通常是用于娱乐;然而,有关用户需求的系统把握语境既不指定,也不考虑。本节中给出的评论试图突出BCI的浓缩系统通过类型的人类行为和学习,用户适应性,意义的虚拟场景,和用户的关注。具体地说,所有这些研究进行促进MI的采集技能通过提供高质量的沉浸和空间认知的特殊利益团体。这个框架大量的研究都集中在增加的用户和系统之间的交互,以唤起和维持清晰的脑电图模式(例如,mrcp检查和SSVEP的),因此增加了模式识别的效率。该领域的研究人员都知道使用类型的重要性作为人机交互浓缩的互动模式。他们的工作表明,sensory-enriched接口,尤其是在视觉形态,不仅提供令人满意的系统结果,但他们也让用户感到舒适和细心的交互。

认为用户调节他/她的能力由MI EEG信号可以更有利益的增进BCI的性能,而不是计算算法的复杂性。用户到目前为止都被忽略了,甚至如果现在我们为促进人类学习和适应,他们终于可以建立定期沟通与系统。在下面几节中,讨论了三个主要的主题:类型(1)工作环境和控制面板(2)导航目的BCI系统类型,和(3)相关性sensory-enriched环境中用户的精神状态。最有目的的和最近的工作在这个问题上总结在表1。

4.5.1。工作环境和控制面板

虚拟现实(VR)和增强现实(AR)已经广泛应用于无功bci基于SSVEP自用户注意力转移到视觉刺激的水平显著提高。在一项研究[43),三个男性受试者年龄在25和27年被要求执行两种类型的任务:虚拟和AR-based。本研究的目的是评估基于“增大化现实”技术来模拟不受控环境,如病人的家庭或医院。一般的任务是在虚拟的房间中,通过《阿凡达》。三个参与者参与了这一研究,他们的表演透露,他们有更大的困难在控制的《阿凡达》基于“增大化现实”技术的游戏模式。研究人员表明,分散元素在基于“增大化现实”技术的游戏场景中阻碍了《阿凡达》操作。基于“增大化现实”技术迫使用户在任何时间与环境进行交互,从而将肯定使用户和系统之间的交互。基于“增大化现实”技术可能被用来分析BCI系统环境中用户的注意力,浸泡,和性能受到外部因素的损害(42]。

另一方面,虚拟现实可以应用于控制BCI系统。说明,在61年),这是提高性能的混合BCI采用虚拟现实技术基于眼睛裂谷系。本研究的目的是开发一个高效的虚拟控制面板。用不同的颜色已经由三个领域,用户必须直接的注意力。一旦用户已经决定的选择,他们必须想象这样的领域接近。关注的领域是通过追踪器检测到,但球近似被脑电图量化处理。这种控制机制是非常有效的,因为它是自然和直观。用户可以了解清楚如何控制BCI系统,即使在一个高度要求的情况。值得注意的是,BCI函数依赖于用户的能力(想象力)和技术方面(眼睛的位置)。这对于控制任务减轻了工作量,并允许用户交互更容易(57]。

4.5.2。导航系统

一般来说,大已经应用于虚拟世界中导航。该领域的研究人员已经对两个主要目标:运输和车辆环境刺激对人类反应的影响(61年- - - - - -64年]。然而,导航系统的应用最近超越这两个目的。一个显著的例子是工作在65年),开发了一个已经使用眼睛裂谷系,是谁控制通过一个BCI基于mrcp检查。本研究的主要目标是四种不同的模式识别导航方向(前进、后退,去吧,去左)解码的mrcp检查用户。作者表明,大非常有效的训练BCI用户,让用户生成不同的脑电波模式不同的运动58]。使用特定的势的另一个例子包括ssvep的,作者有依赖这些潜力的检测为了选择一个特定的方向在虚拟环境导航;而不是使用运动图像,这项工作依靠眼睛固定在四个点的环境代表可能的方向导航(向前,向后,去吧,去左)。他们后来利用图形的性质类型和SSVEP的提议的范式的本质为导航使用BCI系统依赖于参加关键点的日常环境的图形表示65年]。

车辆控制是小说的另一个代表示例应用程序的导航系统。在[26),飞行仿真系统与脑机交互控制实施。一个53岁的女人,四肢瘫痪被关联指示控制虚拟飞机飞机运动在飞离她的手臂运动。研究人员得出结论,隐喻的互动和实践并不导致手臂和飞机运动之间的一对一的关系。然而,可以限制用户关注的时间更长,导致心肌梗死的掌握控制任务。女性用户能够控制飞机两次训练后没有限制。作者认为,反馈使用的方法是充分有效的指导用户如何使用她的手臂运动调节她的大脑信号(26]。在类似的情况下,在58),研究基于驾驶员诱发振荡进行了敏感性的检测。研究人员设计了一个基于飞行已经有一个操纵杆控制机制。控制任务是基于边界回避的任务。也就是说,用户需要飞行的飞机在一个特定的轨迹,以及他们是否未能遵循相同的轨迹,飞行模拟自动停止。结果表明,负载在边界集结避免任务可以从脑电图成功解码振荡δ, , , ,和频带。

特别是,在frontocentral记录网站和乐队乐队在单侧性的躯体感觉区域的主要贡献者脑电图模式识别(64年]。

除了MI活动外,其他应用程序的导航系统在BCI研究中发挥了重要作用。这可以说明(27),已经呈现驾驶环境对儿童自闭症谱系障碍(ASD)的设计。虚拟系统由一个汽车驱动与完整的细节在一个城市的环境,包括建筑,树木,行人和交通信号灯。作者声称,现实的任务可能会刺激神经过程如工作负载管理,长期的内存访问,视觉空间的处理、情感和关注,监管和决策,在儿童患有自闭症。在这项研究中,作者利用脑电图信号检测的情绪和认知状态,包括浓度、无聊、沮丧、精神负担。系统性能在78%和95%之间,这基于虚拟架构的BCI似乎有前途的治疗ASD (27]。在相同的思路,在66年),一种情感检测基于BCI技术发展提出了一个决策系统。五个科目训练强化学习的智能代理浏览虚拟城市,决策是基于用户的情感,而不是用户的意图。已经呈现一辆车舱,通过它,用户可以探索虚拟城市。而不是解码用户意图,一个智能代理收到BCI输出有关人类反应如惊讶的是,焦虑,幸福,或浓度。所有这些人的反应是由代理,它控制虚拟车辆的轨迹(59]。

最后但并非最不重要,导航通过虚拟住处已经成为大多数检查应用程序之一。的工作(64年)是一个很好的例证HCI浓缩在这类型的导航系统。这些研究人员量化在检测P3b组件类型的水平的关注。P3b的检测是基于颜色编码,和用户提出访问不同的房间在一个虚拟的房子。作者表明,颜色编码是捕获和更熟练的方式吸引用户的注意力比古典Donchin范式(63年]。

4.5.3。用户的心理状态

用户目前的精神状态的交互是一个关键元素达到一个稳定的系统性能。根据(66年),脑电图信号的调制使用MI活动很大程度上取决于用户心理平衡自控制任务变得更加可微的。这中可以看到11),一个交互系统设计基于正念和冥想。使用眼睛裂谷系呈现VE、跳跃运动系统跟踪手的动作,和一个缪斯头巾记录脑电图活动,研究人员建立了一个刺激的环境中练习悬浮,pyrokinesis,心灵遥感。他们设置诱导的沉浸,反过来促进了冥想和专注力,促进心肌梗死训练后(11]。同样,在67年),已经在用户控制的《阿凡达》提出了他们的浓度水平。采用RelaWorld软件和基于ERP的BCI,作者大大改善了用户系统交互只有延长失效的浓度(60]。

4.5.4。应用类型BCI范例

控制BCI系统是一种技巧,必须获得。学习的过程在当前BCI范式一般刺激感官途径只有一个,视觉或听觉。然而,人类从五感官途径收集信息(视觉、听觉、触觉、嗅觉、味觉)并做出相应的反应。它已经表明,如果环境知觉的充实,学习更有效。环境富集的影响体现在工作报告(67年),两组皮质受伤的老鼠被暴露于丰富和nonenriched环境。丰富的环境涉及的各种元素,包括群体住房、社会刺激,食物和水,竞争压力,更大的运动活动,操纵对象,增强和感官刺激。nonenriched环境只涉及到食物和水。结果表明,大鼠暴露于环境浓缩在他们的任务明显更少的错误比nonenriched条件。此外,三个神经生理学的修改被发现。首先,大脑皮层的某些区域,用于复杂的学习和解决问题的过程,变得较重,更深层次和更大的。就大,第二,神经元突触神经元的比例更高,突触是更大,有更多丰富的树突分支在这些区域。第三,有明确的浓缩的神经化学的影响。这是相当大的一个例子RNA / DNA比值的增大,这表明代谢率增加。在这个工作,这是表明,刺激大脑的变化最重要的因素是执行与丰富互动环境。 On the other hand, it has been found that sensory feedback plays a central role in the human learning process. The human brain makes use of sensory feedback to make predictions, thereby modifying human behaviors [68年]。因为学习是一个过程,涉及到行为的变化源于与环境的交互,这意味着感官反馈不仅影响行为模式,但它也促进知觉学习。最近神经影像学证据表明,知觉学习可以促进对感觉运动皮层神经可塑性,并增加这样的大脑区域之间的连接。此外,知觉学习的影响是持久的(69年,70年]。这意味着躯体感觉功能起着至关重要的作用在人类学习。假设,如果感觉反馈是正常,知觉学习将会上涨,进而实现收购控制BCI系统的技能。

根据上述资料,鼓励利用VE特性提供知觉的丰富环境,进而可以促进收购控制BCI系统的技能。朝着这个目标努力,通过互动类型方法的适应脑-机通信听起来让人充满希望。这需要一个概念化的过程和设计,主要取决于任务或行动由用户。类型的应用和集成以及BCI的感官刺激模式依赖于四个阶段:上下文,比喻,设计和评价(71年,72年]。

上下文。考虑已经作为一个结果,包括交互设计,必须做的早期研究发现之间的关联虚拟提议和一群项目,包括用户上下文(特别是日常任务),工作环境,常用的技术,设备,和导航。这些因素决定了一个隐喻,它集成了用户上下文和要执行的任务的交互系统。因此,建立一个更符合实际的情况。尽管HCI社区已经承认人为因素的重要性交互系统设计和概念化的几年来,忽略这些因素不仅产生误导的互动模型而且低效的类型。BCI系统的背景下对用户很重要因为这有助于建立对BCI的相关性认识培训和控制。到目前为止,更符合实际应用的经典例子是控制任务相关活动等日常生活的开启和关闭灯和开关(25)和轮椅控制(26]。最近和情境化的臭名昭著的例子是在41),所有的参与者都是中国人和MI控制任务是与他们的日常生活活动直接相关,也就是说,绘画的基础汉字的笔画。

比喻。一旦建立了隐喻,交互设计和布局可以提出。利用隐喻导致找到最佳信号,反馈,和行动在已经承担。重要的是要考虑交互设计作为一种启发式方法来解决一个具体问题,而不是一个最终的解决方案。尤其是隐喻基于浓度和念力为用户提供了强大的工具与VE、交互包括提高注意力,清晰的感知,和更好的概念化11]。提出了一种运动隐喻的一个很好的例子(39),打网球的任务在一个虚拟法庭使用。在这种环境下,用户可以看到一个明确的结果他们的心理图像。在本例中,隐喻被用来刺激运动的想象对一个特定的方向。另一个著名的例子是使用的隐喻(41),画汉字的基本笔画的任务。类似于(39),用户观察呈现他们的虚构的写作。

设计。整体布局、模型复杂性和知觉的特性取决于上下文,用户配置文件,可用的技术资源。回到审美和功能特性被认为是在舞台上,有必要设计熟悉,刺激,为用户和良好的环境。尤其是细节至关重要,当模拟现实生活中尝试。缺乏细节和/或强调的设计可能会让用户感到冷漠和不关心。飞行模拟器和汽车导航器是一个很好的互动设计的应用程序,细节丰富优美的环境(26,27,62年,64年]。另一个例子是一个[所示41]。黑色背景,以及一只手拿着粉笔的动画形象,是一个接近的类比写在黑板上。这个设计说明的好处和优势类型的图形表示。

测试。第一个测试是一个机会来收集信息从早期版本的潜在用户虚拟实现,包括用户和系统之间的交互流和前馈和反馈来源和模型。这可以提出相关的互动和美学从用户的角度重新设计。重大变化的基础上进一步测试是明智的。必须经过一个迭代过程的设计,从一开始就吸引用户和整个过程。在每个迭代中,用户的反馈必须采取帐户,更应该正确实施。虽然这个迭代过程要求资源和时间(36),这可能会导致一个最佳的和完整的大脑和机器之间的交互。

5。结论

第一类型的应用开发BCI研究有关用户动机的强度,长时间维护的关注,良好的反馈机制的实现。然而,虚拟技术已经只看到作为一种工具来呈现虚幻的现实主义的影响通过3 d图形和电子装备头盔,耳机,护目镜,手套。目前,立体的表现已成为有吸引力的替代选择,丰富人机交互,因为他们刺激的认知过程,发生在用户导航和探索大,这主要是与工作负载管理有关,长期的内存访问,视觉空间的处理、情感和关注,监管和决策。迄今为止的证据表明,大可以工作环境条件出发,BCI控制面板的效率最大化,实现导航系统不仅对用户的意图,而且基于用户的情感,和规范用户的精神状态提高区分控制和无控模式。

的利益冲突

作者宣称没有利益冲突。

引用

1. f .乐天和c . Jeunet BCI基于人类学习的原则,改善”学报2015年第三届国际冬季会议上脑机接口,BCI 2015,韩国,2015年1月。视图:出版商的网站|谷歌学术搜索
2. f .乐天、f . Larrue和c . Muhl”缺陷在当前人力培训协议自发脑-机接口:教学设计的经验教训,”人类神经科学前沿2013年,文章ID A568。视图:出版商的网站|谷歌学术搜索
3. c . Jeunet a . Cellard萨勃拉曼尼亚,m . Hachet b . N 'Kaoua f .乐天,“我们能学到如何与标准BCI训练方法吗?在一项初步研究。第六届国际脑机接口会议学报》上2014年,奥地利格拉茨。视图:谷歌学术搜索
4. c . Jeunet大肠Jahanpour f .乐天,“为什么标准脑-机接口(BCI)培训协议应该改变:一个实验性研究,“《神经工程,13卷,不。第三条ID 036024, 2016。视图:出版商的网站|谷歌学术搜索
5. 虚拟现实系统,爱思唯尔,1993年。
6. n .西蒙Kathner, c . a . Ruf大肠巴a . Kubler和s·哈尔德,“与自然刺激听觉脑-机接口多类:可用性评估与健康的参与者和汽车受损的最终用户,”人类神经科学前沿,8卷,货号。1039年,2015年。视图:出版商的网站|谷歌学术搜索
7. 美国高,高x, y . Wang和香港,“视觉和听觉脑-机接口”IEEE生物医学工程,卷61,不。5,1436 - 1447年,2014页。视图:出版商的网站|谷歌学术搜索
8. D.-W。金,J.-C。李,Y.-M。公园,I.-Y。金和学术界。Im,“听觉脑-机接口(bci)及其实际应用,”生物医学工程的信,卷2,不。1 - 17,2012页。视图:出版商的网站|谷歌学术搜索
9. f . Nijboer a . Furdea i Gunst et al .,“听觉脑-机接口(BCI),”神经科学杂志》上的方法,卷167,不。1,43-50,2008页。视图:出版商的网站|谷歌学术搜索
10. r . Ron-Angevin和a . Diaz-Estrella“脑机接口:使用虚拟现实技术性能的变化,“神经学字母,卷449,不。2、123 - 127年,2009页。视图:出版商的网站|谷歌学术搜索
11. j .爱慕x Benavides p·梅斯,“PsychicVR:正念增加大脑使用虚拟现实和计算机接口,”学报2016年气会议扩展抽象计算系统的人为因素美国加州圣克拉拉,2016。视图:谷歌学术搜索
12. a . Lecuyer f .乐天r·b·赖利r .里氏m . Hirose和m·斯莱特“脑-机接口、虚拟现实和游戏”,电脑杂志第41卷。。10日,66 - 72年,2008页。视图:出版商的网站|谷歌学术搜索
13. m . Alcaniz和j . a . Lozano”虚拟环境的技术背景,”Cybertherapy:互联网和虚拟现实评估和康复临床心理学和神经科学的工具g·里瓦,艾德,页199 - 214,IOS出版社,阿姆斯特丹,荷兰,2004年。视图:谷歌学术搜索
14. n i Durlach和a . s . Mavor虚拟现实:科学技术的挑战,国家研究委员会:国家学术出版社,1994年。
15. k . m . Stanney虚拟环境手册:设计、实现和应用,劳伦斯Erlbaum Associates,伦敦,英国,2002年。
16. g·里瓦、f·大卫和w·Ijsselsteijn存在:在介导的环境中存在的经验,IOS出版社,荷兰阿姆斯特丹,2003年。
17. t·舒伯特、f·弗兰克和r . Holger”体现在虚拟环境中,存在“视觉表征和解释,20卷,不。5687年,第278 - 269页,1999年。视图:谷歌学术搜索
18. Bangay和l·普雷斯顿,”调查沉浸在交互式虚拟现实环境中,影响因素”研究卫生技术和信息,43-51,1998页。视图:谷歌学术搜索
19. b .《互联网、d .蕾妮和m . d .互联网“immersiveness生理上的影响,”研究卫生技术和信息,52 - 62年,1998页。视图:谷歌学术搜索
20. a . Gaggioli和r . Breining“在浸入式虚拟现实、知觉和认知”通信通过虚拟技术:身份社区和技术在互联网时代,第86 - 71页,2001年。视图:谷歌学术搜索
21. d·弗里德曼r .里氏、g . Pfurtscheller和m·斯莱特“人机界面问题与脑机接口控制虚拟现实,”人机交互,25卷,不。1,第93 - 67页,2010。视图:出版商的网站|谷歌学术搜索
22. r . Ron-Angevin和a . Reyes-Lecuona a .戴兹Estrella”发展的基于虚拟现实的脑-机接口(BCI)改善训练技巧,“《网络心理学和行为,8卷,不。4、353 - 354年,2005页。视图:谷歌学术搜索
23. r .里氏f·李,c . Keinrath r·谢勒,女孩h . g . Pfurtscheller,“脑-机通信:动机、目的和影响,探索一个虚拟的公寓,”IEEE神经系统和康复工程,15卷,不。4、473 - 482年,2007页。视图:出版商的网站|谷歌学术搜索
24. r .里氏d·弗里德曼g . r . Muller-Putz r·谢勒m·斯莱特和g . Pfurtscheller“自学(异步)BCI控制轮椅的虚拟环境:一个案例研究瘫痪患者,”计算智能和神经科学ID 79642条,卷。2007年,8页,2007。视图:出版商的网站|谷歌学术搜索
25. j·d·贝利斯在“使用诱发电位P3组件的控制在一个虚拟的公寓里,“IEEE神经系统和康复工程,11卷,不。2、113 - 116年,2003页。视图:出版商的网站|谷歌学术搜索
26. m . Kryger西行,e·a·Pohlmeyer et al .,“飞行模拟使用脑机接口:一个试点,试点研究,“实验神经学卷,287年,第478 - 473页,2017年。视图:出版商的网站|谷歌学术搜索
27. j .粉丝,j·w·韦德,a p键,z沃伦,和n . Sarkar”EEG-based影响虚拟驾驶环境和工作负载识别自闭症干预,”IEEE生物医学工程卷,页没有。99年,1页,2017。视图:谷歌学术搜索
28. r . Boostani b . Graimann m . h . Moradi和g . Pfurtscheller”比较的方法对寻找最好的特性和分类器cue-based BCI,”医学和生物工程和计算,45卷,不。4、403 - 412年,2007页。视图:出版商的网站|谷歌学术搜索
29. g . Pfurtscheller r .里氏、j .针板和c . Neuper“脑机接口系统用于虚拟现实控制,”虚拟现实2011年,页4,http://www.intechopen.com/books/virtual-reality。视图:谷歌学术搜索
30. g . Pfurtcheller g·r·Muller-Putz b Graimann et al .,“Graz-brain-computer inteface:满足的研究,在对“脑机接口”Graz-brain-computer inteface:满足的研究,在对脑-机接口,文澜j·d·r·g·Dornhege t . Hinterberger d·j·麦克法兰和k·穆勒,Eds。,页65 - 84年,麻省理工学院出版社,2007年。视图:谷歌学术搜索
31. g . Pfurtscheller和c . Neuper”运动图像,直接脑-机通信。”IEEE学报》,卷89,不。7,1123 - 1134年,2001页。视图:出版商的网站|谷歌学术搜索
32. j·沃尔波沃尔波e .冬天,脑-机接口:原则和实践,牛津大学,纽约,纽约,美国,2012年。
33. j·r·沃尔波“脑-机接口为新的大脑输出通路”,《生理学,卷579,不。3、613 - 619年,2007页。视图:出版商的网站|谷歌学术搜索
34. j·r·沃尔波n . Birbaumer d·j·麦克法兰g . Pfurtscheller和t·m·沃恩“脑-机接口的通信和控制,”临床神经生理学,卷113,不。6,767 - 791年,2002页。视图:出版商的网站|谷歌学术搜索
35. t·o·詹德j . Bronstrup r·洛伦茨和l . r . Krol“向BCI-based隐式人机交互控制,”生理计算的进步,第90 - 67页,2014年。视图:谷歌学术搜索
36. r . Chavarriaga m . Fried-Oken s Kleih f .乐天,前往新海岸!克服缺陷在BCI,脑-机接口”,泰勒弗朗西斯,第四卷,不。1、60 - 73、2016页。视图:谷歌学术搜索
37. c . Jeunet b . N 'Kaoua r . N 'Kambou f .乐天,“为什么以及如何使用智能辅导系统mi-bci训练适应每个用户,”第六届国际BCI会议学报》上2016年,太平洋格罗夫,加州,美国。视图:谷歌学术搜索
38. m·k·霍尔顿“运动康复虚拟环境:审查,”《网络心理学、行为和社交网络,8卷,不。3、187 - 211年,2005页。视图:出版商的网站|谷歌学术搜索
39. b Yazmir和m . Reiner”我行动,因此我犯错:脑电图关联的成功和失败在一个虚拟投掷比赛,”国际心理生理学杂志,2017年。视图:出版商的网站|谷歌学术搜索
40. r·谢勒f·李,a . Schlogl r .里氏,女孩h . g . Pfurtscheller,“对自学脑-机通信:导航通过虚拟世界,”IEEE生物医学工程,55卷,不。2、675 - 682年,2008页。视图:出版商的网站|谷歌学术搜索
41. f .乐天、y Renald和a . Lecuyer“自学脑-机与虚拟世界互动:定量和定性研究的实验室,”诉讼的第四届国际大脑计算机接口研讨会和培训课程2008年,奥地利格拉茨。视图:谷歌学术搜索
42. j .针板b z艾莉森,c . Brunner et al .,”一个可行性研究SSVEP-based交互激励和身临其境的虚拟和现实增强技术,“人机交互,2017。视图:谷歌学术搜索
43. g . f . Cyrino和j . c . Viana SBCI: 3 d与脑机接口和虚拟现实模拟器,”学报18虚拟和现实增强技术研讨会上,SVR 2016巴西,页135 - 139年,2016年6月。视图:出版商的网站|谷歌学术搜索
44. t .小野,a .木村和j . Ushiba“日常训练和现实的视觉反馈提高了再现性与事件相关的desynchronisation手运动图像后,“临床神经生理学,卷124,不。9日,第1786 - 1779页,2013年。视图:出版商的网站|谷歌学术搜索
45. s . Nagamine y Hayashi、美国矢野和t .近藤“沉浸式虚拟现实系统调查人类身体的自我意识,”第五ICT学报》国际学生项目会议,ICT-ISPC 2016,页97 - 100,泰国,2016年5月。视图:出版商的网站|谷歌学术搜索
46. f . Hoorn e·a·Konijn和g·c·范德转向“虚拟现实:不要增强现实主义,增强相关性,”Upgrade-Human-Computer交互:克服障碍,4卷,不。1,18-26,2003页。视图:谷歌学术搜索
47. d . Tan和a . Nijholt“脑-机接口和人机交互,”脑-机接口页,3-19斯普林格出版社,伦敦,2010年版版,1日。视图:出版商的网站|谷歌学术搜索
48. e . l . Deci和r . m . Ryan,“自决理论和内在动机的便利,社会发展和幸福,“美国心理学家(萨尔玛),55卷,不。1,第78 - 68页,2000。视图:出版商的网站|谷歌学术搜索
49. r .里氏r·谢勒f·李,h .女孩和g . Pfurtscheller”通过运动图像导航在虚拟环境中,”学报》第九届计算机视觉冬季车间、混杀丹斯洛文尼亚。视图:谷歌学术搜索
50. r·谢勒f·李,a . Schlogl r .里氏,女孩h . g . Pfurtscheller,“EEG-based与虚拟世界互动:自学三个类脑-机接口”BRAINPLAY 07脑-机接口和游戏工作室在ACE(电脑娱乐公司的进步2007年,奥地利格拉茨。视图:谷歌学术搜索
51. c . Neuper r·谢勒s Wriessnegger, g . Pfurtscheller”运动图像和行动观察:调制的大脑感觉运动节奏在精神控制的脑机接口,“临床神经生理学,卷120,不。2、239 - 247年,2009页。视图:出版商的网站|谷歌学术搜索
52. j·d·贝利斯·d·h·巴拉德,“脑机接口研究虚拟现实实验。”IEEE神经系统和康复工程,8卷,不。2、188 - 190年,2000页。视图:出版商的网站|谷歌学术搜索
53. c . Holzner c .贵港市g . edling c . Gronegress和m·斯莱特“虚拟智能家居控制的思想,”学报2009年18 IEEE国际研讨会支持技术:基础设施合作企业,WETICE ' 09荷兰,页236 - 239年,2009年7月。视图:出版商的网站|谷歌学术搜索
54. j . Cecilio j·安德拉德,p .马丁斯,m . Castelo-Branco和p . Furtado”BCI框架基于游戏来教人们认知和运动限制,”学报》第七届国际会议在环境系统中,网络和技术,蚂蚁2016第六届可持续能源国际会议信息技术,2016年西班牙,页74 - 81年,2016年5月。视图:出版商的网站|谷歌学术搜索
55. s·m·戈登,m .会上a . j .梭伦和v . j . Lawhern”现实世界BCI:跨领域的学习和实际应用,”学报第一ACM研讨会面向应用的BCI的实验室方法,BCIforReal 2017、25 - 28页。塞浦路斯。视图:出版商的网站|谷歌学术搜索
56. 李s, g .叮,h . et al .,“加强观众参与表演艺术与脑机接口通过一个自适应的虚拟环境,”21国际会议的程序智能用户界面,IUI 2016美国,页306 - 316,2016年3月。视图:出版商的网站|谷歌学术搜索
57. j .春、b Bae和乔,“基于BCI的混合界面3 d对象控制虚拟现实,”第四届国际冬季会议学报》在脑机接口,BCI 2016韩国,2016年2月。视图:出版商的网站|谷歌学术搜索
58. m·l·陈,l .姚明,n .江”指挥轮椅在虚拟现实与思想由多级bci基于刺激皮层电位,”计算机视觉和成像系统杂志》上,1卷,不。2、2016。视图:谷歌学术搜索
59. 诉Shih, d . Jangraw s Saproo, p . Sajda“深度强化学习使用神经生理学签名感兴趣的,”学报》第12届ACM和IEEE国际会议在人机交互,HRI 2017,第286 - 285页,奥地利,2017年3月。视图:出版商的网站|谷歌学术搜索
60. Kosunen, a . Ruonala m . Salminen s Jarvela n . Ravaja和g . Jacucci“Neuroadaptive冥想在现实世界中,”学报第一ACM研讨会面向应用的BCI的实验室方法,BCIforReal 2017页,29-33塞浦路斯。视图:出版商的网站|谷歌学术搜索
61. a . Herweg j . Gutzeit s Kleih, a . Kubler“轮椅控制老年参与者在虚拟环境中与脑机接口(BCI)和触觉刺激,”生物心理学卷,121年,第124 - 117页,2016年。视图:出版商的网站|谷歌学术搜索
62. Y.-T。刘,S.-L。吴,K.-P。周et al .,“驾驶疲劳预测与事前脑电图(EEG)通过经常性的模糊神经网络,”学报2016年IEEE国际会议在模糊系统中,FUZZ-IEEE 20167月,页2488 - 2494,加拿大,2016。视图:出版商的网站|谷歌学术搜索
63. m·德托马索·k·里奇,m . Delussi et al .,“测试新方法对提高wayfinding P3b的通过虚拟现实视觉范式在正常老化,“SpringerPlus,5卷,不。1,货号。1297年,2016年。视图:出版商的网站|谷歌学术搜索
64. 施s Saproo诉,d . c . Jangraw和p . Sajda“潜在神经机制灾难性故障在空中导航、人机交互”《神经工程,13卷,不。6、文章ID 066005, 2016。视图:出版商的网站|谷歌学术搜索
65. d . j . Chen, a·k·恩格尔锣,答:也许,“应用single-flicker在线SSVEP的BCI,”《公共科学图书馆•综合》,12卷,不。5,2017。视图:谷歌学术搜索
66. j·弗雷,c . Muhl f .乐天,m . Hachet审查的使用脑电图作为人机交互的评价方法,1311:2222:arXiv, 2013。
67. f . d .玫瑰,e·a·Attree b·m·布鲁克斯和d·a·约翰逊,“脑损伤康复虚拟环境:从基本的神经科学原理,”在临床心理学和神经科学虚拟环境g·里瓦,b .《互联网和大肠莫利纳里。,pp. 233–242, IOP Press, Amsterdam, Netherlands, 1998.视图:谷歌学术搜索
68. d·m·沃伯特z Ghahramani, j·r·弗拉纳根”视角和运动学习中存在的问题,认知科学趋势,5卷,不。11日,第494 - 487页,2001年。视图:出版商的网站|谷歌学术搜索
69. m . Darainy s Vahdat, d . j . o“可塑性在人类知觉学习,引起的运动系统”美国东北部2014 40年生物工程会议,NEBEC 2014美国,波士顿,质量,2014年4月。视图:出版商的网站|谷歌学术搜索
70. d . j . o和p . l .蛀木水虱”感觉可塑性在人类运动学习”,神经科学的趋势,39卷,不。2、114 - 123年,2016页。视图:出版商的网站|谷歌学术搜索
71. f . Merienne“人为因素考虑与虚拟环境的交互过程,”国际杂志互动设计和制造,4卷,不。2、83 - 86年,2010页。视图:出版商的网站|谷歌学术搜索
72. k . m . Stanney r . r . Mourant, r·s·肯尼迪”在虚拟环境中人为因素问题:文献之回顾,“存在:遥控机器人和虚拟环境,7卷,不。4、327 - 351年,1998页。视图:出版商的网站|谷歌学术搜索

版权

版权©2017 Alonso-Valerdi Luz玛丽亚和Mercado-Garcia维克多罗德里戈。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。