三度空间的表示刺激的认知过程的人机交互(HCI)的核心和基础。这些认知过程发生在用户导航和探索虚拟环境(VE),主要是与空间记忆存储,关注,和感知。类型有许多独特的特性(例如,参与、浸泡和存在),可以显著提高人机交互在高度要求和互动系统,如脑-机接口(BCI)。BCI是nonmuscular通信通道,试图重建个体之间的交互和他/她的环境。尽管BCI研究始于60年代,这种技术还没有有效的或可靠的为每个人在任何时间。在过去的几年中,研究人员认为,BCI主要缺陷可能与人机交互问题。迄今为止的证据表明,大可以工作环境条件(1),(2)BCI控制面板的效率最大化,(3)实现导航系统不仅对用户的意图,而且基于用户的情感,和(4)调节用户的精神状态提高区分控制和无控模式。
脑-机接口(BCI)系统,尝试建立人脑和计算机之间的通信,以取代自然之间的连接中枢神经系统(CNS)和肌肉骨骼系统。利息BCI研究大大增加由于各种各样的应用程序,包括neurorehabilitation,机械设备,exoeskeletons和domotic系统。尽管BCI研究始于60年代,这种技术还没有有效的或可靠的为每个人在任何时间。在过去的几年里,一些研究人员如法比乐天和卡米尔Jeunet认为主要BCI缺陷可能与人机交互(HCI)问题[
类型的主要特点(部分
这些特征如何改善人机交互(部分
如何改善人机交互通过VE有助于克服一些缺点的BCI系统(部分
广泛的领域内的最新进展(修改部分
强烈的倾向这个研究领域(部分
虚拟环境的结构的基础上,两个关键元素:系统需求和用户的关注。
人们有全面清晰的感知环境,尽管他们有限的感官系统。由于神经系统的信号处理,不断更新人类的反应,人们可以执行复杂的活动。例如,一个人能够识别和分类大量的声音在周围空间合并。因此,这是一项艰巨的任务开发类型,生成合成视觉、听觉、触觉感受,可以欺骗人类感知。已经有两个基本要素:系统需求和用户问题[
对系统需求,VE通常要求一个3 d发生器和人机交互。建模和动画的3 d发生器由3 d对象在下列标准:(1)
除了技术方面,人类的这些计算机系统(或用户担忧)必须也会考虑。用户的关注与虚拟世界的一代认知相当于真正的一个。最近的这两个世界发生在用户之间的相似性在那里的感觉。用户交互和虚拟空间,好像他们在那里;也就是说,他们经验的存在。存在发生在用户感觉沉浸在VE,感觉与它交互的能力,和对事业感兴趣的任务。存在的三个主要方面是浸、用户特点、和参与
作为类型依赖代表真实的特点、对象和场景,3 d对象的表征和增强用户体验(UX)的地方,相比,二维表示。立体的表现刺激认知过程的人机交互的核心和基础。这些认知过程发生在用户导航和探讨了VE,主要是与空间记忆存储,关注,和感知。更重要的是,这样的认知过程可以以某种方式调制类型自开发设计是根据研究目标和用户需求
但是,类型不能为人机交互本身作出贡献。用户交互的类型可能成为草率、冗余和令人烦恼的交易。现实和复杂的设计,类型必须概念化和根据人为因素设计和用户特征。
类型已被广泛用于BCI发展增加动力和浸入式,提出了各种各样的场景,从日常生活到视频游戏(
BCI是nonmuscular通信通道,试图重建个体之间的交互和他/她的环境。BCI系统包括两个阶段:校准(离线分析)和控制(在线分析)。前者是指培训过程的机器识别不同的大脑模式的用户,而后者关注感兴趣的设备的控制通过训练机。BCI的基本功能如下。系统中的用户是谁控制设备通过修改他的/她的大脑状态通过外部(如视觉、听觉或触觉刺激)或内部刺激(如心理任务)。这样的大脑活动调制是感觉到,放大,处理,显示出来,并保存在两个不同的方面,侵入性和非侵入性。最常用的入侵electrocorticography记录方法,而非侵入性方法的一些例子脑电图(EEG),功能性磁共振成像和近红外光谱。然而,脑电图在BCI社区成为广泛使用的方法。一旦大脑信号被收购,发电机强调相关的神经生理学特性和生成特征向量的时间,频率,或空间域,甚至。功能翻译然后试图区分控制和无控状态和分类器的输出转换为控制命令。 The control module and the device controller convert the control commands into semantic control signals for a particular device. Figure
脑-机接口系统的框图。
根据(
虽然BCI开发一直鼓励在过去的几年里,有一个普遍缺乏研究便携式和可靠的技术来探测大脑活动;准确和高效的算法;直接的、相关的和建设性的反馈技术;和有益的和直观的交互式方法。根据(
即使承诺和期望BCIs大大增加,这些系统并不是一个完全工作原型。按照(
不仅是一个BCI系统本身的发展有关,但它也涉及一个质量好的人机交互的设计,考虑到BCI用户需要训练有素的详尽。用户培训的关键方面是重复,反馈,和动机(
孤立的假设认知过程相关的BCI控制,以及人为因素的忽视和环境要求(如前所述),在BCI复杂的人机交互的应用程序。近年来,大已成为有吸引力的替代选择,丰富BCI系统的人机交互。类型被认为是,方便用户系统适应bci,因为他们提供用户感官与适当的反馈。此外,用户可以学会控制BCI系统更现实的条件下,因为虚拟模拟提供了一个更直接的互动环境。一般来说,它已经表明,用户操作时更舒适的BCI系统VE。这是因为大诱发动机和娱乐,甚至更多,提供了充足的范围在如何实现一个目标
大已经成为一种很有前途的替代在BCI丰富人机交互系统,因为它们会导致更高的用户性能(
一直认为高度融入大诱发高强烈的现场感,进而促进BCI性能,因为类型为用户的感官提供适当的反馈。一个更好的BCI在更短的用户培训和更高的性能结果用户的信心。大可能会导致更大的性能由于其性质的准确代表现实生活在虚拟域的元素。这些环境和对象的表示允许精化的虚拟场景地图的日常任务和例程。这个映射允许建立一个培训协议,它可以提供与任务相关的反馈。当前交互式系统不够明确,成为一致的任务使用。而实现类型要求努力和时间,往往无法获得,回报依赖的可能性代表中将任务的用户,谁看到,成为超越抽象符号的一部分在屏幕上。VE,用户可以感知不断变化的心理任务。例如,如果一个心理任务是想象“踢球”,然后,他们看到一个虚拟腿来自自己踢球,他们将本体感受和机构。已经提供了明确和准确的可能性。 Virtual representations encourage users to generate and maintain mental images by facilitating sensory information and providing feedback within a meaningful context for them [
人机交互是一个巨大的限制在实验室。作为虚拟模拟提供了一个更直接的与环境的交互,用户可以学会控制系统更现实的情况。此外,人为因素的影响(如精神疲劳、沮丧或懒惰)和干扰来源(如别人的谈话,环境噪音,或者家用电器工作)在BCI可用性可以同时被研究。
“实际情况”一词不仅指高技术实现,但它也关注已经关联的用户(
活泼愉快的和合作者(他们的工作是引用(
虚拟实验可以促进BCI系统的发展,详尽地测试BCI原型也可以进行。事实上,这可能证明实现物理设备的巨大费用,如机器人手臂和exoeskeletons。
类型适合指导严重瘫痪的病人如何适应他们的新环境(例如,如何控制轮椅)或如何恢复基本功能如走路或说话。
大量的BCI系统的虚拟应用程序已经进行。活跃BCIs大多是用于导航(
在本节中,回顾了现有的研究已经应用在bci,排除那些有关游戏的目的。视频游戏通常是用于娱乐;然而,有关用户需求的系统把握语境既不指定,也不考虑。本节中给出的评论试图突出BCI的浓缩系统通过类型的人类行为和学习,用户适应性,意义的虚拟场景,和用户的关注。具体地说,所有这些研究进行促进MI的采集技能通过提供高质量的沉浸和空间认知的特殊利益团体。这个框架大量的研究都集中在增加的用户和系统之间的交互,以唤起和维持清晰的脑电图模式(例如,mrcp检查和SSVEP的),因此增加了模式识别的效率。该领域的研究人员都知道使用类型的重要性作为人机交互浓缩的互动模式。他们的工作表明,sensory-enriched接口,尤其是在视觉形态,不仅提供令人满意的系统结果,但他们也让用户感到舒适和细心的交互。
认为用户调节他/她的能力由MI EEG信号可以更有利益的增进BCI的性能,而不是计算算法的复杂性。用户到目前为止都被忽略了,甚至如果现在我们为促进人类学习和适应,他们终于可以建立定期沟通与系统。在下面几节中,讨论了三个主要的主题:类型(1)工作环境和控制面板(2)导航目的BCI系统类型,和(3)相关性sensory-enriched环境中用户的精神状态。最有目的的和最近的工作在这个问题上总结在表
比较最近的应用程序类型的BCI系统。
| 作者 | 类型的环境 | BCI系统 | 类型的潜在的搜索 | 算法检测 | 贡献/新奇 |
|---|---|---|---|---|---|
| 针板等。2017 |
阿凡达导航用声音刺激 | g。tec biosignal放大器 | SSVEP的 | 谐波和检测(HSD) | 提供的反馈比较用户使用虚拟现实和基于“增大化现实”技术 |
| 春et al . 2016 |
对象操作 | Emotiv EPOC | SSVEP的 | 常见的空间P |
使用浓度与环境进行交互 |
| Kryger et al . 2017 |
飞行模拟 | NeuroPort神经信号处理器 | SSVEP的 | - - - - - - | 飞机运动的映射(横滚、俯仰、偏航)神经命令 |
| 风扇et al . 2017 |
飞行模拟 | Emotiv EPOC | 没有一个 |
|
测量情绪与脑电图信号与VE |
| 陈等人。2016 |
轮椅控制仿真 | - - - - - - | MRCP检查 | - - - - - - | 检测的模式在四个不同的导航方向MRCP检查。 |
| 施等。2017 |
汽车驾驶模拟 | - - - - - - | - - - - - - | 双深问学习 | 智能代理的培训使用情感从脑电图信号检测 |
| 爱茉莉et al . 2016 |
超级大国的模拟 | 缪斯头巾 | - - - - - - | - - - - - - | 研究脑电图的浓度水平,刺激类型基于正念和手的运动 |
| 燕et al . 2016 |
虚拟游戏和场景 | Emotiv脑电图耳机 | 的振幅 |
- - - - - - | 研究水平的浓度出现在脑电图信号通过刺激类型集中在审美体验 |
| Kosunen et al . 2017 |
冥想模拟与《阿凡达》 | RelaWorld系统 | erp | - - - - - - | 研究脑电图的浓度水平,刺激类型基于正念 |
| Yazmir & Reiner 2017 ( |
网球比赛模拟 | Biosemi 64通道脑电图记录系统 | erp |
盲源分离(BSS) |
测量相关性的山峰在erp成功和错误 |
| Cecilio et al . 2016 |
垃圾分离游戏 | ActiCHamp放大器 |
|
独立分量分析(ICA), |
利用虚拟化身的表示预期的运动 |
| Herweg et al . 2016 |
轮椅模拟 |
g.USBamp | P300 | 步进式线性辨别分析(SWLDA) |
虚拟的组合导航系统以及P300和触觉反馈 |
| Cyrino & Viana 2016 ( |
日常任务模拟,填满一碗杯,旋转的水平 | Emotiv EPOC | - - - - - - | - - - - - - | 虚拟环境使用日常任务 |
| 刘et al . 2016 |
汽车驾驶模拟环境 | NeuroScan NuAmps |
- - - - - - | 模糊神经网络(FNN) |
使用模糊神经网络作为分类器预测驾驶疲劳 |
| 德托马索et al . 2016 |
回家的虚拟导航 | Micromed系统+ | P300b | 方差分析 |
虚拟环境可以与不同的光/个性化颜色选项为了寻找不同的刺激模拟 |
| Saproo et al . 2016 |
飞行模拟器 | Biosemi容积ActiveTwo | - - - - - - | ICA |
推广类似的控制失败在其他情况下紧人机耦合收益和延迟的控制系统必须推断由操作员和补偿 |
| 陈等人。2017 |
景观导航 | BioSemi |
SSVEP的 | 典型相关分析 |
就业导航SSVEP的虚拟环境。 |
| 戈登et al . 2017 |
目标识别 | BioSemi |
P300 | 卷积神经网络 |
执行BCI-based实时应用 |
虚拟现实(VR)和增强现实(AR)已经广泛应用于无功bci基于SSVEP自用户注意力转移到视觉刺激的水平显著提高。在一项研究[
另一方面,虚拟现实可以应用于控制BCI系统。说明,在
一般来说,大已经应用于虚拟世界中导航。该领域的研究人员已经对两个主要目标:运输和车辆环境刺激对人类反应的影响(
车辆控制是小说的另一个代表示例应用程序的导航系统。在[
特别是,
除了MI活动外,其他应用程序的导航系统在BCI研究中发挥了重要作用。这可以说明(
最后但并非最不重要,导航通过虚拟住处已经成为大多数检查应用程序之一。的工作(
用户目前的精神状态的交互是一个关键元素达到一个稳定的系统性能。根据(
控制BCI系统是一种技巧,必须获得。学习的过程在当前BCI范式一般刺激感官途径只有一个,视觉或听觉。然而,人类从五感官途径收集信息(视觉、听觉、触觉、嗅觉、味觉)并做出相应的反应。它已经表明,如果环境知觉的充实,学习更有效。环境富集的影响体现在工作报告(
根据上述资料,鼓励利用VE特性提供知觉的丰富环境,进而可以促进收购控制BCI系统的技能。朝着这个目标努力,通过互动类型方法的适应脑-机通信听起来让人充满希望。这需要一个概念化的过程和设计,主要取决于任务或行动由用户。类型的应用和集成以及BCI的感官刺激模式依赖于四个阶段:上下文,比喻,设计和评价(
第一类型的应用开发BCI研究有关用户动机的强度,长时间维护的关注,良好的反馈机制的实现。然而,虚拟技术已经只看到作为一种工具来呈现虚幻的现实主义的影响通过3 d图形和电子装备头盔,耳机,护目镜,手套。目前,立体的表现已成为有吸引力的替代选择,丰富人机交互,因为他们刺激的认知过程,发生在用户导航和探索大,这主要是与工作负载管理有关,长期的内存访问,视觉空间的处理、情感和关注,监管和决策。迄今为止的证据表明,大可以工作环境条件出发,BCI控制面板的效率最大化,实现导航系统不仅对用户的意图,而且基于用户的情感,和规范用户的精神状态提高区分控制和无控模式。
作者宣称没有利益冲突。