文摘
这项工作考虑的问题利用脑电图仪的信号用于系统设计用于监测和提高飞机飞行员的性能。系统具有这样的功能通常称为认知驾驶舱。本文提供了一个潜在的描述,通过这样的系统,尤其是提高飞行安全。此外,神经心理学背景的问题。进行研究是主要关注的问题相关的大脑活动状态之间的歧视闲置但集中视觉提示的预期和对它的反应。特别是,选择一个合适的分类算法的问题正在检查这些问题。一个实验涉及的目的课程计划和开展。脑电图仪的实验数据使用一个收购Emotiv EPOC +耳机。提出的方法涉及使用流行的方法在生物医学信号处理、公共空间模式,提取bandpower特性,以及一个广泛的测试不同的分类算法,如线性判别分析,最近的邻居,并与线性支持向量机和径向基函数内核,随机森林,和人工神经网络。
1。介绍
引入自动化系统在飞机驾驶舱显著提高飞行安全。然而,在这样的系统的失败或出现的情况下,这些系统不能正确行为,飞行员必须立即和意外做出复杂决定(1,2]。通常利用这样的支持系统使飞行员在一个被动的角色;这引入了额外的挑战,以防可能发生的问题出现后长时间的自主飞行,因为飞行员必须立即切换到积极作用和处理复杂的问题,需要快速的判断(3,4]。此外,高可靠性的自治可能减少飞行员的重点监控任务,从而延长上下文切换的时间5]。此外,引入自动化过程控制飞机可能会减少取向的当前状态飞行过程中导致自动化惊喜(1,6)和一些研究人员指出,大量使用自治系统甚至可能减少飞行员的飞行技能(7]。
另一方面,飞行员的性能,从而安全的航班可以大大提高,增加了由于认知驾驶舱的解决方案(8,9]。这些系统提供了一种自适应支持决策过程和控制任务参与飞机操作。这样的解决方案可以是高利润的军事和客运航班。这种系统的一个非常重要的特性适用于消除人类相关的错误和防止灾害,可能的结果。著名的解决方案,可以找到与人机交互系统,如脑机接口(BCI) [10]。这些系统能够监测和解释电脑或假肢控制的大脑活动,康复和其他用途。这种方法符合Human-Centred-Automation概念(11)的人工交互与控制系统在一个有效的方法,可以进一步提高通过驾驶舱逻辑的支持关于大脑活动的信息。基于BCI系统的另一个有趣的应用程序可能包括评估飞行员的心理状态和功能执行before-flight-phase以及在飞行员的训练过程,例如,为了训练飞行员的倾向更警觉。这样的系统可以被使用,例如,通过招聘机构评估飞行员的自然倾向。
BCI系统通常基于脑电图扫描器信号(12]。脑电图信号记录下测量传感器,头皮被放置在特定的位置。这些传感器被称为电极。由于EEG信号的特点使其很容易被噪声和工件干扰,微分测量配置(uni -或双相)是常用的。结果脑电图测量脑电图(EEG)。几个特征频带通常的上下文中提到的脑电图:δ(低于4赫兹),θ(4 - 8 Hz),α(8 - 12 Hz),β(银幕上Hz),和γ(超过30 Hz) [13- - - - - -15]。值得一提的是,特定的波的频率限制传统的没有合适的方法确定其精确值。δ脑电波通常与深度睡眠(13]。θ活动在睡意状态存在。有趣的是,θ活动还观察到在认知视觉处理(16]。α活动发生在清醒的状态放松或疲劳引起的,可以关闭眼睛13,15]。尽管通常被归因于放松的状态,这些节奏可能会增加一些关注任务期间(15]。β波与正常的清醒意识,清醒,一个活跃的浓度(13,17]。γ波的作用仍然是一个活跃的一个研究主题。的重现性进行了脑电图研究利用一些普遍接受的标准以确保电极位置和注释13]。最受欢迎的系统中提到的标准10 - 20以及它的扩展等真空度和纯(18,19]。
在本研究使用EEG信号的记录与廉价的设备(Emotiv EPOC +耳机)的目的是评估认知驾驶舱的应用程序。准确地说,两个国家之间的歧视的可能性与事件相关的活动测试:(i)的大脑活动与闲置但专注视觉提示的预期(事前)和(2)反应线索(与事件相关的)。
2。材料和方法
2.1。Emotiv EPOC +耳机
Emotiv EPOC +耳机设备用于在实验记录脑电图数据的目的。在一项研究中,调查了一些廉价的敏感性,无线、和/或干燥(没有凝胶)电极EEG系统,Emotiv证明表现良好(与传统的相比,research-grade脑电图系统)在任务涉及α测量大脑活动和视觉稳态响应(VSSR) [20.]。由于设置问题的作者,工作没有能够提供证据支持使用Emotiv范例,依靠寿命及其活动。然而,一些报道称,使用Emotiv脑电图系统在这样的任务是可用的21]。
记录信号有用的带宽是-43年0.16 Hz范围和顺序采样频率128赫兹和14-bit (1 LSB = 0.51μV)决议。EPOC +建立了数字订单Sinc过滤和切口过滤器在50 Hz和60赫兹22]。14脑电图渠道中可用Emotiv EPOC +耳机兼容以下国际演出蒙太奇的电极系统:AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4,引用在P3和P4的位置。
一些特殊的预防措施是采取减少污染的相关数据通过工件出现的肌肉运动,例如,在运动肢体行为,重新定位,或闪烁。所有人都坐在一个舒适的位置和要求尽可能地限制他们的行动。此外,时间片段被用于这项研究视觉检查存在的工件。试验评估过于污染被移除的分析。
2.2。飞行模拟器
飞行导航程序训练二世(FNPT II)类模拟器通过QTG测试是利用在数据采集阶段。模拟器代表Cessna 172 rg飞机模型。它由全封闭全尺寸驾驶舱,忠实地再现了内部的塞斯纳172 rg配有玻璃座舱。它的特点是180度的全景生成的环境三个投影仪。模拟器位于一个特别指定的房间(虚拟飞行实验室位于西里西亚工业大学),没有任何窗户,用黑色墙壁因此没有外部刺激可以达到飞行员。除了空气温度控制所以每个实验都可以在相同的条件下进行的。呈现在图2是一个内部的驾驶舱使用模拟器。
2.3。实验描述
在实验阶段,测量在模拟人的大脑活动会话的短途航班与激活自动驾驶仪。目的是获得大脑反应随机显示的视觉线索,提出了主屏幕的模拟器。
参与者选择从一群人年龄在20到35岁之间。所有参与者称他们睡眠会话,和他们所有人同意利用获得的结果在实验科学研究为目的的。在实验阶段,10人(男性)。每个实验会话开始在每天同一时间大约12点(中午)。这是确保通过实验没有外部因素影响了参与者。每个会话了1小时左右。实验发生在FNPT II类模拟器。参与者观察驾驶舱仪器以及扫描周围的飞机像飞行员在正常飞行。他们被要求保持专注和维护意识为了能够立即反应的外观视觉提示按特定的按钮。按钮的位置被选为最小化所需的时间反应抑制任何额外的运动视觉提示的飞行员的身体除了他们的手指。
为了保持一致性连续实验课程模拟飞行法兰克福和伦敦之间的路由上注册。相同的部分航班被呈现给每个参与者的实验。的地形飞行和驾驶舱仪器记录。在这飞行自动驾驶仪激活。飞行发生在平均海拔6000英尺。为了模拟和自动驾驶仪飞行激活,起飞和降落都是注册材料。此外,整个飞行了参与者发生在陆地上。重要的是发动机的声音还在驾驶舱生成。
视觉线索显示随机正态分布的特征 分钟, 分钟。介绍了方差为了防止人类大脑正常模式的适应性。此外,对于每一个飞行员的视觉线索分配时间是相同的。视觉线索是由固体层灰色的框重叠主要负责模拟器屏幕显示的地形。
生命伦理委员会Jerzy Kukuczka体育学院在卡托维兹同意获得传导这种类型的实验。
2.4。类定义
为了进行实验中两类心理活动被定义。因为这一现象分析了研究相关的一些视觉的表象,与事件相关的活动的问题实际上是一个问题的分析。因此,采用类定义如下:(我)较之前:一个视觉提示的预期(2)与事件相关的对视觉提示:活动相关的反应
的较之前试验计算直接从1.5秒的时间窗长度包含样品前的外观视觉线索。的试验与事件相关的类测定类似地,从所有试验后的提示,属于长时间窗口。由于每个类的一个试验是获得每个事件。的概念较之前和与事件相关的类试验提取呈现在图3。
2.5。空间滤波
改进和加强的区别的特征信号,按体积可能是退化的传导相关效应,常见的空间模式(CSP)被用于这项研究[10]。CSP技术用于分析、分解和转换的多通道脑电图记录包含两类不同的心理活动。这是一个流行的空间滤波方法,常用于脑机接口应用程序。它已经被证明是特别有效对数bandpower用作描述大脑活动的功能。尽管它是最常见的伴随的运动图像,但它可能会被证明是有价值的方法来实现它在我们的研究任务相关的视觉处理。许多作品展示CSP的优越性在古典空间表面拉普拉斯算子等过滤方法,常见的平均引用,ICA,和其他人,从而证明CSP的选择在本研究12,23]。改变了EEG信号的方差最大化为试验从一个类,同时最小化对另一个类的实例。为此,变换矩阵 (提供表示测量通道的数量)。矩阵由列优化空间滤波器相对应的特征值。可以找到更详细的描述这个问题(10]。一般来说,为了避免过度拟合只有几双过滤器两端的特征值谱带着判别信息使用。在这工作,最好3 CSP从每个频率子带滤波器对被考虑为每个主题。
让我们假设对应于单一审判的长度 脑电图的现象。然后,空间过滤信号 一个试验可以使用投影矩阵计算如下面所示:
2.6。带通滤波
这是一个众所周知的事实,CSP方法的性能高度依赖于信号的频率带宽进行了分析。因此,信号之前必须得到适当的带通滤波应用CSP。因此选择合适的频率范围是重要和艰巨的任务10]。人们提出了很多解决这个问题;然而最著名之一方法还有待更新滤波器组常见的空间模式(FBCSP) [23]。在这种方法中信号首先被过滤成多个频率部分波段。CSP是适用于每一个独立过滤信号。固定数量的滤波器对来自每个乐队形成一组通用的特性。为了避免过度拟合特征提取过程必须应用。本文的目的信号将带通滤波分为以下范围相应的特定脑电波:δ(1 - 4赫兹),θ(4 - 8 Hz),α(8 - 12 Hz),低β(12到16赫兹),中间β(16 - 20 Hz),中高档β(20 - 24 Hz),高β(28 Hz),两个频率范围相关低伽马频率,分别γ1 (32-36 Hz)和γ2 (36-40 Hz),和8-30赫兹范围通常是汽车运动的相关规划,将称为电动机。
为目的的带通滤波的脑电图数据Kaiser窗有限脉冲响应(杉木)带通滤波器构造466系数。自分析执行离线(没有因果关系要求使用算法)零相位(nondelaying)滤波器可以应用。这个操作是通过应用递归滤波器实现原始信号都向前和向后的时间24]。让 是一个记录,离散信号组成的长度和递归滤波器的脉冲响应。输出 过滤操作上执行在计算 如果( )代表一个离散样本o ,然后翻转信号的操作可以被定义为在以下(24]。 翻转操作符改变样本的离散信号的顺序(24]。考虑到上述定义forward-backward滤波器的输出 可以计算如下(在24]。
2.7。特征提取
信号的方差的对数振幅是一个非常普遍的特性用于EEG信号的描述的力量(10,25]。带通滤波EEG信号的平均值接近0,它的力量实际上相当于其方差。正常化的应用程序获得的特性分布对数操作(25]。
频带能量特征被用于大脑活动的分析实验。他们从光谱和空间过滤信号计算,分别为每一个测量通道从所有样品(属于职业专用的时间窗口较之前或与事件相关的)。
2.8。特征选择
创建一个过滤器银行后脑电图信号的带通滤波 部分波段和应用CSP转换每个subsignal一组 特性得到了( 表示测量通道的EPOC +)的数量。最歧视的子集的特性选择了基于互信息排名所有功能(MI)标准。MI的特性描述两个分类类(较之前和与事件相关的在这个工作)代表这些特性之间的依赖关系。如果给定的样本特性是独立的类定义的MI将等于零。计算MI值越高,越不歧视的特性。互信息为一个离散变量得到的基于熵估计的非参数方法最近的邻居的距离(26- - - - - -28]。在这工作排名的最佳特性(MI)最大的区别。在实现特征选择方法中,创建特色排名仅利用训练数据独立于分类器的特性。然而,很多是单独调整每个验证会话的基础上在交叉验证数据分类器的性能。因此,一种实现方法不能明确地描述为一个过滤器的方法。详细描述整个特征选择和机器学习的管道中实现这个研究可以在部分2。9。使用MI-based特征选择方法已被证明产生高度满意的结果在滤波器组EEG信号处理方法23]。
2.9。数据分类
正确评估模型的准确性分层修改实施分析程序。在这种方法中一个样品从每个类是被用作测试集。准确地说,一个试验较之前和一个试验与事件相关的类与同一事件选择双元素测试集。剩下的样品是用来创建一个训练集,描述验证过程允许考虑试验的顺序。建议的方法类似于现实生活情况培训试验用于飞行员帮助系统的校准记录结果在指定的时间框架。这些例子将分享一些共同特征可能不同试验记录在后期(即。在操作系统)。相似的数据分区的过程真正的应用程序在随机选择的实验中是一个重要的优势。这不仅使用训练集训练得到分类器还确定CSP变换矩阵特征选择的目的。这是由这一事实为此目的使用测试数据会导致过度拟合的模型和导致偏见的估计模型精度。描述的步骤重复每一个事件,对每个主题可用。最后提出模型的准确性从意味着获得的精度达到特定的交叉验证阶段。
在这个研究的广泛测试不同的分类算法,如线性判别分析(LDA),最近的邻居(资讯),与线性支持向量机()和径向基函数()内核、随机森林(RF)和人工神经网络(NN)执行。机器学习的标准管道处理实现对每个分类器开始提取bandpower功能,规范他们的分布,应用对数变换,去除他们的意思是,和扩展单一的方差。标准化所需的特性往往是许多机器学习估计执行令人满意的方式。下一步需要排名的MI的特性,初步选择9阶段分类器的调优。最后的数量特征选择过程中机器学习估计量微调。为此目的旨在网格搜索策略是利用。在这种方法中,所有可能的组合的hyperparameters指定的用户测试和组合允许选择最好的准确性。为此训练数据进一步分为两个子集:一个用于培训和其他交叉验证图谱测试参数。这是实现三倍交叉验证。选择最佳组合后hyperparameters,估计是改装与他们在整个训练数据集。
下面简要总结每个测试集的分类算法和描述hyperparameters调优过程期间使用。为每个主题和每个验证会话创建分类模型用完整的训练数据集选择最佳hyperparameters和用于获得测试数据的分类精度。实现结果和比较分类器性能的部分3。
2.9.1。线性判别分析
乔治是一个简单的分类器与一个线性决策边界,通过拟合类条件密度数据,并使用贝叶斯规则。这是一个无参数估计量,不需要任何微调。创建一个模型与LDA需要类协方差矩阵的估计。然而,在训练实例的数量的情况下小于的数量特征实证样本协方差估计量。在这样的场景中使用收缩可以提高估计的协方差矩阵。收缩的程度可以通过指定收缩控制参数。0的值没有收缩,使用经验协方差矩阵。对角矩阵的值方差作为估计协方差矩阵。引入最优收缩参数得到以下引理Ledoit和狼29日]。
2.9.2。最近的邻居
然而,是一个基于距离的分类器能够解决非线性机器学习问题。在这项工作的邻居选择范围从1到圆形的价值 ,在那里是一个数字的事件发生在实验。使用了闵可夫斯基距离计算的指标。这个指标的电力参数选择范围从1 - 5。点在每个社区被认为与统一的重量或已分配的权重比例的逆分析点的距离。
2.9.3。支持向量机与线性内核
属于一组监督学习分类方法(回归)。这些方法是很有效的情况下,比如一个呈现在这篇文章中,特征空间的维数大于例子的数量。然而,如果特性的数量远远大于他们容易过度拟合样本的数量。
惩罚参数的最佳值误差项被选中的组值均匀间隔的对数空间与步骤5到50。在网格搜索参数优化确定为每个会话是否使用启发式萎缩。对阻止标准被选中的值 。计算也可能终止如果迭代的上限 是达到了。
2.9.4。支持向量机与径向基函数内核
是一个支持向量机算法,由于非线性的使用内核能够解决更复杂的问题。此外,利用RBF内核可以帮助避免过度拟合的情况下特征空间的维数大于例子的数量。
RBF核函数系数的值,以及惩罚参数的最佳值误差项,选择在微调阶段从价值观等间距的对数空间与步骤2到20。在网格搜索参数优化确定为每个会话是否使用启发式萎缩。对阻止标准被选中的值 。计算也可能终止如果迭代的上限 是达到了。
2.9.5。随机森林
射频是一个估计量,适合数量的决策树分类器使用不同的子样品来自训练数据集的例子为了提高精度,避免过度拟合。最后的分类是通过多数票获得所有的决策树。在这工作,对子样本训练数据的大小总是一样的原始输入样本的大小。这是利用样本维护的引导(放回抽样)。每个决策树的节点扩展到所有的树叶都是纯或直到所有的叶子包含低于一些单独调整最小数量的样品每分裂。这个号码被选中的(步骤3)均匀分布的数量设置范围从1到15。分裂的质量可以评估使用基尼杂质或熵标准。树木的数量在森林里被选中的组均匀分布范围从1到100的数字与第五步在网格搜索hyperparameter调优。与引导射频标识符创建新的训练子集。这种方法通常被称为装袋。 As a result, a part of the training set remains unused and can be utilized for the task of the generalization error estimation. During that hyperparameter tuning it was also determined whether or not to use out-of-bag samples to estimate the generalization accuracy. It must be noted that due to the fact that RF is a tree-based classifier it is capable of ranking the features itself. Each feature can evaluate how it improves the chosen quality of split. Nodes with the greatest decrease of said measure are most discriminative. Therefore, by restraining (pruning) trees below a particular node, a subset of the most important features can be created. The number of features to consider was fine tuned from range 1 to 140 with step 10 during the grid search hyperparameter tuning.
2.9.6。人工神经网络
前馈人工神经网络与隐层进行评估。在初始阶段的优化过程神经网络与各隐层神经元的数量与(范围在1到100)和ReLU激活函数进行了测试。LBFGS解算器是利用培训过程。目的是确定最小的神经网络结构,特点是最好的识别属性。结果指出,最好的精度是由与4神经元隐层神经网络。因此,这种结构被选为第二阶段的神经网络调优。由于神经网络训练过程的结果是高度依赖于初始权值神经元之间的神经网络结构中,神经网络的训练过程是独立重复100次。开始时每个训练场景神经网络权值和随机值初始化。执行后的第二阶段优化选择最好的神经网络。
3所示。结果与讨论
在图4,分类器的性能进行比较和可视化的帮助下盒阴谋。此外,评估分类器的精度通过每个每个主题获得验证过程中所描述的部分2。9介绍了表1- - - - - -6。在表7所有实验结果会话的分布为每个分类器进行了总结。为此目的的意思是准确性 ,标准偏差 ,第一四分位数 ,第三四分位数计算。
箱形图的视觉检查呈现在图4,以及分布的分析表7表明,神经网络的性能会显著优于其他算法。为了评估假设单向方差分析(方差分析)。测试的假设是所有精度的方法获得每个主题的不同分类器对备择假设是相同的人口意味着并不都是一样的。高价值来自说方差分析测试( )表明,差异可能意味着所有分类器的精度并不显著。不过这可能归因于人口的规模小。一个和一个神经网络对LDA的比较,然而, , ,分别和RF返回值:0.2252,0.0858,0.0297,0.0789和0.0856。因此,它可以指出,神经网络分类器的性能明显优于其他算法,除了LDA。
为了评估每个主体的个人能力和适用性为飞行员的使用帮助系统基于本文中描述的原则,总结所有的精度得到不同的分类器对每个主题呈现在图5。成果为主体的低方差1,2,4,5,7,9表明,这些参与者适合系统因为它使得基于脑电图与飞行员协助工作。它也可以观察到6,8和10的正确选择分类算法可能导致改进的性能,而对于主题3这样的选择以达到最好的结果是至关重要的。值得观察的是,10日主题分类精度一般不满意,这可能表明,要么这个人不适合处理系统或描述数据可能过于嘈杂的由于一些不必要的环境因素。
4所示。结论
在这种工作方法EEG信号的处理和分类器提出了优化和评估为目的的分析数据包含相关的大脑活动闲置但集中预期视觉提示和线索的反应。虽然这些方法已经使用了许多古典BCI范例,我们所知实施本研究的问题是一个新鲜事物。分类精度得到执行测试过程中显示正确选择的重要性和分类算法的微调。在一般情况下,神经网络分类器实现最好的精度,优于近LDA和其他分类器了 。然而,通过方差分析测试不可能证明任何手段的差异是重要的,如果所有分类器被认为是。这可能是由于小数量的受试者参与了实验,表明一个更可靠的和深刻的分析,提出评价方法和试验更多的参与者必须执行。
一个有趣的观察是,对于一些科目,该方法不能够找到一个配置参数,可以实现令人满意的结果。这可能归因于某种数据腐败;然而,一个最可能相关的解释可能是相关的现象称为BCI文盲(30.]。相应的研究和一些记录的情况下,有些人不能使用BCI(脑机接口)系统(30.- - - - - -32]。这些条件必须考虑未来的工作,更重要的是,如果诸如本文中描述的解决方案是使用在现实生活的情况下作为一个试点的一部分帮助系统。
此外,因为它使得基于脑电图结果证明使用的可能性认知驾驶舱BCI系统的解决方案。飞行员协助和反应增强解决方案,特别是在飞行期间适用的会话可能高度受益于使用这些信号。必须指出进行研究是主要关注的问题相关的大脑活动状态之间的歧视闲置但集中视觉提示的预期和对它的反应。因此,它应该考虑更多的深入研究的多个步骤的功能认知座舱系统而不是一个完整的描述的解决方案。为了BCI系统的应用提出的方法在认知驾驶舱解决方案将需要开发相关工件的自动方法去除身体动作和肌电图。
数据记录对于本研究采用低成本收购和消费者可用的脑电图设备数量有限和电极排列方式。尽管如此,使用信号允许区分定义类的大脑活动。这个验证利用这样的脑电图设备的潜力在未来工作和现实生活的应用。这是一个非常重要的结论,因为专业脑电图测量系统可以非常昂贵。最科学、临床使用脑电图测量系统提供大量的电极(通常超过60岁甚至100)。这种方法允许实现更高空间分辨率的脑电图数据。结果更准确和精确的结论可以被激活的大脑区域。然而,更多的测量电极可显著提高实验设置和所需时间,更重要的是,减少BCI系统的舒适和限制所允许的运动范围的主题。这种情况是不可接受的认知驾驶舱和通用试点监测和帮助系统。因此,这项研究证明,小数量的电极渠道可以有效地用于这样的应用程序,是有价值的可行的解决方案。 Although there are some interesting studies regarding the choice of classification algorithms for the BCI purposes, these are mostly focused on the classical BCI paradigms. To the best of our knowledge a review of classification algorithms in the task of classification of pre- and postevent related activity has not been so far conducted, especially for experiment with low-cost EEG systems. Thanks to the findings of this article a clear information about the choice of the classification method in the proposed methodology of EEG signal analysis was obtained. This will hopefully greatly contribute to the future research on that subject. Achieved results and conclusions drawn from performed experiment will serve as a reference for future works that will be focused not only on digital signal processing and classification of pilot’s mental states present during flight session but also on developing of data recording procedures and hardware setup of measurement devices.
的利益冲突
作者宣称没有利益冲突。
确认
执行的工作是利用飞行模拟器POIG.02.03.01-24内购买,上西里西亚计算科学与工程中心。提出了研究中使用的数据记录使用Emotiv EPOC +耳机购买摩托罗拉解决方案内基金会意识到通过信息学研究所西里西亚理工大学,没有。ZZD / 1 / Rau2/2015/507。这项工作是支持的另外西里西亚理工大学批准号bkm - 509 / RAU2/2017。