文摘

功能与事件相关电位(ERP)尚未完全理解和文盲的问题仍然没有解决。为此,P300峰一直作为ERP的特点在大多数脑机接口应用程序中,但是那些不显示这样的峰值是常见的。最近卷积神经网络的发展提供了一种方法来分析ERP的时空特征。这里,我们的火车2卷积的卷积神经网络层的特征图表示与事件相关的潜在的时空特征。我们发现nonilliterate受试者的ERP显示枕叶和顶叶之间高度相关,而文盲只显示从额叶和中部叶神经活动之间的相关性。nonilliterates显示峰值P300、P500和P700,而文盲在P700主要显示峰值。P700强劲在这两个科目。我们发现P700峰可能是ERP的关键特性,因为它出现在文盲和nonilliterate科目。

1。介绍

脑-机接口(BCI)是一个系统,它提供了一种沟通方法利用biophysiological信号(1]。BCI系统允许用户与外部世界沟通主要通过生物信号的测量,不需要随意肌运动。系统被用来支持严重闭锁综合症(LIS)患者运动能力缺乏,如肌萎缩性脊髓侧索硬化症(ALS)和格林-巴利综合征患者,作为一种沟通的手段(2- - - - - -7]。许多biophysiological信号,脑电图(EEG)已经在BCI领域使用最广泛的从容和低成本的测量(8,9]。

在不同的应用程序之间的BCI,基于事件相关电位(ERP)的拼字的系统一直是最广泛使用的范例之一。系统由Farwell和开创Donchin [10)1988年利用古怪的范式,以诱导视觉诱发电位(VEP),尤其是P300反应。然而,仍然有文盲问题ERP拼字的系统(11,12]。有报道称,除了P300的ERP功能(13,14)这可能是区分识别的一个关键特性文盲。

ERP系统最突出的分类方法之一是支持向量机(SVM) [15- - - - - -18]。SVM是数学简单,有足够知识的特征矩阵,实验者可以调节内核为目标的问题。不幸的是,SVM的内核是敏感过度拟合(19]。从多个电极脑电图测量(20.- - - - - -23),特征矩阵可以有高维度与可能的重复,这些都会增加过度拟合的可能性。ERP系统的大多数模式依赖于P300高峰,(峰值大小和延迟)的信息从每个电极应该是相似的。此外,很难提取时间和空间信息的脑电图的一个内核。尽管多个内核学习(MKL)问题已经提出24),很难通过该方法提取给定问题的直觉。

最近发展的深度学习提供了一个可选择的方法。卷积神经网络(CNN)可以从给定的特征中提取特征向量,利用卷积。卷积应用最优滤波器时,将放大的功能利益和减少其他的(25]。CNN一直用于模式识别,特别是在图像识别和语音识别,因为它提供了拓扑信息提取的特征(26- - - - - -30.]。因此,数据序列或拓扑信息可以被更有效地为CNN使提取原始数据中的时间和空间信息。兴衰的ERP显示序列作为视觉刺激的反应,可以应用模式识别技术作为CNN。此外,CNN的卷积核可以作为解释工具脑电图电极之间的空间相关性。

在本文中,我们探索CNN对ERP的性能数据,以确定ERP的关键特性,区分文盲拼字的系统。训练模型的卷积核将探索之间的空间相关性分析ERP每个电极的内皮层和模式。受试者分组为强(nonilliterate)或弱(文盲)根据清晰的ERP信号。结果两组比较分析不同的特性。

2。方法

2.1。ERP拼字的设计

6图标如图2被用作视觉刺激的拼字的系统。快速连续的视觉表现(RSVP)面板设计采用拼字的系统,以避免目光的效果。在实验期间,屏幕大小的图标出现在监控中心的随机序列(31日]。古怪的范式是由展示实现目标与干扰选项图标随机序列(10]。每个图标出现了20次试验。interstimulus间隔(ISI)图标表象之间设置为300 ms。

2.2。数据采集

对于本文,33个科目(13女,20男性)参加了实验。受试者的年龄从24到30不等(= 27.25,std =±1.92)。在实验中,受试者被要求在椅子上坐直,指示保持安静。没有肩带或关系。受试者被要求自我报告可能打扰浓度的不便。

每个试验发起了一个声学信号指示的目标考虑到受试者的试验母语(韩国)。10秒后声提示,显示的图标出现在监控回复随机序列的设计。受试者被要求精神计数目标出现在每个试验(图2 (b))。每个会话由12个试验。每个图标被选为目标在会话期间两次随机序列。

所有受试者天真;10-20-minute preexperiment会话让受试者使用的过程。受试者被要求自我报告如果他们感到自信的过程。preexperiment会话结束后,脑电图的测量。在实验中,一个训练和在线会话进行了一对。最小化的压力和疲劳,10分钟打破了在训练和在线会议。每个主题进行最低2对训练和在线会议。没有受试者参与了超过4双。

脑电图是收集的B-Alert X10耳机从先进的大脑监测(ABM)采样率为256 Hz。EEG电极记录跟随国际系统[10/2032)如图2(一个)。所有的实验都符合赫尔辛基宣言,和协议是祥明大学的伦理委员会批准。

2.3。卷积神经网络

CNN对本文的架构,如图2 (c)。CNN由2卷积层,2 max-pooling层,和2完全连接层。修正线性单元(ReLU)函数作为激活函数为每个卷积层以来表现证明了另一个(33]。softmax函数应用于输出最后一层来调整最终的输出是在0和1之间。CNN的输出向量的两个元素,每个元素代表的得分和不属预定目标的目标。

CNN是为了执行空间和时间过滤。每一层的特征图是用于访问目标ERP的相邻电极之间的相关性和时间特性。在1日卷积层(L1),一个过滤器的大小6×20应用于提取相关的脑电图记录在相邻的电极。滤波器的行号是6 3电极放置在每个叶(枕叶,两个电极被除外)。过滤器的大小使所有相关的分析从相邻叶6电极。分析的时间从L映射的特征特性1在不同叶,一个过滤器的大小1×12是申请第二卷积层(L2)的窗口大小约为100毫秒时间尺度。

减少接受域大小为便于计算和防止过度拟合,max-pooling层(M1和M2)每次卷积后插入层27,34]。max-pooling层downsample特性映射采用一个滑动窗口没有重叠。顾名思义,提取窗口内的最大值。max-pooling介绍将采样的效果,一个泛化的特征映射实现防止过度拟合的模型。滑动窗口大小的M1和M2分别为2×2和1×10。

进一步减少过度拟合的可能性,同时培训模式,退出技术应用于第一个完全连接层(F1)。退出技术垫0在给定的随机选择行功能映射。通过故意失去功能映射中的数据,实现泛化的特征映射阻止模型overfitted由训练数据(35,36]。

输入矩阵的大小送入CNN 14×300,每一行对应于脑电图收集从每个电极在图2。

CNN架构实施在Python中通过TensorFlow Python (37,38]。亚当优化器被用来训练CNN控制学习速率使用较大的步长。进行了10000次迭代训练为每个主题的数据模型。

2.4。领带打破

理想情况下,如果模型是完美的,只有一个图标会确定为目标对于一个给定的试验。然而,系统识别多个图标为目标在几个试验。在另一个极端,系统无法识别任何目标图标对一些试验。对于每个案例,将打破规则应用如下。(我)多个图标的情况下:当多个图标被认为是一个给定的目标试验由CNN,领带打破规则应用在这些候选人中选择目标。因为输出向量的第一个元素代表了图标联系目标ERP财产,图标与元素的最大价值被选为目标的审判。(2)没有目标的例子:当系统没有找到ERP协会从任何目标ERP的图标属性,也就是说,没有图标标识为目标,相同的规则的情况下被应用于多个图标选择目标为给定的试验。在这种情况下,第一个elemenet输出向量从所有图标比较。图标的输出向量的第一个元素是最大的被选为目标的审判。

2.5。分析

进行了定性和定量分析,分析每个卷积层的过滤器的特点。受试者分为两组根据他们的相对强势的ERP如下:(我)ERP检测:如果目标图标被发现是积极的在一个给定的试验中,ERP是检测到。受试者相应地分为H或L组(高、低H和L) ERP检测组。H和L组之间的阈值为50%。(2)从L特性映射:特征图1和L2在彩色地图绘制。高权重的特征映射表示判别能力高,colormap可以定性给洞察每个电极是如何关联的,在这段时间里,主要形成峰值。(3)统计分析:对于定量分析性能,精度、灵敏度、精度、F1度量,和民国计算为每个主题和方差分析测试比较平均差举行。准确的定义是正确的数量的比例确定试验试验总数。经典的统计测量定量评价如下: (iv)接受者操作特征:接受者操作特征(ROC),情节敏感性与特异性,广泛使用的统计测量二元分类器的诊断能力。CNN的纸是一种二进制分类器,中华民国信息提供给CNN H和L组之间的性能比较。(v)峰值信噪比:峰值信噪比(PSNR)用作定性测量重建的方法压缩编码(39]。滤波器的性能将取决于有多少核心特性提取原始ERP, L的PSNR值1年代特征映射计算的平均测量性能。PSNR值越大表明内部存在相当高的重量特性映射而降低PSNR只代表低权重存在于给定的特征映射和滤波器的判别能力较低。

3所示。结果

3.1。ERP检测

33,19日被确定为H组。在图3,时间的学习曲线和其他统计测量训练迭代从H和L主题。L的学习曲线如图3(一个)表明,虽然假阴性率(FN)滴根据训练迭代,最终达到0,假阳性率(FP)成为1。虽然学习曲线显示在1日和13日迭代急剧增加,大多仍在。2。这表明CNN成为训练过度积极的(目标)。此外,正如CNN识别大多数ERP是积极的(高FP和低FN),结果表明,判别目标ERP的功能没有发现。另一方面,FN和FP H下降到0。2。周围的学习曲线浸透.85指示nonoverfitting CNN(图3 (b))。

在图所示的错误3 (c)和3 (d)培训和在线数据定义如下: 尽管H和L组显示下降的培训和验证错误,继续迭代,L的验证错误的主题是高于H主题。

H和L的民国主题图所示3 (e)表明CNN H组的性能大于L集团的主题。

3.2。空间和时间的特性

每个卷积的特征映射层不包含负权值与消极的山峰,如N1 [40]激活函数将ReLU [33]。

L地图目标ERP和特性1取样器H和L主题图所示4和6。两个数字所示的目标ERP是所有试验目标ERP平均值。分析相关的额叶和枕叶电极,电极前3(前3行平均目标ERP矩阵)是复制粘贴的ERP矩阵。如图4(a),目标L集团的ERP主题显示广泛的峰值在F3和CZ P700范围。ERP其他叶没有任何明显的积极的重量显示无意义的特征与目标被观察和持平。特征图如图4(b) (i)显示高相关性ERP从中央和顶叶电极。

另一方面,ERP为H组相邻电极之间的相关性如图6表明相关性仅限于特定的时间范围。大部分的高权重的特征图谱如图6(b),6(d),6(f)6(e)显示显著正值P500和P700范围额和中部叶电极。中央之间的相关性和顶叶如图6(c)在P500范围。一些功能在P500地区被发现显示所有电极之间高度相关。与L组受试者,特性L的地图1H组主题显示所有电极之间高度相关,在每种情况下显示特定的时序特征。

时间特性特性图,如图所示5表明时间特性与P700峰值存在L组对象。在数据5(一个),5 (b),5 (c)、高积极权重被发现在P700范围(行4和6)。然而,大部分的特征图权重不显著或要么持平如图5(我)。

H组对象的时态特征显示出更多品种。一些特征图谱显示高积极权重的特征图谱P300和P500范围如图7(一),7 (b),7 (c),7 (d),而其他人表示显著积极的重量约P700范围的数字7(一)- - - - - -7(我)。然而,重量与P700范围更广泛的比与P300和P500相关定义。

3.3。统计分析

经典统计测量和其他测量的比较如表所示1。精度、灵敏度和精度意味着显示明显差异H和L组( 值是0.0135, 0.0072、职责)。F1的显著平均差测量H和L组之间并不存在。H和L集团的准确性是0.889和0.687,分别。H组的敏感性高于L组,但H组的精度明显低于L组。ROC H集团下的面积显著高于L组( 值= 0.0137)。

表1
CNN分类的结果。根据ERP集团数据排序。准确性(Acc),灵敏度(sens)、精密(Prec), F1,中华民国,2层的PSNR值和峰值时间(PeT)进行比较。

L的PSNR值1H组显著低于L组。PSNR测量都是负面的,H组的PSNR值的绝对值大于L组。另一方面,没有平均差之间的峰值时间(PeT) H和L集团被发现( 值= 0.965)。

4所示。讨论

在这项研究中,CNN已经被用于研究ERP的时空特征,区分文盲之间的性能差异和nonilliterates (L和H组)。古典统计测量性能的比较,以及过滤比较测量收集了比较相关的ERP取自不同的脑电图电极和识别特征时间特性与每组相关联。

统计测量表明,CNN与H和L集团的平均性能数据有显著差异。H组数据的准确性高于L组数据。有趣的是,尽管H组的敏感性高于L组,H组的精度明显低于L组。这反映了一个事实,L集团的ERP并不确定为目标在大多数的情况下,和CNN确认ERP 6图标在超过一半的不属预定目标的试验。

学习曲线和图中的错误3演示如何统计测量影响CNN的性能。虽然假阴性率仍然大多接近0,假阳性率仍接近于0,周围的学习曲线保持稳定。2 L组的主题。这再次反映出L集团ERP的特点主要是确定为不属预定目标的。的一些ERP被确定为目标ERP大多来自不属预定目标的图标,表示缺乏独特的功能与目标相关的ERP。然而,假阴性和假阳性率下降随着训练迭代H组的数据,从而增加学习相应的迭代。L集团的ERP没有足够的独特特性,模型变得稍微训练过度的模型相比,H组主题如验证错误情节在图所示3 (c)和3 (d)。中华民国的对比验证分析民国H组显著高于L组( 值= 0.0137)。

如图4从L组,大多数ERP收集持平在大多数的通道。最积极的权重的目标ERP观察额叶和中部叶电极(第一和第五排图4(一)),与期望相反,先前的研究表明积极的山峰与目标相关联的事件主要是观察在顶叶、枕叶41,42]。ERP从相邻电极收集的相关性没有存在明显的枕叶和顶叶数据之间的相关性在L组。另一方面,H集团ERP更精力充沛,更强的活动P300区域如图6(a)。ERP相关显示在地图功能还表示强相关的ERP数据收集与其他叶枕叶和顶叶。的空间相关特性图所示H集团还表示,相关限制在特定的时间范围对应P300, P500或P700。

第二卷积层的特性图展示了不同H和L组主题之间的时序特性。L集团在大多数主题,功能图没有显示强阳性重量和是平的。一些迹象表明积极的权重在P700地区主要是受限制的。另一方面,H组的积极权重分布到P300, P500, P700和积极的权重附近发现P300和P500范围的幅度相比周围发现P700范围。先前的研究已经表明存在不同的特性除了P300的可能性(41,43,44]本文的结果也支持这个想法,P300可能不是唯一的关键feaure拼写ERP系统。相反,P700,确定了L和H组受试者,可能代表更通用的ERP功能。然而,ERP从叶中部地区观察L组表明刺激效应的可能性(概率32)(图1(一))。

(一)
(一)
(b)
(b)
(c)
(c)
图1
实验范式。(一)脑电图通道的位置在10/20系统。F3的收集脑电图,Fz,F4, C3, CzC4 P3, PzP4, O1、O2的职位是红色圆圈所示。实验设置示意图(b)。受试者被要求坐在椅子上,精神上计算目标的出现图标。本文实现了ERP拼字的系统回复。的图标出现在监控中心。(c) CNN架构的图表。2的架构包括卷积层,2层最大池,2完全连接层。每一层的数量上显示特性图的大小。
(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
图2
图表的图标用于快速连续视觉呈现(RSVP)面板。图标的设计来自电视遥控器。(一)打开。(b)卷起来。(c)通道。(d) (e)音量关掉。(f)通道。
(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
图3
学习曲线和接受者操作特征曲线(ROC) H L和主题。(a)假阴性率(FN)和学习曲线附近的L主题浸透0。2,分别,而假阳性(FP)增加到1。(b) FP和FN下降时间为H附近的主题和学习曲线变得饱和。8。(c)的培训和验证错误滴在时间进程L主题和(d) H。验证和训练误差降低H。(e) ROC曲线H和L科目。

图4
ERP平均超过所有试验和特征映射的L1L的主题。ERP从额叶是复制粘贴在最后三行。(一)大平均ERP所有试验。从L特征图1(b)所示,(c), (d), (e), (f) (g), (h),(我)。很强的相关性之间的额叶和中部叶和中部和顶叶。空间相关性在其他电极并没有很好的定义。
(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
(g)
(g)
(h)
(h)
(我)
(我)
图5
特性L地图2L主体数据。发现时间特性与P700峰值(a)所示,(b)和(c)。

图6
ERP平均超过所有试验和特征映射的L1H组。在图所示的格式是一样的4。(a) H组的大平均ERP显示明显的峰值在P300和P500(行1、5、7、8)。来自相邻电极ERP之间的相关性显示高度的相关性与特定时间愤怒(P300和P700) (b)、(d), (f)和(e)。
(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
(g)
(g)
(h)
(h)
(我)
(我)
图7
特性L地图2H的话题。格式是一样的人物5。高积极重量在P300和P500范围被发现(a), (b)、(c)和(d)。(e) - (i)适度积极的重量约P700也被发现。

PSNR值表明,缺乏活动枕/顶叶和广泛的峰值P700影响L1的空间滤波器的性能。的PSNR措施的最大功率信号噪声和腐败的力量(45),结果表明:过滤器无法从背景噪声中提取目标ERP的独特的信号为L组受试者的数据。这可能是由于山峰附近P700广泛而波动。另一方面,P300和P500山峰H组受试者更清晰,使过滤器更精确地提取相关特征不受背景噪声的影响。有趣的是,L的主峰2H和L组受试者没有显著差异( 值= 0.965)。主峰被发现的平均特征图的L2,每个特性的差异映射可能已经黯然失色。进行进一步的统计分析,访问时间特征在每个特征地图必须应用来验证这一研究发现的结果。

5。结论

本研究调查了ERP之间的时空特征的差异高性能组(H组)和低性能组(L组)。结果表明,主要的区别来自空间相关性的ERP等叶而不是时间特性。虽然时间特性的区别是没有发现在这项研究中,定量定性分析表明低性能组P300的缺乏。有趣的是,低和高绩效组织显示P700附近活动,可能是拼写ERP系统的关键活动,而不是传统的P300高峰。个人特性的进一步分析地图需要探讨ERP拼字系统的关键时序特性。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作在一定程度上支持的信息与通信技术促进研究所(IITP)授予由韩国政府资助(MSIT)(没有。2015-0-00312,技术的发展对社会生活日志记录基础上分析社会情绪收敛和情报内容)和韩国国家研究基金会(NRF)授予由韩国政府资助(MSIT)(没有。2011 - 0030079)。