文摘
从允许基本的通信将通过一个环境中,几次被制造领域的脑-机接口(BCI)来帮助人们,很难或不可能执行某些活动。关注这些人作为BCI的潜在用户,我们获得的脑电图(EEG)读数从9名健康受试者出现听觉刺激通过耳机从六个不同的虚拟的方向。我们提出了古怪的范式引出后的刺激P300波在受试者的大脑活动后识别和分类使用卷积神经网络(CNN)。CNN模型给出了一个新颖的单一审判的三维(3 d)表示脑电图数据作为输入,维护时间和空间信息尽可能接近实验设置,一个相关的特点和引发P300已被证明在某些大脑区域引起更强的活动。在这里,我们目前的CNN模型使用的结果提出了三种不同的3 d输入刺激呈现时间间隔(500、400和300 ms)和比较他们先前的研究和其他常见分类器。我们的结果显示> 80%的准确率的CNN模型使用提出的3 d输入单一审判P300分类。
1。介绍
脑-机接口(BCI)提供了一种让人们使用他们的大脑与设备进行通信。虽然BCI的应用程序和环境探讨了很多,在这里,我们专注于潜在的配角的人肌肉运动的局限性。
一些BCI使用与事件相关电位(ERP)连接传动装置或设备的人的大脑的人打算与之交互。ERP是大脑活动模式,可以通过测量脑电图(EEG)。在众多ERP,我们P300用于这项研究。P300正偏转预计在250年和700年之间女士BCI后用户标识一个不规则的(预期)提示定期的实验设置。这种呈现方式刺激BCI用户被称为古怪的范例。P300可引起通过古怪的范例使用不同的刺激(如声音或图像)。BCI应用和实验中脑电图、P300和图像刺激,关注人与电机的缺点在过去已经被广泛研究并成功开发(1- - - - - -3]。
在这项研究中,我们使用声音刺激引起P300通过古怪的范例。虽然已经成功用于图像这样的任务,其使用要求受试者(谁可能有身体残疾)控制他们的眼睛和脸和头部的肌肉。然而,这并不是盲目的人失去了他们的能力或从未发现,或完全闭锁综合症患者,不控制自己的眼球运动。用声音刺激,我们相信,一个更便携BCI可以开发,适合那些无法接受视觉刺激或只是喜欢把他们的视力和其他任务。
一旦引起P300, BCI应该能够识别并分类。为了这个目的,我们使用数卷积神经网络(CNN)的结构。CNN代表一个特定的拓扑结构的多层感知器(人工神经网络(ANN)的一部分家庭)。像许多其他机器学习模型,CNN已经用于分类和满意的结果在不同的应用程序4- - - - - -7]。
与许多类型的安,CNN可以处理两到三维(二维或三维)输入没有映射数据到一个一维(1 d)向量,可造成的信息损失取决于数据的性质。数据映射BCI应用程序中是很常见的,但研究表明,诱发P300引起更强的大脑活动在特定的大脑区域,维护时空脑电图信息时CNN的输入可能实现更高精度的关键P300分类。有鉴于此,我们提出一种新颖的三维输入的CNN。我们的方法避免了信息丢失,数据映射,并允许主要CNN操作(卷积和池),没有其他研究中描述的限制(8]。
我们用我们建议的3 d测试输入30个不同的CNN结构P300分类。CNN结构相互不同的内核(补丁)卷积或池过程期间使用。我们也使用不同的池的进步导致或避免重叠,根据情况,有报道称这为提高CNN的性能在某些应用程序中(9]。
以下部分的工作组织如下:在部分2,我们详细解释了实验装置用于生产和过程所使用的数据集。进一步,CNN有关的形状结构和细节提出3 d输入节中给出3。最后,在部分4和5,我们讨论的结果,比较他们在其他类似研究结果也提供其他常用的分类器的性能。
2。数据集
2.1。实验装置
本研究使用的数据集对应于诱发P300波从9名健康受试者(8人,1女)获得使用听觉BCI范例。数字脑电图系统(活动2、BioSemi、荷兰阿姆斯特丹)是用来记录大脑活动在256赫兹。设备分布在头部的电极由64名受试者的帽,用图所示的配置1(一个)。本研究伦理委员会批准的长冈大学的技术。所有受试者签署的知情同意书,包含有关实验的详细信息和所有方法符合《赫尔辛基宣言》。
受试者出现听觉刺激白噪声(100毫秒),类似于在执行10),使用out-of-head声音定位方法(11),因此,能听到的刺激来自一个虚拟方向通过耳机(参见图62(a))。刺激是紧随其后的是沉默的间隔时间。一个刺激和一个相应的沉默的时间间隔称为审判。三个不同的试验长度(500、400和300 ms)被用来分析的速度刺激的影响介绍P300波的识别。每个主题完成12个实验课程,每个组成的约180试验对于一个给定的试验长度。在每个会话中,受试者被要求只关注声音被认为是来自六个虚拟的方向之一,而被称为“目标方向。受试者计入闭着眼睛沉默每次他们感知到的声音产生的目标方向,忽略了休息。理想情况下,这应该引起P300。目标方向旋转方向从1到6,一个接一个地会话1到6,然后重复在同一订单会议7 - 12所示。刺激的方向提出了pseudorandomized; therefore for every six trials, sound from each direction was produced at least once and stimuli coming from the target direction were never produced sequentially to avoid overlapping of P300.
2.2。预处理和数据住宿
在排序之前训练集和测试集,脑电图数据的基线修正使用Savitzky-Golay过滤器从−100 ms刺激开始,直到年底前试验(即。静止期结束后,刺激抵消)。
过滤过程也进行了沿所有脑电图渠道使用巴特沃斯对截止频率的带通滤波器系数0.1和8赫兹。下一个数据downsampled 25 Hz(约十分之一的原始大小)。数据与原始大小downsampled会导致加工和培训/测试时间过长。可以找到类似downsampling (10]。Nonaveraged试验被用于这项研究。
因为每个主题进行实验课程(见图122(b)),大约180个试验在他们每个人,每个主题由大约2160个试验数据收集对于一个给定的试验长度为每个主题。鉴于pseudorandomized刺激生产的性质,对于每个六产生刺激,从目标方向。刺激是贴上目标试验和其他不属预定目标的试验。因此,近2160次试验,每个主题将产生约360目标试验结果(即12会话。,他们的六分之一),其余不属预定目标的试验。在这种情况下,目标方向不是特别相关,独立于目标方向所在地,从那个方向应该正确地感知刺激引起P300。重要的是确定用户是否可以区分在六个虚拟方向和专注于其中一个,感知声音可能提出的实验装置。
训练集和测试集生成每个主题在给定试验长度只使用这个主题的数据。来生成每个科目的训练集和测试集,首先我们重组目标试验同样发生了不属预定目标的试验。接下来,我们每一组分布式目标的一半试验相同的申请不属预定目标的试验。这导致了训练集和测试集的每一个主题都包含在1100次试验,大约180个目标在每组试验和900不属预定目标的试验。
我们可以看到在图3(c),无论试验长度,提出了输入由1100 ms的记录大脑活动刺激后发病。我们考虑相同数量的信息相当评估所有试验长度和比较我们的结果之前的工作部分4。
3所示。输入形状和CNN模型
3.1。3 d输入
P300检测的使用脑电图电极的位置有相关领域的潜在感受更强烈(10]。然而,这在以前的研究尚未解决,而不是3 d数据映射(电极的位置和时间)成一个二维向量,其中包含所有通道脑电图活动期间的实验。这不仅会导致信息丢失,但也让分类器如CNN没有特别考虑使用(如[观察到的8])。
为了避免信息丢失和CNN的局限性操作,64个电极的位置被映射到一个矩阵(参见图10×111(b)),维护他们的位置尽可能接近真实的安排在实验设置。提出了时间信息通过一个额外的轴,所以3 d输入图中所示的形状1(c),细胞不对应于一个电极(灰色的)在所有实例都设置为0。
节4,我们提出了一个二维输入进行性能比较。在这种情况下,输入形状描绘在图1(上部流)。预处理、数据住宿(培训和测试集大小),和任何其他事项的3 d输入部分2。2也申请了2 d。
3.2。CNN模型
这个特定的体系结构是一种多层感知器神经网络功能升级和降维的层,组成一个回旋的层。与其他layered-based神经网络不同,CNN可以接收一个多维输入原来的形式,没有之前的过程,并成功地分类特征提取的步骤。CNN总体结构呈现在图3。在我们的研究中,我们使用了一个3 d输入和生产28特征图(每次一个示例)。而CNN层缺乏池过程也是有可能的,池过程提供了生成的特征图的尺度不变性。它还有助于防止过度拟合,并允许减少模型的计算复杂度,减少由此产生的特征图的大小,从而缩短培训/测试时间。
在这里,我们提出了30种不同的CNN模型探讨影响不同的卷积和池补丁对模型性能。提出的模型相互不同的卷积或池补丁大小。CNN模型使用由NVIDIA GeForce GTX泰坦X GPU实现在Python 2.7使用工作由[12]。
此外,固定池的进步被用作替代默认值,同样大小的池补丁,迫使池补丁重叠的目的(或不)在池的过程中,有报道称这为提高CNN的性能(9]。为此,我们应用固定池的进步价值[1×1],[1×2],[1×3],[2×2]和[2×3]。在通常情况下,池跨越作为一个整数值,在工作的12),在这项研究中,使用池步必须被定义为一个数组的两个值,与相对应的第一个步骤(s)沿设在和采取的第二个设在。整个输入了使用这种方法,只有池过程影响。卷积的过程中,跨越1。当使用池不同于默认的一大步,池补丁应用到地区特性从一个程序到另一个地图可以重叠,或反之可以跳过某些地区根据步幅的大小和补丁。与我们提出池的进步,我们旨在导致应用领域重叠显示这是否影响CNN的性能(如[9])。我们认为这种方法可以不止一次CNN模型生成同一地区与马克斯池方法可以加快特性对应P300生产这个波会导致更强的特定的大脑区域的活动。这将创建一个生成的特征映射包含多次映射的这部分功能,使分类更容易。
对于一个给定的试验长度和池步值,30 CNN模型为每个主题都是经过训练的。有九个科目,三个试验长度,和六个池步值,总共4860 CNN被训练了这项研究。然而,只有结果显示的平均性能将九个课程。卷积和池补丁测试表进行了总结1以及他们的补丁数量,这将用于呈现结果在下一节。
每个块都是引用的一个数字,从0开始。所有可能的补丁组合进行了使用特定的卷积和由此产生的模型池补丁,补丁代码组成的两位数。第一个数字对应于卷积补丁和第二个补丁。因此,对于补丁代码24,我们指的是CNN模型,利用卷积(3×2)补丁和补丁(2×3)池。鉴于测试CNN很多,我们提出一个统计分析部分4.1实现之间的方差分析模型和提出池的进步。
至于CNN的学习速率,它被设定为0.008基于初步测试。我们使用的优化方法是随机梯度下降法,因为它已经证明(13)是有益的训练神经网络与大型数据集的例子,使用迷你批处理方法(批处理大小为100)。在输出层分类是使用将softmax执行函数,产生一个标签基于给定的概率属于一个数据集类的例子。
计算分类精度我们必须考虑到目标的比例和不属预定目标的试验甚至没有训练集和测试集。因此,我们使用表达式 ,TP代表真阳性和分类目标的例子,反映了正确的数量和TN代表真正的底片和反映正确的数量分类不属预定目标的例子。和代表了总目标和不属预定目标的类的例子,分别对于这种情况。这个表达式严重惩罚贫困个体分类二进制分类任务。
4所示。P300标识:结果与讨论
结果提出了下对应的平均精度获得9个科目CNN模型的测试。精度最高和最低的利率以粗体突出显示,红色字体,分别。通过分析获得的性能使用不同池策略以不同的形式固定池的进步(在第一列从左到右),通常观察到一些池策略不提供相关差异乍一看。
通过分析总结结果三个试验的间隔,我们没有发现明确的趋势模型和池步提供了最高或最低精度。例如,在500 ms试验间隔模型(图4),从模型获得精度最低的是补丁代码23和(2×2)池的步伐,而女士在400年和300年的情况下,这些结果使用模型和补丁代码30(2×3)池的步伐,这类似于500 ms。
至于最高精度的结果,有一些相似之处女士在400年和300年的试验间隔(数字5和6、职责)。在这些情况下,实现模型下池贴片(2)[1×3]或[1×2)池的进步,而防止模型相互重叠和非常相似。对于500 ms的情况,池步幅也[1×2],一样的女士在400年试验区间,而池补丁是不同的。如果我们回顾表1,我们可以看到,这些卷积补丁非常不同。
通过分析图8,它可以指出,即使结果不改变强烈一个从另一个,有一个清晰的模式改进的性能,使用的数据来自500 ms试验长度,紧随其后的是400年和300年的女士。预计这种行为,因为快生产的刺激会导致对象无法识别刺激来自目标方向,因此错误产生P300波。以这种方式通过总结结果,我们也观察到[1×2]池步伐提供了最好的结果,至少在500年和400年女士试验长度,而[1×3]池步在300 ms试验最优长度。
另一方面,(2×3)池步产生最低的结果,而不会被有害的。最高和最低之间的差异池的进步依赖于重叠的进步提供多少。而(2×3)池一步阻止一些池补丁重叠,或者甚至跳过某些地区的输入,(1×3)池跨步部队最池补丁重叠。在这项研究中,13),性能方法之间没有差异报告有或没有重叠,相反的报告(9),性能更好的CNN模型通过使用重叠池策略。在我们的例子中,我们发现不同池策略测试之间几乎没有变化。在上述引用的研究中,它是提到的成功应用池策略可能完全依赖自然,形状,和条件使用的数据。
在表2,平均价值考虑所有模型的三个试验长度提出了相应的最低和最高价值。
通过比较这些数字,显然并没有很大的不同长度和审判的最高/最低价值。我们相信这种缺乏许多测试模型之间的差异是3 d的实现的结果输入,,不管使用刺激的速度表示在这项研究中,可以将必要的信息对正确分类。支持这个想法,我们测试了4额外的CNN模型一般使用2 d输入方法与卷积补丁(1×4)和(3×3)。至于池补丁,我们还测试了两个,大小[1×2]和[2×2],两个都有一个默认池跨步到目前为止我们的研究结果表明池策略不提供重要的CNN性能差异。补丁被选为它们所使用的相同的CNN模型使用3 d输入效果最好。除了输入形状和卷积和池补丁,CNN的参数模型使用二维输入不不同于到目前为止提出的部分3所示。2。使用二维模型的结果输入表中可以看到3。
在模型使用二维输入的结果,模型和试验长度之间的差异是更容易注意到。在结果涉及的3 d输入不同的整体最高和最低精度约为3%;在2 d的情况下输入的结果,不同的是10%左右。同时,我们可以看到,卷积和池补丁,只考虑信息从一个频道提供更好的结果比那些来自多个渠道的信息被认为是。
在表4个人的结果为每个主题考虑每个试验的模型精度最高的长度同时使用3 d和2 d方法所示。精度是最高的模型提出了大胆的字体在数字4- - - - - -6和表3。
获得的结果显示个人绩效模式以类似的方式出现在这两种方法。对于一个给定的试验长度,个人精度最高的主题都是一样的,不管(3 d或2 d)的方法。虽然在某些情况下精度区别这两种方法的一个主题是最小的,所有的结果从CNN模型使用3 d输入提供更好的精度。
除了获得的精度的差异,火车/测试的3 d模型的输入模型也比使用2 d输入。3 d输入模型的平均时间培训/测试单个主题是8分钟左右,而对于使用2 d模型输入的情况下,大约18分钟是必要的。
4.1。统计分析
鉴于到目前为止的结果没有显示出巨大差异的CNN模型的性能我们是否考虑模型本身或他们的审判长度测试,我们进行了方差分析(方差分析)来进一步的检查结果。
首先,我们检查如果应用不同的测试模型(卷积和池补丁大小变化)对CNN模型的性能产生重大影响。结果如表所示5三个试验长度,被认为是在这项研究中。
我们发现,模型使用的例子从500年和400年试验长度,女士没有明显差异,但有长度为300 ms的审判。试验长度变短,它变得更难用户正确识别声音来自目标方向,在这种情况下,模型之间的差异变得越来越清晰。
接下来,我们目前的结果检测池的进步之间的方差分析表6。在这种情况下,实现池中有显著差异的进步不管审判的长度。我们提出申请几个池的进步探索是否导致或避免重叠在池过程中模型的性能改善。在图5我们的平均精度模型在每个池的路径显示,但小差异结果很难状态如果他们不同的足以让一个评估。现在,在表的结果6表明不同池一步导致重叠或避免它显著影响的性能测试CNN模型。
4.2。与以前的工作和其他分类器
目前的结果显示约15%的改善的工作10),本研究的实验装置是借来的(见图7)。获得的脑电图数据也以类似的方式,使当前的比较。同时,本研究与由[有共同之处14)这就是为什么我们还包括比较。在大多数情况下,很难做一个适当的比较由于差异的性质实验,主题,和技术等原因,比较只是示范。所有的结果用于对比图7的对应于单一试验(还指出nonaveraged)情况。的最高结果的实现2 d输入也包括在内。
我们现在比较的结果使用提出的3 d模型输入与那些获得通过使用支持向量机(SVM)和费舍尔的判别分析(FDA)。我们选择使用这两个分类器,因为他们是常见的在这种情况下,支持向量机用于(10]。表7显示了比较的结果在不同的试验中获得的最高精度的长度。支持向量机的详细信息,FDA在附录中可以找到。
FDA和SVM提供精度低于从模型中使用该输入。
5。最后的评论和未来的工作
通过本研究我们发现,可以实现3 d输入形状与成功使用脑电图数据不同的CNN模型表现出不同的池策略的基础上提出固定池的进步可能导致模型重叠在池过程或避免它。我们假设使用这种方法可能会产生更好的结果相比,最常见的方法,使用二维映射版本的数据。这种想法的基础在于卷积和池过程的本质,它高度依赖于数据点及其环境之间的关系。缺乏变化可能指向的一个更好的表示信息由该三维输入。同时,我们发现,在目前的研究中,造成重叠与固定池步伐显著影响的性能测试CNN模型。
结果显示改进其他的类似研究使用nonaveraged数据。同时,相比其他分类器常用的在这种情况下,CNN模型使用该输入表现更好。
虽然我们相信这是一个成功的小说输入结构的应用,我们认为这样的建设将执行特别好时数据的性质是这样映射简单表示有信息丢失。为其他BCI方法以及其他类型的大脑活动阅读,这种方法可能不是最适合和它的应用程序可能需要案例的分析。
提出三维输入我们也能够找到更快的火车/测试的方法,这种方法显示花更少的时间比模型使用一个2 d这样的任务的输入。我们希望继续使用这个输入表示在将来的研究中测试它的局限性和可能的新应用程序。
附录
支持向量机。分析使用LIBSVM软件(15),在MATLAB中实现(美国纳蒂克Mathworks)。我们使用加权线性支持向量机(16),以弥补失衡在目标和不属预定目标的例子。因此,我们使用一个惩罚参数C +的目标和C−不属预定目标的例子。每个类的惩罚参数搜索的范围来( ;米:−6:0.5:−1)内部培训。我们决定最好的参数的获取最高精度使用10倍交叉验证的培训。使用最好的惩罚参数,我们构造的支持向量机分类器使用所有训练数据和应用测试数据。
食品及药物管理局。我们使用的一种变体正规化Fisher判别分析(FDA)作为分类算法(14]。在该算法中,FDA的正规化参数是搜索的粒子群优化(详情,请参阅[14在培训)。在这项研究中,我们使用所有脑电图渠道没有选择。
的利益冲突
作者宣称没有利益冲突有关的出版。
确认
这项工作在一定程度上支持jsp Kakenhi格兰特2430051和16号k00182和长冈技术大学总统研究基金会资助。