文摘

由上而下的视觉物体知觉是指决定一个人的能力来识别一个预定的视觉目标。本文研究的技术基础测量target-perceptual能力引导视觉搜索任务,使用以脑波图为基础的脑成像技术。具体来说,它侧重于功能表示学习问题的实验分类fixation-related势(高分子基)。现有的方法要么只捕捉一阶统计而忽略二阶统计数据,或者直接提取二阶统计与协方差矩阵估计原始高分子基遭受低信噪比。在本文中,我们提出一种新的表征学习管道涉及低级卷积子网,后跟一个高层黎曼流形子网,用小说中层池层桥接他们。这样,辨别力的一阶特性可以增加了卷积子网,而二阶卷积功能中的信息可以进一步深入学习与随后的黎曼子网。特别是,高分子基的时间顺序是保存完好的管道组件,这被认为是一个有价值的判别信息的来源。实验结果表明,提出的方法会导致改善分类性能和健壮性缺乏数据在最先进的国家,因此它在测量target-perceptual呼吁实际应用认知能力受损患者玻璃钢技术。

1。介绍

由上而下的视觉物体知觉是指决定一个人的能力来确定一个指定的目标针对基于视觉输入(1]。受试者患有阿尔茨海默病(AD)通常在区分目标和不属预定目标的困难。客观、有效的方式对早期评估这种功能性赤字疑似广告病人可以检查大脑反应,即。,event-related potentials (ERPs), acquired by an electroencephalographic (EEG) device, during the engagement of human subjects in a visual perception task [2,3]。在特定的,P300 erp通常是用来推断是否主题是看着一个目标,而不需要公开的有意识的行为/口头报告的主题。常见的实践课成绩P300研究实验,限制眼球运动的主题是问他/她的眼睛在一个固定的空间,避免眼部工件,同时刺激了在一个古怪的范例。然而,在现实世界的P300应用,很难保持不合作的广告病人保持他们的眼睛专注于固定空间每次刺激后发病,这是自然的,容易导致辞职的任务。一个技术更先进的方法,近年来已经得到普及的同时记录眼球运动和脑电图信号在观看刺激。在这种coregistration研究,EEG信号可以对齐自有固定发作,收益率fixation-related势(高分子基)4,5]。此外,它已经表明,高分子基以下固定目标不同高分子基下面固定不属预定目标的(6]。总之,相比传统的ERP研究没有眼球运动,玻璃钢技术为AD患者提供了机会进行任务,拥抱而不是限制眼球运动,开放的可能性target-perceptual能力测量的实际应用分析大脑反应在一个视觉搜索任务。

因为原始的高分子基是多通道时间序列具有强烈的底层结构和复杂的分布,测量target-perceptual能力高度依赖一个好的特性为高分子基表示,应该区分固定到目标和固定到从实验不属预定目标的高分子基。因此,这个问题通常是制定作为实验的特征提取或特性学习问题分类的高分子基。早期的玻璃钢研究[7- - - - - -9)通常直接利用原始的时态形式连接成一个向量的特性实验高分子基,而一些后者努力(10- - - - - -12)应用空间过滤器(例如,PCA和xDAWN13高分子基]),为了获得高信噪比(信噪比)表示,从而提高分类性能。尽管大多数FRP-based系统仍然依赖手工提取功能,近期作品有探索深度学习的应用14]。特别是卷积神经网络(cnn)中引入非线性和层次结构特征提取,通过学习当地的非线性特性(通过隆起和非线性)和代表高级特性成分低水平的功能(通过多层次的处理),在达到最先进的性能(15,16]。因为所有的浅特征提取方法和上面提到的深cnn捕获只有一阶统计(如均值和最大)从输入玻璃钢试验,我们称之为一阶模型。

”来形容erp的复杂的底层结构,近期努力也采取提取二阶统计数据。等二阶统计样本协方差矩阵估计与输入ERP实验允许捕获相关信息(例如,相关性)组频道,其时态结构显示高统计依赖其中[17,18]。此外,协方差表征丰富性也植根于其黎曼流形结构。即,协方差矩阵是对称正定(SPD),躺在弯曲的黎曼流形的欧几里得空间。通过输入的黎曼几何协方差,一些erp研究开发了浅黎曼模型,如最小距离黎曼意味着(MDRM) [19)和切线空间线性判别分析(TSLDA) [19]。他们有了更好的分类性能比方法,忽略几何信息通过重塑协方差矩阵为一个向量。此外,我们的以前的工作20.)最近提议深SPDNet黎曼模型适用于(21),类似于架构cnn但是层为社民党矩阵,设计实验的高分子基分类问题。结果表明,它会导致优越性能在浅黎曼模型(20.]。浅和深黎曼模型处理数据的协方差,他们被称为二阶模型。

到目前为止,不难发现以下可能的限制目前努力探索深层神经网络分类高分子基(款)技术。一方面,CNN-based方法忽略了利用二阶统计数据之间的相关性等特征的地图从卷积的层。另一方面,输入协方差矩阵被局限于一个从原始信号SPDNet-based低信噪比的计算研究。为此,我们提出一个新颖的特性表征DNN学习模型框架。更具体地说,提取实验的歧视和健壮的表征高分子基分类数据的一阶和二阶统计信息的编码是顺序执行的,也就是说。,使用低级充分时间卷积,然后高层深黎曼几何处理。此外,迎合了玻璃钢分类问题,我们提出一个新的中层二阶卷积池层的低级和高级社会民主党代表学习,卷积特性在哪里聚集在时间富裕的社民党矩阵表示能力。特别是,低级卷积子网和中层池层是为了保护玻璃钢动力学的时间顺序,这对高分子基分类是至关重要的。我们在玻璃钢评估该模型的性能数据收集从一个引导视觉搜索任务。实验结果表明,该方法会导致改善分类性能和鲁棒性数据稀缺(通过减少数据集的大小只有25%的原始大小)最新款。除了角色整体模型的体系结构,该模型消融研究也可以执行验证我们的时间订购坚持设计管道组件。 The results presented in this paper are the first step toward practical applications in measuring the target-perceptual ability of suspected AD patients with FRP techniques.

总之,我们的论文的贡献是双重的:(1)为实验FRP分类的问题,目前的研究是我们所知,第一个引入深度学习管道涉及低级卷积子网,后跟一个高层黎曼流形子网,用小说中层池层桥接他们。提出管道超越现有的模型只包括一阶或二阶只有子网,产生更多的歧视和健壮的特性表征。(2)我们建议的时间订购坚持设计低阶卷积子网和中层二阶池层。这种设计允许捕获玻璃钢动力学的内在时间信息,有利于实验的高分子基分类。

我们的论文的其余部分组织如下。部分2给收集了玻璃钢的描述数据集在引导视觉搜索任务验证我们提出的模型。第三节说明了该模型的细节。介绍了绩效评价设置第四节,紧随其后的是广泛的结果在不同数量的数据了第五节。我们讨论我们的发现第六节。最后,提供了一个结论第七节。

2。材料

2.1。参与者

有4女性和6从东南大学男性志愿者,与正常或纠正视力正常,没有眼睛或神经系统疾病的报告,和年龄从21岁到26岁(中位23岁),参加了这项研究。实验程序和书面同意本研究形式在东南大学伦理委员会批准,并遵守道德标准第六次修订的《赫尔辛基宣言》。所有参与者把他们的通知书面同意参与这项研究。

2.2。引导视觉搜索任务

参与者被要求执行一个引导视觉搜索任务55网格equiluminant,等距的25(即英文大写字母一个,B,C,D,E,E,E,F,F,F,G,H,J,K,l,N,O,P,问,R,年代,T,U,X,Z)视角在白色背景上展现黑人(见图1)。执行的任务是为每个主题在4块。之前存在的网格字母对于每个块,提示指定目标(“E”或“F”)是在屏幕上显示3秒。在网格的显示字母,眼睛注视被红色圆圈(引导整个网格视角),随机包围的一个字母。这样一个指导圆一秒钟(即保持可见。,a trial) after which it moved to a different letter location. Participants were instructed to saccade to and fixate on the letter in the center of the red circle for 1 second and press the space bar of a keyboard with their forefinger of the right hand only when the visual target was present (for keeping subjects engaged in the task). A 2-second short rest gap and a 10-second long rest gap displaying a blank screen in black were intersected between every 5 movements and 25 movements of the guiding circle, respectively. The grid of letters was updated every 5 movements of the guiding circle by randomly changing the locations of the 25 letters. A single block of guided visual search task consisted 250 movements of the red circle, lasting about 10 minutes. A 5-miniute rest period was inserted between each block. Since there were always 3 target letters out of the 25 letters for each grid, the target appearance probability is 3/25 = 12% in each block. The presentation program was developed with Matlab Psychtoolbox, and the grid was displayed on Dell 1280 × 1024 LCD monitor with the refresh rate at 60 Hz.

2.3。眼球运动和脑电图记录

引导视觉搜索任务的实验装置如图2。眼动记录EyeLink 1000系统(加拿大安大略省SR研究)。眼动跟踪在单眼工作模式,记录受试者的主眼的采样率为1000 Hz。温和的头部运动减少,受试者被放置在距离chinrest 57厘米从液晶显示器。虚报的校准进行了实验前块,每25的运动和漂移进行修正红色圆指导在实验(试验)。

EEG信号的采样与64 - 1000赫兹频道10 - 20蒙太奇活性电极帽(ActiCap、BrainAmp BrainProducts,慕尼黑,德国)和一个脑电图放大器(SynAmps II, Neuroscan Compumedics,维多利亚,澳大利亚)。19日采集的信号电极(Fz,俱乐部zCz、C3、C4、CPzPzP3, P4、P7 P8,阿宝z警察丙、PO4 PO7 PO8, Oz、O1群和O2)左边乳突引用,和地面电极放置的额头。此次电极被灌醉了主眼外眦,以及下面的眼睛。所有的电极阻抗一直低于10 k在实验。

刺激的数据表示、脑电图、和眼动跟踪采集系统同步使用自定义软件在实验。在特定刺激演示电脑事件消息发送到眼动跟踪主机通过以太网端口,一旦红色指导圆搬到了一个新的字母;眼动跟踪主机然后传播TTL触发脑电图放大器通过并行端口。脑电图和眼动跟踪采集系统之间的同步滞后1 ms,这是可忽略不计的。

2.4。代的玻璃钢数据集

从同步提取的实验的高分子基被脑电图和眼球追踪记录以下步骤在Matlab中实现(释放2014 b)。首先,固定出现在原始的眼球追踪数据检测使用三个阈值:速度( ),加速度( ),和眼跳运动( )(22]。此外,只保存在分析有效的固定,这是第一个完全固定没有闪烁的落在一个圆形的面积视角从指导的中心圆和持续时间比350 ms (23]。其次,脑电图信号过滤使用第1 - 40的二阶零相位巴特沃斯滤波器赫兹通频带。此外,尽管眼睛保持相对稳定固定期间,仍有微眼刺激工件受污染的神经反应。Infomax独立分量分析(ICA)是执行工件识别来源的眼,和独立的组件被拒绝与眼球追踪数据基于协方差的比率(组件1.1或更高版本中)(24]。第三,脑电图信号与固定发作和分段之间的一致女士和固定的1000 ms发病。基线校正应用于每个时代的时间窗口从固定出现女士(200 - 100)。此外,实验高分子基的时间窗口( )女士被用于分析。接下来,我们拒绝fixation-locked审判活动超过如果峰μV阈值使用50毫秒的窗口大小和25 ms的滑步。EEG信号的目视检查确认工件很明显减少。最后,脑电图数据在128 Hz downsampled和根据目标或不属预定目标的固定的标签。由此产生的玻璃钢为每个主题是总结在表的数据集1。

3所示。方法

首先,最近提出了一阶深模型EEGNet [16)和二阶模型SPDNet深处(21),我们的工作是开发的基础上,简要回顾。他们只由一阶和二阶只有子网,分别。之后,我们描述该方法建立序列的一阶和二阶子网,旨在更好的捕捉实验高分子基分类的相关统计数据。

3.1。EEGNet

由于非侵入性的物理起源脑电图,不会有明显的层次空间局部和全局调节(15]。相比之下,脑电图是一贯发现组织在多个时间尺度(25),表示有时间层次结构的局部和全局调节。基于上述事实,EEGNet提出了在16),这是一个紧凑的卷积神经网络根据EEG信号的分类。需要原始的时态形式作为输入,即。2维数组的大小 ,为渠道和时间的实例。EEGNet架构可视化图3,包含三个街区。第一个块执行时间运算(Conv-T图3)模拟带通频率过滤,其次是切除空间运算(Conv-S图3),作为空间过滤器。这样的空间旋转切除不完全连接所有前面的层,以学习空间过滤器为每个时间滤波器,一起提高信噪比和减少可训练的参数以适应。第二块包括切除时间卷积分别总结每个局部,低级特征从前面的块映射在一个更大的时间尺度,紧随其后的是逐点的输出最优合并通过卷积之后捕捉全球和高级特性。第三块直接通过平softmax分类的功能单位(类的数量在数据)。每个卷积层是紧随其后的是批处理规范化。没有激活函数卷积两层之间的在一块,但指数线性单元(ELU)非线性是块之间的工作,其次是2 d平均池和辍学层。总之,通过执行线性组合,平均池、和elementwise非线性操作,EEGNet可以被认为是只提取一阶统计数据玻璃钢试验。

3.2。SPDNet

社民党矩阵驻留在弯曲的黎曼流形 ,因此,它会导致损失的几何信息和糟糕的结果直接压扁和应用分类模型设计了欧几里得空间。SPDNet社民党矩阵是一个深度学习模型作为输入,这学习非线性预测一个社民党矩阵转变成一个更有识别力的(21]。在特定的输入矩阵 层的收益率 通过双线性映射(BiMap层),进而收益率 在层通过非线性激活,即。,rectified eigenvalues (ReEig layer) activation, by the following steps: 在哪里的紧凑施蒂费尔歧管semiorthogonal矩形矩阵, 表示的特征值分解 ,和是一个小正特征值的阈值。最后LogEig层赋予元素在黎曼流形李群结构,矩阵可以被夷为平地,传统欧几里德分类可以应用。BiMap和ReEig层作为一个整体一起使用(缩写为BiRe)等BiRe块可以重复多达,实现高性能的深度学习模型。图4描述SPDNet两胎的架构所鼓动起来块特征提取器和一个LogEig层顶部。的协方差矩阵估计的实验高分子基是社民党,因此,SPDNet可以应用在这样社民党矩阵深入学习实验的区别的二阶统计高分子基。

3.3。提出分类管道

提出的管道模型如图5组成的三个阶段。高分子基已知遭受外部噪音的环境和内部干扰大脑活动与大脑反应固定目标。因此,最小加工时间序列实验高分子基被送入第一卷积块EEGNet(表示,CONV-Net图5),执行multiple-frequency-specific空间滤波对原始的脑电图。接下来,我们建议进行增广协方差池回旋的特征图谱,获得一个社民党矩阵作为一个强大的表示(称为ACOVP图5)。最后,廖网络SPDNet用来深入学习的二阶统计和分类(表示,SPDC-Net图5)。每个阶段的细节提出模型如下所示。

3.3.1。完全时间卷积子网(CONV-Net)

振幅变化的时序结构试验中被发现是重要的检测研究erp (16]。记得第一个块的充分时间卷积层EEGNet促进frequency-specific的提取,高分子基的空间局部时间序列表示,EEGNet进一步利用卷积的另一个块层总结这些特性为全球高层描述性表示任务。这表明,第一块EEGNet原始玻璃钢内保留时间结构试验,而这样的时间信息可能在很大程度上失去了第二块。因此,建立一个强大的社民党矩阵的时间表示高分子基进一步提取二阶统计数据,而不是输出特征图的激活函数的第二块,那些来自激活函数EEGNet第一块的利用。在特定的,我们学习8时间过滤器的大小 并进一步2空间过滤器的大小 ( 每时间过滤通道),因为它已被证明为P300表现良好分类(16]。

3.3.2。增广协方差池层(ACOVP)

深入学习二阶信息,我们引入增广协方差池后充分时间回旋的层。给定一个实验脑电图,让激活的地图完全时间卷积层是一个 张量与特征通道( ,即。,output of 8 temporal filters and 2 spatial filters per temporal filter), height( ),和宽度( ,即。,the no. of time instances in a single convolutional feature map). We reshape it into a matrix 与 并进一步中心沿行,以矩阵表示为 。然后执行估计样本协方差矩阵的协方差池

然而,如果时间瞬间在审判是随机打乱,其协方差矩阵的估计不会改变。换句话说,使用协方差矩阵的分类可能会导致损失的精确时间信息进行学习卷积特性。有效地捕获的时间顺序卷积特性在一个试验中,我们计算后的增广协方差矩阵的ERP模板连接方法建议在26]。具体地说,一个增广的审判 是由连接和 : 在哪里代表了为中心 ,即。,the prototyped target FRP response, obtained by averaging trials in the learned convolutional representation from the target class: 和指定目标高分子基试验。增广协方差池是这样进行的 在哪里 。在我们的实验中,我们发现,增广协方差总是社民党自比他们的维度(样品观察 小于 )。即使只有半正定矩阵,它们可以使社民党通过添加小正的常数增广协方差矩阵的对角元素: 在哪里是一个小正的常数和是单位矩阵。

从本质上讲,社民党获得矩阵作为中层表示桥接当地的低级完全时间卷积特性和全球高层特定于任务的功能。

3.3.3。社民党矩阵学习和分类子网(SPDC-Net)

我们进一步对SPD执行端到端学习矩阵SPDNet。考虑社民党矩阵变换的大小 不够大,SPDNet架构组成的两个BiRe块不降维(即, 在方程(1)采用本文根据训练集上的初步实验,两BiRe块后跟LogEig层映射到欧几里得空间,平层,softmax层进行分类。

4所示。实验

4.1。实现细节

管道中的每个阶段的输出尺寸表2。构建CONV-Net,我们使用EEGNet[作者提供的源代码16]¹。EEGNet-8 2模型(8时间过滤器后面跟着2空间过滤器每时间坐头把交椅)今年是训练有素的月份,nvidia GTX 1060 ti GPU TensorFlow [27],使用Keras API [28]。处理不平衡数据在我们的问题(有6803:1015不属预定目标的和目标之间的赔率,见下表1),一个class-weight应用于损失函数。特别,class-weight应用逆训练数据的比例,大多数类设置为1。亚当算法使用默认参数设置(29日)是用于优化class-weighted叉损失函数。所有层的辍学概率是0.25。我们训练100次迭代模型和执行停止,保存模型权重生产验证最低的损失。

每个培训的充分时间特征图然后加载试验构建尺寸的增广协方差矩阵 在ACOVP层。SPDC-Net基于Matlab实现版本的源代码SPDNet原始文献[21),默认参数对英特尔3.2 G赫兹Core i5电脑12 10 GB的RAM和Windows操作系统²。再次,class-weight损失函数应用到叉。黎曼流形上的随机梯度下降算法用于训练网络。100年我们训练SPDC-Net迭代,并再次验证停止采用的策略。

4.2。对比现有的方法和我们的

方法提取一阶或二阶统计数据相比之下,我们的方法。下面简要介绍了这些方法相比。

4.2.1。准备一阶模型

(1)PCA + LDA (11]:Finke et al。11)首先连接channelwise玻璃钢试验形成高维向量,然后运用主成分分析(PCA)减少维度(99.9%的方差是保持)。最后,分类是通过使用Fisher线性判别分析(LDA)。指示为PCA + LDA方法已经实现Python使用scikit-learn库(30.]。(2)xDAWN + LDA (10]:xDAWN是一种常用的空间滤波算法提高ERP (13]。xDAWN实现Python使用外资库(31日与建议参数在其原始文献[]13]。(3)DeepConvNet [15:在DeepConvNet convolutional-max-pooling有四块,第一块的结构类似于EEGNet的第一块。提出的ShallowConvNet同一作者在15相比并没有因为这是专为振荡脑电图信号(例如,运动图像)分类。我们采用了源代码(TensorFlow框架内)DeepConvNet作者重新实现的(16使用默认参数设置³。(4)EEGNet [16:同一EEGNet-8 2模型相比,其训练对我们的模型配置是一样的。

4.2.2。二阶模型

(1)MDRM [19]:MDRM分类器计算几何平均数为每一个类使用培训社民党数据然后分配一个标记试验在社民党表示类对应于最接近的意思。中实现Python使用外资库(31日]。(2)TSLDA [19]:这个模型项目输入社民党矩阵切线空间以及一个LDA分类器。中实现Python与外资企业图书馆(31日]。(3)SPDNet [21]:相同的SPDNet-2BiRe模型(2 BiRe块)相比,及其训练对我们的模型配置是一样的。

上面的二阶模型中,ERP的模板连接策略26)也被用来建立增广协方差矩阵使用原始的脑电图审判。除此之外,没有什么特别的处理采用LDA classifier-based方法(即。PC一个 + LDA, xDAWN + LDA, and TSLDA) and the Riemannian distance based method (MDRM) regarding to the imbalanced data issue, since there is no reliable evidence to support the claim that an imbalanced data set has a negative effect on the performance of LDA [32),也不是MDRM [19]。

实验FRP分类模型的性能评估在5倍交叉验证(CV)使用科目的数据。训练和测试数据通过交叉验证过程分裂,target-to-nontarget比率一直保持在完整的数据一样。此外,随机选择训练集的数据用于模型验证。

我们使用的评估分类器的性能曲线下的面积(AUC)措施。AUC衡量选择,因为它不影响类概率作为分类精度测量之前,只有有意义的平衡这两个类都在测试集。弗里德曼测试进行评估不同模型AUC的效果。事后分析与费舍尔最显著差异(LSD)校正。设定在0.05显著水平。

为了研究模型缺乏鲁棒性的数据量(因为它可能发生在真实的应用程序中),我们进一步减少数据集的报告结果,最好最好的一阶模型和二阶模型之间的比较完整的数据集,以及我们提出的一个。具体来说,保持target-to-nontarget比率,一样的全套,50%和25%试验是随机选择为每个主题,分别。这种随机选择重复10次,导致10减少集组成全套的50%和25%,分别。等两种类型的减少集,每集,减少5倍交叉验证进行分类,然后5倍交叉验证AUC的平均值和标准偏差减少10集和主题报告。统计分析,平均5倍交叉验证AUC在10减少为每个主题作为重复测量集。

4.3。比较不同的组件模型

通过烧蚀模型分析,我们进一步考察不同的管道组件的影响我们的模型的性能。具体来说,不同的设计选择CONV-Net / ACOVP其他组件进行测试,同时保持不变。此外,培训为不同的设计选择保持相同的配置。不同的设计选择的影响调查比较了模型的平均5倍的简历AUC的全套科目的数据。Wilcoxon符号秩检验适用于评估之间的性能差异的统计学意义两个设计选择。

5。结果

5.1。大高分子基的一般分析

数据6和7显示时间流逝地形图和大平均(Fz、Cz Pz)在所有十参与者为目标,不属预定目标的高分子基在引导视觉搜索任务,分别。从这样两个数据,它可以观察到,只注视目标引出持续积极的P300成分从周围 女士,centroparietal地形。此外,一般来说,有明显差异的振幅之间的高分子基固定目标和不属预定目标的通道Fz, Cz, Pz 女士(Wilcoxon rank-sum测试错误发现率修正为多个比较)。

5.2。现有的方法之间的比较结果和我们的

5.2.1。结果全组数据

所有方法的5倍交叉验证AUC措施全套的数据来自10个科目如表所示3。不同的方法对性能有显著的影响。一阶模型,模型,即。,DeepConvNet and EEGNet, significantly outperform the conventional shallow models, i.e., PCA + LDA and xDAWN + LDA (LSD correction of 6, ),虽然不表现明显不同。对于二阶模型,模型,即。,SPDNet,has achieved significantly superior performance to the shallow models, i.e., MDRM and TSLDA (LSD correction of 3, )。最优结果( )是用我们的模型,它取得了最高的平均AUC 9的科目。之间的性能差异法和最先进的一阶模型(DeepConvNet和EEGNet),而我们的方法和先进的二阶模型SPDNet之间统计学意义(LSD修正6, )。此外,我们观察到深模型通常显示标准差AUC的科目比浅小模型,我们的模型达到最低的之一的所有方法,说明我们的方法比其他方法更健壮的subject-dependent差异。这些结果表明,我们的方法提供了更可靠的分类性能,这可能是由于我们的模型的原因得益于建筑序列的一阶和二阶子网。

5.2.2。结果降低了数据集

图8(即描述了性能最好的模型。,DeepConvNet and EEGNet) among compared first-order ones, the best model (i.e., SPDNet) among compared second-order ones, and our model with decreasing amount of data. In fact, our model consistently outperforms DeepConvNet, EEGNet, and SPDNet with statistical significance (LSD correction of 6, )不同数量的数据。除此之外,有两个评论关于结果如图8。首先,随着训练数据数量的减少,SPDNet恶化最快速的性能在四个方法。可以归因于这样一个事实:SPDNet把增广协方差矩阵由原始脑电图试验作为输入,遭受贫困模板估计由于目标试验和低信噪比的不足。相比之下,我们的模型构建与中层社会民主党表示卷积功能更高的信噪比。因此可能导致放大了组内的差异,导致大幅升级健壮性的二阶深度学习通过SPDNet有限的数据的存在。第二,DeepConvNet的性能和EEGNet不如SPDNet快速下降,但仍退化的速度比我们的模型。此外,即使有25%的完整的数据,我们的模型(0.8999的性能0.0384)仍然是与DeepConvNet (0.89480.0277)和EEGNet (0.89970.0305)与全套的数据。下面给出了可能的解释这种差异。尽管充分时间一阶卷积是杠杆提高信噪比第一个网络块DeepConvNet, EEGNet,和我们的方法,延迟变化在天然高分子基试验尚未处理。因此,我们的方法进一步执行深二阶协方差在黎曼流形学习在随后的网络模块。尤其是中层增广协方差表示编码当地回旋的时间特性的相关性平移不变。此外,平均获得的玻璃钢模板在试验是用于构建增广协方差,这也有助于减少在试验模型对延迟敏感变化。换句话说,二阶深网络完全后颞卷积网络(即。,our model) explicitly helps to reduce the intraclass variations, whereas the first-order deep convolutional network following the fully temporal convolutional network (i.e., DeepConvNet and EEGNet) implicitly addresses such an issue. Explicitly handling the intraclass variations may effectively reduce the model complexity, resulting in superior robustness of our method to DeepConvNet and EEGNet in case of limited data.

5.2.3。数据可视化

我们使用t-distributed随机邻居嵌入(t-SNE)技术(33)项目的数据与不同表示成一个三维空间可视化。t-SNE预测原始数据和输出的每一层模型绘制的人物9和10全套数据(主题8)的100%和25%的全套数据(3)主题,分别。从数据可以看出9(一个)和10 ()大幅重叠,目标和不属预定目标的试验的原始表示。虽然数据9 (b)和10 (b)揭示了来自不同类别的数据聚合成集群与卷积特性表示,它仍难以互相独立的目标和不属预定目标的试验。随后,更紧凑的集群获得与中层增广协方差表示比卷积特性表示(见图9 (c)和10 (c)),表明组内差异减少。与SPDC-Net几何处理后,数据9 (d)和10 (d)显示两个连贯的集群清晰可见组内的辨别力。总之,所有这三个阶段中使用序列有助于目标的歧视和不属预定目标的玻璃钢试验。

5.3。为我们的模型比较结果不同组件之间

5.3.1。效果的充分时间卷积子网

所示5.2.1节和5.2.2节,我们的模型充分时间卷积子网通常表现出更好的性能比SPDNet,原始的脑电图试验建立增广协方差。进一步研究充分时间卷积层的影响在我们的模型中,我们实现了一个模型,采用特征图谱从第二卷积块EEGNet建设增广协方差,而不是第一个完全时间卷积EEGNet块在我们的模型中。总结了比较结果表4。它会导致显著差性能采用特征图谱从第二卷积块EEGNet建设增广协方差,而采用那些从第一块在我们的方法(第二个block-first块: , )。这样的结果表明,时间信息的特征图可能会毁了第二块EEGNet,而保留了那些从第一块EEGNet,验证充分时间卷积子网的使用在我们的模型中。

5.3.2。增广协方差池层的影响

我们有检查的影响,采用协方差协方差池层而不是增强层对其性能在我们的模型中。为此,我们修复CONV-Net SPDC-Net,但用协方差代替ACOVP层池(COVP)一个。结果见表5显示的优势ACOVP COVP (COVP-ACOVP: ),统计上的显著差异( )。这证实了增广协方差池的好处在我们的方法中,嵌入了有用的时间订购信息(即构建中层SPD时表示。增广协方差),而协方差池。

6。讨论

深度学习的框架,本研究提出了一种新型分类模型区别大脑反应固定到目标从与实验上不属预定目标的高分子基。我们评估该方法相对于基线的浅模型以及最先进的深模型只一阶或二阶只有子网组成。不同数量的数据获得的实验结果表明,由我们的一贯优于模型相比,在一阶和二阶子网建立序列。对深入了解建议的方法,讨论了模型的体系结构和管道组件设计选择,其次是限制和未来的工作。

6.1。模型架构

但是。浅深模型与基线模型

基线一阶模型(PCA + LDA和xDAWN + LDA)和二阶(MDRM和TSLDA)广泛采用于先前的研究[10,11,19分类实验的erp。然而,我们的实验结果完整的数据已经表明,深模型统计超越这些肤浅的模型(见表以压倒性优势胜出3)。这样的性能差异是按照报告最近erp分类研究与深度模型(16),验证浅模型效果低于深的歧视的实验目标和不属预定目标的高分子基。

6.1.2。我们的模型与最先进的模型

一方面,比较先进的一阶深模型,即。,DeepConvNet and EEGNet, automatically learn discriminative first-order statistics from multidomains (time, frequency, and electrode location). Nevertheless, none of them are able to leverage the second-order information in the data. On the other hand, the compared state-of-the-art second-order deep model SPDNet could effectively extract the second-order statistics through deep Riemannian geometric processing. However, it is found in our study that utilizing the raw EEG trial to build the SPD matrix representation, on which the deep Riemannian geometric processing is conducted, suffers from low SNR due to the absence of first-order frequency-specific spatial filtering operations, in particular for cases lacking sufficient data. In contrast, our model takes advantage of the first-order frequency-specific spatial filtering with convolution operations and the following second-order deep Riemannian geometric processing.

所示的实验结果(5.2.2节相比),该模型大大超过了最先进的一阶和二阶模型在不同的大量的数据。特别是,只有25%的数据,我们的模型取得了类似的性能EEGNet和DeepConvNet培训100%的数据,而数据密集型SPDNet急剧退化的表现。所有在这个研究结果表明该模型是有效的在学习高分子基的实验不会分类,区别的表示,强劲的数据有限,因此在实践中呼吁使用的方法。

注意,最先进的深度模型的时频表示头皮脑电图渠道作为输入(例如,34])没有比较,因为模型的输入通常涉及到一个相当高的维数,因此需要密集的数据训练模型,使他们很难学习一个有效的特征表示与有限的数据在我们的研究中。

6.2。管道组件设计选择

根据所示结果5.3.1节卷积,时间尺度的抽象第二块EEGNet有害生产好社民党表示特征的内在时间结构高分子基。因此,我们首先采用了卷积EEGNet块而不是组件的两个卷积EEGNet块CONV-Net在我们的模型中。此外,作为结果5.3.2节建议,时间点信息保存在ACVOP层似乎生产提高性能的关键。综上所述,为了捕捉歧视和健壮的高级特性表征高分子基的实验不会分类,颞订购信息应该保存完好的底层和中层表示在我们提出功能学习管道。

6.3。局限性和未来的工作

当前方法的主要限制是组件的管道模型单独训练。的输出训练充分时间卷积子网CONV-Net用于构建协方差增强民主党表示,社民党矩阵的学习和分类子网SPDC-Net是没有微调CONV-Net通过反向传播训练。未来的工作将会调查CONV-Net的端到端联合训练和SPDC-Net是否会导致进一步的性能改进。

在这项研究中使用的引导视觉搜索任务仍然是一个控制范式,我们正在开发一个更自然,即。免费查看搜索任务,主题是免费的注视到屏幕的任何空间没有圆的指导。此外,本文只研究了测量技术基础target-perceptual能力以脑波图为基础的脑成像技术,比如。如何获得一个歧视和健壮的特性为高分子基表示。在未来,我们打算进一步提出应用特性表示学习方法在早期广告检测应用程序中,在主题的target-perceptual能力评估与玻璃钢。

7所示。结论

作为测量技术的初步研究基础target-perceptual能力使用以脑波图为基础的脑成像技术,提出了一种新颖的方法来提取一个好的特性为高分子基表示,这可能区分固定到目标和固定从实验上不属预定目标的高分子基。首先,利用一维卷积沿着时间轴和一维卷积沿着通道轴,地方特色的信噪比是提高卷积运算,充当tempo-spatial过滤原始脑电图信号。其次,增广协方差池层构建一个社民党矩阵表示法,编码的二阶统计(如相关)卷积功能地图。最后,深黎曼网络进一步提取全球最大限度分离表示分类的增广协方差矩阵。特别是,高分子基的时间顺序是管道中的组件保存完好,这被认为是一个有价值的判别信息的来源。实验结果获得不同数量的数据表明,我们的模型表现最先进的模型只包括一阶或二阶只有子网。因此,歧视和健壮的玻璃钢表示提取的方法可能是潜在的用于测量target-perceptual在早期发现广告的能力。

数据可用性

玻璃钢数据集可从相应的作者在一个合理的请求。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作是由中国国家重点研发项目(没有。2016 yfb1001301),中国国家自然科学基金(61673105和61673105号)和江苏省自然科学基金(没有。BK20181266)。