融合的主题,因为它使得基于脑电图Spectrum-Related特性来提高情感识别

文摘

情感识别是一种新兴领域允许更自然的人机交互和界面。脑电图(EEG)已经证明是一个有用的方式与用户的情绪状态可以测量和监控,特别是原语如价和兴奋。在本文中,我们提出了使用顺序模式分析,也称为主题,因为它使得基于脑电图来提高情感识别。图案捕获循环结构时间序列和天生强大的噪音,因此非常适合手头的任务。几个连接,提出了不对称,用图论和功能,从主题中提取用于情感状态识别。与广泛使用的公共数据库进行实验,结果显示该功能优于基准谱特性,以及其他最近nonmotif-based用特性和振幅modulation-based连接/不对称的措施。特性和score-level融合建议提出和基准谱措施之间的互补性。结合时,融合模型可以提供高达9%的改进相对于基准特性仅用图论和16% nonmotif-based特性。

1。介绍

人机交互变得更自然的机器一旦意识到周围环境和他们的用户1,2]。这些所谓的环境敏感或情感接口可以打开新的维度的设备功能,从而更准确地满足人类的需求,同时保持尽可能自然的接口(3]。例如,情感计算可以使应用程序的机器可以学习用户首选项基于他们的反应不同的设置,甚至成为一个更有效的导师通过评估学生的情绪/压力状态(3]。反过来,自动推荐和标签系统可以利用影响信息来更好地理解用户首选项,从而提高系统的可用性(4]。测量情感状态和参与水平也可以用机器来推断用户的感知质量的经验(5- - - - - -9),从而为机器提供一个客观的标准在线优化。

人类的情感通常是生理和物理反应和人与人之间的沟通是自然的一部分。情绪可以影响我们的智力,塑造我们的思想,和管理我们的人际关系10- - - - - -13]。情感通常是多通道的方式表达,以口头语言通过情感词汇或表达非语言暗示,如语调的声音,面部表情和手势。因此,视听信号已经广泛用于情感状态监测(14]。此外,情绪也会影响神经生理学信号;因此,biosignal监控已被广泛研究。代表生理信号形式包括皮肤电反应(GSR),皮肤温度,呼吸和心脏活动(通过心电图(ECG)和photoplethysmography (PPG)) (15- - - - - -18]。

最近,脑-机接口(bci)已成为另一个工具来准确监控隐式的用户信息,如情绪、压力和/或情绪状态(9,19,20.]。在BCI-based情感计算方法,脑电图(EEG)一直最受欢迎的形式由于其noninvasiveness,高时间分辨率和可移植性(21),尽管替代形式,如近红外光谱(NIRS),正在慢慢地新兴(5,22,23]。通常情况下,因为它使得基于脑电图与系统,功率频谱特性已被广泛使用(例如,18,24- - - - - -26),包括大脑两半球间的不对称特性(27- - - - - -32]。EEG信号,然而,对文物非常敏感,如眨眼和肌肉运动(33]。为了克服这些问题,可以使用人工制品去除算法。或者,可以开发新的noise-robust特性和/或多通道融合策略可以探索34]。

本文重点是放在后者和motif-based特性提出和测试单独或与交替互补特性。Motif-based分析证明是有用的在过去的认识到睡眠状态(35),以及麻醉的影响(36),检测癫痫(37,38),并测量警觉性(39]。Motif-based方法本质上是健壮的噪音,因为他们处理时间序列的形状和大小(不受影响的38,40,41]。我们所知,他们还没有探索情感状态监控;因此,本文填补了这个空白。特别是,我们比较建议的光谱功率和频谱特性不对称基准特征。尽管,主题功能问题的一个主要限制损失的振幅和变化率信息当时间序列转化为主题系列(40,42]。同样地,我们也探讨三种不同的融合策略结合的信息提出主题特征和古典基准特征。在一个公开的数据库(实验测试18执行,显示的优点提出特性指标,以及融合情感状态监测的好处。

本文的其余部分组织如下。部分2描述所使用的材料和方法,包括数据库,提出和基准特性,融合方法,以及使用性能指标。部分3然后提出并讨论了结果,结论部分4。

2。材料和方法

在这里,我们描述了使用数据库,基准特性,提出主题功能,以及特征选择方案,分类器,融合方案探讨。

2.1。DEAP数据库

本研究依赖于公开,广泛使用DEAP(情感分析的数据集使用脑电图和生理信号)的数据库。详细(18),32个健康的参与者(50%的女性,平均年龄= 26.9年)被召集来,同意参与这项研究。32通道脑电图数据记录使用Biosemi ActiveTwo系统(荷兰阿姆斯特丹)采样率为512 Hz。电极放在头皮根据国际10 - 20系统。

参与者与长40分钟音乐视频不同的情感内容。这些视频剪辑选择基于前面分析的几百个视频显示引起最强烈的反应在四象限valence-arousal空间(即。、价低、兴奋;价低,高兴奋;价高,低唤醒;价高,高兴奋)。valence-arousal空间二维尺度用来描述情感(43]。价是指(联合国)愉快的一个事件,而激励指的是事件的强度,从非常平静的高度兴奋。使用这个空间,各种情绪可以映射,如图1。每个视频之前,有一个基线期五秒钟的参与者被要求使固定在屏幕的中间一个十字架。每个视频的演示后,参与者被要求评价离散九分的音乐视频尺度对价和唤起使用自我评估人体模型(SAM) [44]。而其他维评级,如主导地位和喜好也收集,这些没有被探索。

EEG数据可供公众下载原始格式或预处理格式,其中包括常见的引用,采样下来到128 Hz, 4和45 Hz之间的带通滤波,眨眼产物通过独立分量分析去除。此外,只有最后三秒的五秒钟的基线是可用的。因为这是一个标准的管道进行脑电图处理,本报告的分析是预处理数据完成的。每个主题数据时代到40 60年代长试验与3 s prestimulus基线。prestimulus基线然后减去从预处理的数据。感兴趣的读者可以参考(18为更多的细节在DEAP数据库及其数据收集过程。

2.2。基准特征

如前所述,光谱功率特性在不同的脑电图乐队已经广泛用于情感状态监控,包括DEAP数据库(18,45]。此外,光谱的两半球间的不对称力量也被报道在情感状态文献[27,28,30.- - - - - -32),特别是额叶脑区(29日,31日]。通常,脑电图信号频带分解成θ( ),α( ),β( ),和γ( )乐队。这里,48个不对称指数(AI)功能(12 interhemisphereic电极对×4乐队)计算了电极对如下:Fp2-Fp1, F3-F4, F7-F8, FC1-FC2, FC5-FC6,同样,T7-T8, Cp1-Cp2, Cp5-Cp6, P3-P4 P7-P8, O1-O2。

此外,脑电图乐队比率在过去也一直在探索人类精神状态监视等任务,疲劳,注意控制,和负面情绪反应监测46- - - - - -48),因此也包括在这里基准特征。比率计算包括 。比率分别计算每个电极。最后,香农熵(49)被用来作为特征来衡量脑电时间序列的复杂性。香农熵可以计算如下: 在哪里副环带的权力 。

2.3。Motif-Based特性

主题是一个模式或结构的特点是节点的数量或程度(为代表n)和它们之间的连接和点之间使用这些节点的数量(称为滞后,为代表λ)。每一个主题都可以表示为一个字母或一个数字。主题特征的鲁棒性来自这样一个事实:他们只考虑时间序列的基本形状和幅度。使用这个定义,任何时间序列可以被转换成一个主题系列使用这些给定的规则(例如,学位, ):

图2显示了不同的图案可能程度出现在一个特定的时间序列。一旦主题系列,可以提取不同的特征统计的基础上反复出现的主题系列内的模式。所提出的功能详细的在下面的部分和只考虑主题的学位和滞后值 。这些参数已建议在过去相关的任务(39,50]。

2.3.1。排列熵

排列熵(PE) (41)是一种常见的派生motif-based度量和计算 在哪里是为代表的主题模式的相对频率j。

2.3.2。序数距离不同

顺序基于距离的不同(38)是一个度量与平行于基准的不对称指数和措施两个主题之间的不同系列不同电极配对使用 在哪里和是为代表的主题模式的相对频率我在电极X和Y分别为,n是主题的程度。为了比较基准的不对称指数,计算出相同的顺序不同电极对报道的部分2。2。

2.3.3。主题同步

功能连通性的动态神经交互提供了一些见解不同的大脑区域。最近,图案同步提出了作为一个功能连通性分析工具(50)和措施的同时出现在两个时间序列图案。两个主题系列和 , 被定义为的最高次数相同的主题可以出现在吗后不久,它出现在对不同延迟时间,即 与

时间延迟τ范围从来 ,在哪里是被认为是最大值,然后呢的大小是随时间变化的时间序列中的窗口。同样,相反的措施只能通过改变时间序列的顺序 。最后,同步的程度和同步方向是由

同步的程度, ,比例在0和1之间,0表示没有互动和1显示很高的交互。功能 ,反过来,让信息流动的方向,0表示没有首选的方向,1表示方向X来Y,指示方向Y来X。对于我们的计算,被选为5和窗口大小选为256。

2.3.4。图功能

主题同步获得的不同的功能连接分析可以进一步扩展通过graph-theoric分析,其中每个电极在头皮上表示一个节点对大脑网络。权重,加权图表示两个节点之间的交互的水平。权重较小的边缘被认为代表了嘈杂的/假的连接(51),从而完成阈值获得一未加权的图。以前,用特征探讨了影响识别基于脑电图光谱相干措施(52]。用分析基于主题,然而,还有待探索,因此未加权和加权图(阈值图的加权平均值)进行测试。优势的主题同步多流行的连接方法是它提供的能力来衡量信息流动方向的大脑网络中的不同节点。的加权和未加权图,提取一些特征,即(我)程度的连接(k):连接被定义为的程度在哪里我是一个给定的节点。未加权的网络,它是计算 在哪里代表网络中的节点代表未加权邻接矩阵的值。加权网络,公式 ,而不是 ,权重分配给每条边。整个网络的平均连接度作为我们分析功能。(2)聚类系数(C):一个未加权的网络平均聚类系数是由 在哪里邻居之间的是现有的边的数量吗和是未加权的网络连通性的程度。加权网络的聚类系数值是由 在哪里是计算 ,代表了几何平均的三角形由特定节点周围的边缘我,代表了加权连接度。(3)动词( ):传递性被定义为“三胞胎三角形”的比率和被定义为一个网络 在哪里λ代表的三角形网络k平均连接度(加权或无关紧要的)的网络。传递性是一个全球性的聚类系数和等于它当所有节点的连接度等于另一个。(iv)特征路径长度(l):一个未加权的网络,l是由 与被边缘连接节点所需的最小数量和,取而代之的是最短的加权路径长度的加权特征路径长度 。(v)全球效率(G):这是计算使用最短的倒数加权或未加权的网络路径,例如, 在哪里取而代之的是最短的加权路径长度吗加权全球效率的措施。(vi)小世界特性:工作(53]表明,人类的大脑网络表现出小世界特性。小世界网络的特征是高聚类系数和平均路径长度小从一个节点到另一个(54]。在这里,三个小世界特性计算,即(i)小世界特征长度: (2)小世界聚类系数: 和(iii)的small-worldness网络55]: 在哪里和是相应的聚类系数和特征路径长度值随机网络,分别。(七)流(方向 ):作为主题同步还提供了大脑网络中信息流的方向图,一个简单的特性是探索这里代表大脑网络的总体响应接收或传送信息,平均。景深是指 在哪里被定义为信息流动的方向与1代表信息流动的我来j,代表信息流动方向相反,0是没有首选的信息流动的方向。

表1提供一个汇总的数量为每个功能组和子群特征提取。

2.4。特征选择

以前的工作表明,主题功能互补的信息传递给其他振幅和rate-of-change-based特性(40,42]。因此,我们探索相结合的影响提出motif-based特性与基准的。考虑到小数据集规模,然而,重要的是避免问题维数的诅咒和过度拟合;因此,特征选择是必需的。在这里,三个特征选择策略研究:(1)ANOVA-based特性排序和选择:这个选择方法是基于计算的意义输入特性对输出值并返回排名根据他们获得的特性p值。(2)最小冗余最大相关性(mRMR)特征选择:mRMR是互信息算法同时优化两个标准:最佳关联性标准(即。,每个特性之间的平均互信息最大化和目标向量)和(即minimum-redundancy标准。两个选择之间,最小化平均互信息特征)。算法发现算法特性使用向前选择与选择功能最大化结合不等式性质的标准。以往的研究显示,mRMR搭配了一个支持向量机(SVM)分类器56因为它使得基于脑电图)实现最佳性能(情绪识别任务57]。(3)递归特性消除(RFE):鉴于外部分配权重的估计量的特性,最重要的特性是修剪从当前的一组功能。修剪的过程是递归地重复,直到所需的数量设置的特性来选择。这种方法考虑了交互的特性与学习算法给出最优的特征子集。由于递归消除训练和功能是必需的,这种方法需要大量的运行时。

的实验中,90%的数据是用于特征选择和分类器训练,剩下的10%是用于测试。0的分裂进行了一个随机种子在Python中使用scikit-learn函数。最好的特征选择算法和相应的最优数量的特性,然后选择网格搜索。分类器训练和描述不同的融合方案。

2.5。分类

支持向量机已经广泛用于情感状态识别(57)和探索。鉴于其广泛使用,详细描述超出了本文的范围,感兴趣的读者被称为(58)和引用其中的更多细节。这里,训练支持向量机分类器在两个不同的二元分类问题,即歧视之间的低和高的价状态和低和高唤醒状态。在我们的研究中,一个径向基函数(RBF)内核与scikit-learn图书馆在Python中使用和实现(59]。我们感兴趣探索的好处提出主题特征与基准特性进行比较,我们不执行classifer hyperparameter优化和使用默认参数相反,也就是说,和 。

此外,正如DEAP数据库依赖9分制评分,它通常被中点的情况被认为是一个阈值,在评级大于阈值被认为是“高”,和那些被认为是“低”以下。就像最近在[强调4),然而,学科内部有自己的偏见,从而导致不同的评分尺度,因此,每个参与者不同的阈值。例如,在报道4),通过使用一个中点阈值的60/40比例的高/低水平得到所有参与者。反过来,如果一个个性化的使用阈值对应的基本平衡高/低比率达到每个参与者,改善结果实现(60]。图3为例,描述了每个参与者的阈值发现的兴奋和价后一种情况。可以看到,平均而言,5是最常选择的阈值,但在少数情况下,更高或更低的值被发现,因此例证需要使用的个性化的方法。

2.6。融合策略

在这里,我们探讨三种不同类型的融合策略结合motif-based和基准谱特性,如下所述。

2.6.1。特征融合

顾名思义,这对应于主题的直接组合特征选择之前和基准特征。

2.6.2。Score-Level融合

加权决策融合方法在61年)已被使用。根据这种技术,融合分类概率为为每一个类可以用 在哪里群的指数是一个特定的功能,组织使用的总数,每组相对应的权重( )。的参数是一群特定功能的训练集的性能,所有类的融合概率和团结,是吗 在那里,F1是F1-score获得训练集上使用一个特定的功能组。重量空间是寻找最好的性能,因为这是指示性的贡献结果由每个功能组。

2.6.3。输出关联融合

心理上的证据表明价和唤醒维度之间的强关联现象(62年- - - - - -65年]。因此,输出关联融合(白痴)方法已被用于模型的连续预测价和兴奋的尺度相关性(66年]。呆子框架一直探索和框图,如图所示4。可以看到,第一个个体分类器使价和唤起预测为每个单独的功能组。然后紧接着最后一步预测认为价和唤醒维度为了更好地预测每个输出。

2.7。品质因数

平衡精度(BACC)作为性能指标,因为它考虑类的平衡。平衡精度对应分类器敏感性和特异性的算术平均值,也就是说, 在哪里 与和 ,和和分别对应于真实和假阳性和对应于真实和假阴性。

测试的意义获得表演机会,一个独立的一个示例t以及对随机投票使用分类器( ),书中建议的那样(18]。为了有一个更通用的分类器的性能,一旦进行特征选择的步骤,分类器训练和测试执行100次不同的培训/测试分区。这个设置提供了一个更广义的性能特性及其使用的训练集不变性。据BACC值表中对应的意思所有BACC值的标准偏差达到100年对所有的测试集迭代。

3所示。结果与讨论

在本节中,我们将展示和讨论结果在特征选择的影响方面,功能组和融合战略总体性能。

3.1。特征选择

如前所述,三个不同的特征选择方案进行了探讨和测试。特征选择实施仅在基准特性,提出主题功能,仅在结合benchmark-motif集。获得最优BACC值如表所示2- - - - - -4分别的最终数字特征(nof)中使用的模型。

ANOVA-based特征选择可以看出,不到10特性模型中使用了对价和唤醒维度与指标的特性,因此代表总数的约六分之一可用的特性。主题小组,反过来,大约40被证明是有用的,因此总计大约三分之一池中可用的特性。当结合这两种特性集,最优模型还依赖于大约40特性,因此四分之一池中可用的特性。

反过来,mRMR算法通常导致更少的功能但是总体BACC相似,因此确凿的结果(56,57]。为基准的特性集,例如,只有实现了三个功能价,从而符合吗通过ANOVA-selected特性。唤醒和主题特征,BACC实现类似,但依靠大约一半的数量相对于ANOVA-based选择特性。与功能相结合,事实上,改善BACC实现唤醒维度,但只有不到一半的数量特征选择的方差分析。

最后,RFE选择通常导致最好的最高精度vs。权衡。这个预计RFE认为彼此交互的特性和最终结果。总的来说,最好的精度是实现组合设置,紧随其后的是提出的模型训练的主题特征。这些发现证实了这两种不同特性的互补类型和展示主题的情感状态识别特性的重要性。

单向方差分析计算之间的不同对特征选择算法(方差分析与mRMR、方差分析与RFE RFE比mRMR)为基准,主题,结合特性集来评估算法的性能。为基准的特性集,在唤醒维度,三个算法执行同样可见无统计差异。然而,对于价维度,RFE执行明显优于mRMR算法( ),尽管没有显著差异观察RFE和方差分析之间的表演,RFE获得类似的性能用更少的特性。为主题的特征集,在唤醒维度,我们观察RFE表现明显好于方差分析( )和mRMR ( )。价的维度中,我们观察到在算法性能显著差异之间的RFE mRMR;然而,方差分析的性能相比并不重要的算法。然而,我们又观察到RFE给类似的性能与半方差分析的数量特征,因此变得更有效率。最后,对于合并后的特性集,在唤醒维度,mRMR和RFE执行明显好于方差分析( )尽管没有区别mRMR和RFE表演mRMR达到比RFE等效性能用更少的特性。价的维度,我们观察方差分析( )和RFE ( )比mRMR表现更好,虽然没有性能方差分析和RFE在这种情况下的区别。有趣的是,方差分析和RFE特性几乎是相同的。一般来说,我们发现RFE给重要的或同等性能相比,方差分析和mRMR较少数量的特性。特征融合的算法给最高的平均表现一直被视为选择的算法。

表5和6反过来,报告中使用的前20名特性模型,实现最好的分别对价和兴奋。我们可以看到价(表5),和功率比率显示是重要的,随着alpha-band光谱的力量。这个观点以前的工作联系和音频的理解(67年,68年),因此,感知价低质量的语音合成系统(5]。motif-based功能,反过来,small-worldness (γ和β乐队)和加权图的特性(θ乐队)是重要的,除了体育γ和β乐队。先前的研究已经表明一个寿命theta-band同步发生在情感图像处理(69年价相关维度。这种同步似乎被motif-based用图和顺序相似特性,作为前20名的八个来自特性θ乐队。

最后,结合特性集,可以看出基准和主题特征选择,因此例证的互补两个特性集。在整个功能模型中使用,11日基准特性和27 motif-based特性。特别是,17的主题功能显示在主题和重要性结合集,以及所有的基准特征在基准和结合集。此外,联合组,6不对称特性也在上面选择功能;其中,3是相同的电极对上方的顺序不同的措施,从而显示出互补的两个特征集的性质。的比率也出现在合并后的特性集。从图案的特性集,除了重叠功能,附加和聚类系数特性出现在合并后的特性集的两个自由度特性θ和γ乐队。

为唤起(表6)和基准特性集,几乎所有权力比率显示是重要的除了几个不对称指数特性,特别是额叶和顶叶区域。这些发现证实了先前的文献显示之间的关系(i)唤醒和额叶不对称(29日]在α乐队(例如,[70年])和其他乐队(例如,71年]),(2)一个固有的不对称的parietal-temporal区域,负责调节自主神经和行为冲动,(3)唤醒和脑电图和频带能量比率(72年]。

motif-based功能,反过来,大约一半的高级特性与序数距离不同措施,因此确凿文献脑电图不对称和兴奋71年,73年]。此外,大多数的高级特性的β和α乐队前16(13),这与引起兴奋的变化(74年和视觉选择性注意的变化75年,76年),这是非常兴奋密切相关(77年]。

为组合集,有趣的是,没有一个高级特性来自基准特性集,从而表明该主题转达了改进的激励信息相对于基准功能特性。大部分的功能与跨所有脑电图乐队序数的距离不同。此外,最好的实现模型仅作为主题,结合特性集实现使用不同的特征选择算法(分别RFE和mRMR)。尽管如此,正好两个特性是重要的,也就是说, , ,和第三个显示出类似的行为(和 ),从而唤起预测显示其重要性。在设置相结合,θ出现在七的 ,因此也确凿之前发现71年,73年]。最后,顺序不同特性中的大部分来自于额叶,顶叶,或颞区域,因此符合先前的研究连接parietal-temporal地区和自主行为冲动,以及额叶区域与觉醒78年]。

3.2。各个功能组

到目前为止,我们已经讨论了性能基准,主题,结合特性集。然而,有趣的是衡量各个功能子组的贡献对情感状态识别。表7报告每个功能组的平衡精度最好的实现模型后发现RFE特征选择。

可以看到,对价、加权和未加权的图像特性实现类似的表演虽然基于前特征子群依赖模型 ,而不是 。事实上,所有motif-based特性实现类似的性能,small-worldness特性是唯一没有明显优于基准(即,一个星号的,表示表)。兴奋,反过来,可以看出图和小世界特性的子组不显著提高基准,而其他主题功能,如排列熵和序数距离不同,做的事。总的来说,模型依赖于这两个功能子组显示为价提供最歧视的信息和激励模型。

此外,脑电图特征中,我们观察到 ,θ,γ与前选择特征光谱权力从未出现。这可能是由于这样的事实:权力和熵措施平均超过所有电极,因此删除任何空间信息相关的特性。尽管,平均确保建议的功能是不变的和健壮的电极组认为,如用图论与全球同步使用的图案。价,反过来,我们观察到的功能出现在前仅在脑电图特性集的场景。当只使用主题功能,另一方面,7选择特性(nof = 20),因此建议主题特性可能携带更多有关不对称签名手头的任务。与功能相结合,可以看出,从所有组提出功能出现在顶部的列表价和兴奋。

3.3。融合策略

如前所述,三个融合方案进行了探讨:功能,分数,和输出关联融合。表2- - - - - -4显示功能融合的影响和组合的收益达到单独设置相对于仅使用一个功能组。价的维度,例如,8.6%和2.4%的涨幅达到了功能融合相对于单独使用基准和主题特征,分别。如表所示5,该模型的基础上,从功能组设置依赖于功能相结合,从而为价预测强调他们的互补。

兴奋,功能融合导致了较为温和的增长,相对于基准(即。,6.1%)和主题特征(2.6%)。有趣的是,最好的模型依赖mRMR不包括基准的选择功能。第二个最好的模型,另一方面,是通过RFE特征选择和排名前20的特性包括7个指标的(例如, , ,人工智能(01、02)(β)、人工智能(Fc1, Fc2) (β)、人工智能(C3、C4) (γ)、人工智能(F3, F4) (β)、人工智能(Fc1, Fc2) (γ)),三个重叠的特性选择单从基准集。剩下的13个主题小组的特征是,九个高级功能的显示在主题中选择单独设置,也就是说, , , , , , , , ,和 。通过比较选择的特性集mRMR和RFE,似乎前能够消除之间可能存在的冗余和人工智能不对称特性但有利于主题的因为它们提供最大相关性。四个功能重叠两个特征选择算法,即 , , ,和 ,从而进一步提出对手头的任务的重要性。

反过来,决策融合权重空间搜索在步骤0.1中,这是发现,价,基准特性导致体重0.2(即。0.8主题特性),而体重0.3兴奋(即被发现。,0.7体重图案)。这些发现强调主题特征的重要性超过基准的对价和兴奋的预测。BACC结果见表8显示score-level融合在特征融合的效果。可以看到,涨幅仅达到唤醒维度,从而进一步表明两个功能组的互补性。作为比较,随机分类器投票也显示比较,和所有获得bacc显示明显好于机会( )。

最后,输出关联融合方法优于其他融合方法,尽管表现明显好于机会。尽管,价维度,它实现的结果类似于score-level融合而不需要一个详尽的搜索的权重。这里,只有两个功能组进行了探讨,从而这种优势可能变得越来越重要在更复杂的场景中涉及额外的功能组(例如,振幅调制(4])。整体、特性融合显示的最佳策略价和被观察到显著优于score-level ( )和输出关联融合( ),而score-level融合唤醒明显比两个特性( )和输出关联融合( )。在这两种情况下,该主题功能显示提供重要的信息和补充现有基准特性。

3.4。与以前的工作相比较

从脑电图有兴趣增加情感状态识别,和不同的方法最近提出的文学,其中许多也依赖于DEAP数据库。工作(20.),例如,探索用特性计算从大小广场相干值。这些特性被证明比其他几个spectral-based和小波方法,DEAP数据集,他们实现了F1分0.63价0.60,使用支持向量机分类器的唤醒。进行直接的比较,提出了实现了最好的模型F1分0.5883价为0.6960,兴奋,因此代表觉醒增加16%,但对价下降6.6%。然而,重要的是要强调,结果在20.]依赖leave-one-sample-out (LOSO)交叉验证;因此,报告的结果很可能高于与这里描述的方法实现。

反过来,最近的工作4)提出了新的振幅调制耦合特性来衡量连接模式的函数价和兴奋。BACC 0.594和0.598的值被报道对价和兴奋,分别使用支持向量机分类器和特征融合,而低价值与score-level融合达到唤起价(没有变化)。报告的值(4)获得使用LOSO交叉验证方案。在同样的测试设置,我们建议的方案实现BACC 0.614和0.581的价和兴奋,因此代表和性能下降了2.85%,增加了3.3%。重要的是要指出,motif-based方法不依赖于振幅或变化率信息;因此,融合调幅特性可能会进一步提高性能。

3.5。研究的局限性

这项工作已经在测量的第一步在退出谱基准motif-based特性的优点。为此,没有优化做了分类器本身为了直接比较的表演取得了相同的输入分类器设置,但不同的特性。因此,预计可以观察到进一步上涨,不仅与分类器hyperparameter优化还有更复杂的分类方法或交替融合方案。工作(20.),例如,显示关联向量机(rvm) rvm优于支持向量机融合,特别是对于唤醒维度。最近的工作使用深层神经网络也已证明是一种很有前途的路线(79年]。未来的工作应该探索这些更复杂的机器学习原理结合motif-based特点。

4所示。结论

在这项工作中,我们建议使用主题系列和图理论特性改进的价和唤醒水平预测。广泛应用DEAP数据库实验显示该主题特性优于基准数谱特性。特性融合显示精度提供重要的收益为情感维度,从而突显出互补的两个功能组的情感状态识别。反过来,Score-level融合为唤起预测提供了进一步的改善。总的来说,上涨8.6%,价为9.2%,兴奋与拟议的系统可以实现相对于基准,和收益高达16%相对于现有技术可以实现。

数据可用性

DEAP数据库用于支持本研究的发现提供的许可制。佩特雷,所以不能免费提供。请求访问这些数据应该。佩特雷(i.patras@qmul.ac.uk),填写和发送的最终用户许可协议http://www.eecs.qmul.ac.uk/mmv/datasets/deap/download.html。

的利益冲突

作者宣称没有利益冲突。

确认

作者感谢资金提供的加拿大自然科学和工程研究理事会(rgpin - 2016 - 04175)。

引用

1. j . Makkonen Avdouevski, r . Kerminen, a .签证,“人机交互上下文意识,”人机交互InTech,的哲理,伦敦,英国,2009年。视图:谷歌学术搜索
2. a·迪克斯“人机交互”百科全书的数据库系统施普林格,页1327 - 1331年,纽约,纽约,美国,2009年。视图:谷歌学术搜索
3. r·w·皮卡德s Papert w·本德et al .,“情感学习——一个宣言,”BT技术杂志,22卷,不。4、253 - 269年,2004页。视图:出版商的网站|谷歌学术搜索
4. a . Clerico女子,r·古普塔和t·h·福尔克在美国Jayaraman“脑电图调幅分析自动化情感标签的音乐视频,”计算神经科学前沿p . 115,卷。11日,2018年。视图:出版商的网站|谷歌学术搜索
5. r·古普塔h·j·邦维尔和t·h·福尔克,“语音合成系统的多通道生理体验上的品质评估,”IEEE选定的主题在信号处理杂志》上,11卷,不。1,22-36,2017页。视图:出版商的网站|谷歌学术搜索
6. e . Ganglbauer j . Schrammel s Deutsch和m . Tscheligi”应用心理生理测量用户体验的方法:可能性,挑战和可行性,”车间在产品开发用户体验评价方法美国宾夕法尼亚州,CiteSeer, 2009年。视图:谷歌学术搜索
7. 口风琴、g . Cartocci d·罗西et al .,“神经生理学反应不同的产品体验,”计算智能和神经科学卷,2018篇文章ID 9616301, 10页,2018。视图:出版商的网站|谷歌学术搜索
8. p .伤势,g . Borghini g . Di Flumeri et al .,“因为它使得基于脑电图自适应自动化引发的心理工作负荷指数:一个被动的脑机接口应用在现实的空中交通管制的环境下,“人类神经科学前沿,10卷,p。539年,2016年。视图:出版商的网站|谷歌学术搜索
9. p .伤势,g . Borghini g . Di Flumeri n . Sciaraffa a . Colosimo f . Babiloni,“被动bci在操作环境:洞察力,最近的进步,和未来的趋势,”IEEE生物医学工程,卷64,不。7,1431 - 1436年,2017页。视图:出版商的网站|谷歌学术搜索
10. a·r·达马西奥和s·萨瑟兰”,笛卡尔的错误:情感,理性和人类的大脑,”自然,卷372,不。6503,287年,页1994。视图:谷歌学术搜索
11. b . De Martino d·库玛西摩,r·j·多兰,”框架,偏见,和理性的决策在人类的大脑,”科学,卷313,不。5787年,第687 - 684页,2006年。视图:出版商的网站|谷歌学术搜索
12. 勒文施泰因和j·s·勒纳,“影响决策的角色,”情感科学手册,卷619,不。642年,p . 2003。视图:谷歌学术搜索
13. n·施瓦兹,“情感、认知和决策。”认知和情感,14卷,不。4、433 - 440年,2000页。视图:出版商的网站|谷歌学术搜索
14. 云苓,e·威尔士r .亚太区和A·侯赛因”的情感计算:从单峰分析到多通道融合,“信息融合37卷,第125 - 98页,2017年。视图:出版商的网站|谷歌学术搜索
15. j·a·希利,“可穿戴和汽车系统影响识别从生理学、“质量achusetts理工学院,2000年博士论文。视图:谷歌学术搜索
16. p . j . Lang m·k·格林沃尔德m·m·布拉德利和a·o·哈姆”看图片:情感、面部、内脏和行为反应,”心理生理学,30卷,不。3、261 - 273年,1993页。视图:出版商的网站|谷歌学术搜索
17. j·金和e·安德烈”情感识别基于生理变化在音乐听,”IEEE模式分析与机器智能,30卷,不。12日,第2083 - 2067页,2008年。视图:出版商的网站|谷歌学术搜索
18. s . Koelstra c . Muhl m . Soleymani et al .,“DEAP:数据库进行情感分析;利用生理信号,”IEEE情感计算,3卷,不。1,18-31,2012页。视图:出版商的网站|谷歌学术搜索
19. c . Muhl b·埃里森A Nijholt, g .香奈儿“情感的大脑计算机接口:调查原则,最先进的,和挑战,”脑-机接口,1卷,不。2、66 - 84年,2014页。视图:出版商的网站|谷歌学术搜索
20. r·古普塔k Laghari、h·班维尔,t·h·福尔克”使用情感脑-机接口描述人类影响因素为演讲体验上的品质感知造型,“以人为中心的计算和信息科学》第六卷,没有。1、p。5、2016。视图:出版商的网站|谷歌学术搜索
21. t . o .梭鲈和c . Kothe”被动的脑-机接口:脑机接口技术应用到人机系统一般来说,“《神经工程,8卷,不。2、文章ID 025005, 2011。视图:出版商的网站|谷歌学术搜索
22. h·阿亚兹,b . Onaral k . Izzetoglu p . a . Shewokis r·麦肯德里克和r . Parasuraman”连续监测大脑动力学与功能性近红外光谱作为neuroergonomic工具研究:实证例子和技术发展,”人类神经科学前沿,7卷,p。871年,2013年。视图:出版商的网站|谷歌学术搜索
23. r·麦肯德里克r . Parasuraman h·阿亚兹,“可穿戴的功能性近红外光谱(fNIRS)和经颅直流电刺激(tDCS):扩大远景的神经认知,“神经系统科学2015年,9卷,p。27日。视图:出版商的网站|谷歌学术搜索
24. j . j . Kierkels m . Soleymani和t .双关,“在affect-based多媒体检索查询和标签,”学报IEEE国际会议多媒体和世博会(ICME 2009),第1439 - 1436页,2009年。视图:谷歌学术搜索
25. d . Heger (f . Putze, t·舒尔茨,“在线在认知测试工作负载从脑电图数据识别和人机交互,KI 2010:人工智能的发展,”在人工智能学报年会施普林格,页410 - 417年,纽约,纽约,美国,2010年。视图:谷歌学术搜索
26. c . a . Kothe和美国Makeig估计任务负载从脑电图数据:新的和现有工具和观点,”学报IEEE 2011年度国际会议,在医学和生物工程协会(EMBC),第6551 - 6547页,2011年。视图:谷歌学术搜索
27. r . Jenke a .同行,m·巴斯”从脑电图对情感识别特征提取和选择,”IEEE情感计算,5卷,不。3、327 - 339年,2014页。视图:出版商的网站|谷歌学术搜索
28. r·j·戴维森和a·j·Tomarken一侧和情感:一个电生理学方法,”手册的神经心理学,3卷,第441 - 419页,爱思唯尔,阿姆斯特丹,荷兰,1989年。视图:谷歌学术搜索
29. j·a·可恩和j·j·b·艾伦,”额脑电图不对称作为主持人和中介的情感,“生物心理学,卷67,不。1 - 2,7-50,2004页。视图:出版商的网站|谷歌学术搜索
30. a·科克先生和e·r·米兰达”结合脑电图额不对称研究情感算法组成和富有表现力的性能模型,”学报管理国际会议情况2011年4月,多伦多,加拿大,。视图:谷歌学术搜索
31. g . Di Flumeri m . t . Herrero a Trettel et al .,“脑电图额不对称与和蔼可亲的嗅觉刺激年轻的主题,”实验经济学的选择问题施普林格,页373 - 381年,纽约,纽约,美国,2016年。视图:谷歌学术搜索
32. g . Di Flumeri p .伤势,g . Borghini et al .,“Eeg-based approach-withdrawal指数愉快评估在味觉体验在现实的环境中,”学报2017年第39届IEEE国际会议,在医学和生物工程协会(EMBC),页3228 - 3231,济州岛,韩国,2017年7月。视图:谷歌学术搜索
33. m·a·j . Minguillon Lopez-Gordo, f·皮雷约”趋势eeg-bci日常:要求工件去除,”生物医学信号处理和控制31卷,第418 - 407页,2017年。视图:出版商的网站|谷歌学术搜索
34. j。Thiran、f .品牌和h . Bourlard多通道信号处理:理论和应用程序的人机交互、学术出版社、剑桥、马、美国、2009。
35. n Nicolaou和j·乔治奥”,使用排列熵来描述睡眠测量”临床脑电图和神经科学,42卷,不。1 - 28,2011页。视图:出版商的网站|谷歌学术搜索
36. e . Olofsen j . w .雪橇,a . Dahan”排列熵的脑电图:衡量麻醉药物作用,”英国麻醉学杂志,卷101,不。6,810 - 821年,2008页。视图:出版商的网站|谷歌学术搜索
37. 李x g .欧阳d·a·理查兹,”与排列熵可预测性分析失神发作,”癫痫的研究,卷77,不。1,第74 - 70页,2007。视图:出版商的网站|谷歌学术搜索
38. 欧阳,见鬼,d·a·理查兹和李x”顺序模式基于相似性分析脑电图记录。”临床神经生理学,卷121,不。5,694 - 703年,2010页。视图:出版商的网站|谷歌学术搜索
39. 森古普塔,a .女子a乔杜里,a . Routray“警觉性下降的分析由于认知疲劳使用主题的同步脑电图记录,”学报2016年IEEE第38届国际会议在医学和生物工程协会(EMBC)奥兰多,页1652 - 1655,美国,2016年8月。视图:谷歌学术搜索
40. Parlitz, s . Berg路德,a . Schirdewan j . Kurths n维瑟尔,“使用顺序模式分类心脏生物统计和符号动力学,”计算机在生物学和医学,42卷,不。3、319 - 327年,2012页。视图:出版商的网站|谷歌学术搜索
41. c·班德和b .筛”排列熵:一种自然复杂性度量时间序列,”物理评论快报,卷88,不。17日,ID 174102条,2002年。视图:出版商的网站|谷歌学术搜索
42. a . Unakafov k·凯勒,诉Unakafova“序数模式、熵和脑电图,”熵,16卷,不。12日,第6239 - 6212页,2014年。视图:出版商的网站|谷歌学术搜索
43. j·A·罗素“circumplex模型的影响,”人格与社会心理学杂志》上,39卷,不。6,1161 - 1178年,1980页。视图:出版商的网站|谷歌学术搜索
44. m·m·布拉德利和p . j . Lang”测量情感:自我评估人体模特和语义微分,”行为疗法和实验精神病学杂志》上,25卷,不。1,49-59,1994页。视图:出版商的网站|谷歌学术搜索
45. m . Soleymani j . Lichtenauer t .双关,m . Pantic“多通道数据库影响识别和隐式标签,”IEEE情感计算,3卷,不。1,42-55,2012页。视图:出版商的网站|谷歌学术搜索
46. g . Borghini l . Astolfi g . Vecchiato d . Mattia和f . Babiloni”测量神经生理学信号在飞机飞行员和汽车司机心理评估的工作量,疲劳和嗜睡,”神经科学和生物行为的评论,44卷,58 - 75、2014页。视图:出版商的网站|谷歌学术搜索
47. b . t .日本,美国Lal, p . Fischer和e . Bekiaris”使用脑电图频谱组件评估算法检测疲劳,”专家系统与应用程序,36卷,不。2、2352 - 2359年,2009页。视图:出版商的网站|谷歌学术搜索
48. p . Putman j . van同行Maimari,美国范德Werff,“脑电图θ/β比率与fear-modulated抑制反应,注意力的控制,和情感特征,“生物心理学,卷83,不。2、73 - 78年,2010页。视图:出版商的网站|谷歌学术搜索
49. n . Kannathal m . l . Choo, r . Acharya和p . k . Sadasivan“熵检测脑电图的癫痫。”计算机在生物医学方法和项目,卷80,不。3、187 - 194年,2005页。视图:出版商的网站|谷歌学术搜索
50. r . s .罗萨里奥·t·卡多佐m·a·穆尼奥斯·蒙托亚和j·g·米兰达诉“Motif-synchronization:一个新的方法与脑电图分析大脑的动态网络,”自然史答:统计力学及其应用卷。439年,7-19,2015页。视图:出版商的网站|谷歌学术搜索
51. m . Rubinov o·斯波恩,“复杂的大脑连通性:网络措施使用和解释,“科学杂志,52卷,不。3、1059 - 1069年,2010页。视图:出版商的网站|谷歌学术搜索
52. r·古普塔和k·拉赫曼Laghari”,用图论相关向量分类器决策融合和脑电图特点自动描述情感状态,”Neurocomputing卷,174年,第884 - 875页,2016年。视图:出版商的网站|谷歌学术搜索
53. d·s·福尔克和大肠图像,”小世界大脑网络。”神经系统科学家,12卷,不。6,512 - 523年,2016页。视图:出版商的网站|谷歌学术搜索
54. c·斯塔姆琼斯b, g .诺尔特·m·Breakspear p . Scheltens,“小世界网络和功能连通性在阿尔茨海默氏症,”大脑皮层,17卷,不。1,第99 - 92页,2006。视图:出版商的网站|谷歌学术搜索
55. c . Lithari m·a . Klados c . Papadelis c·帕帕斯m . Albani和p·d·Bamidis”指标的选择如何影响大脑功能连接网络吗?”生物医学信号处理和控制,7卷,不。3、228 - 236年,2012页。视图:出版商的网站|谷歌学术搜索
56. f·h·Peng长,c .丁”的基于互信息的特征选择标准max-dependency, max-relevance, min-redundancy,”IEEE模式分析与机器智能,27卷,不。8,1226 - 1238年,2005页。视图:谷歌学术搜索
57. X.-W。王,d .聂,B.-L。因为它使得基于脑电图,“情感识别使用频域特征和支持向量机,”神经信息处理程序的国际会议上施普林格,页734 - 743年,柏林,德国海德堡2011。视图:谷歌学术搜索
58. b . Scholkopf和a·j·Smola学习与内核:支持向量机,正规化,优化和超越美国马剑桥,麻省理工学院出版社,2002年。
59. f . Pedregosa g . Varoquaux a Gramfort et al .,“Scikit-learn:机器学习在python中,”机器学习研究杂志》上》12卷,第2830 - 2825页,2011年。视图:谷歌学术搜索
60. a . Clerico女子,r·古普塔和t·h·福尔克在美国Jayaraman“脑电图调幅分析自动化情感标签的音乐视频,”计算神经科学前沿p . 115,卷。11日,2017年。视图:谷歌学术搜索
61. Koelstra和佩特雷,“融合面部表情和脑电图的内隐情感标签,”图像和视觉计算没有,卷。31日。2、164 - 174年,2013页。视图:出版商的网站|谷歌学术搜索
62. m·p·特谢拉a . m .奥利维拉,Fonseca)和m·奥利维拉”联合模型参数的验证self-estimates价和兴奋:情感强度的探测differential-weighting模型,”Fechner学报》上的一天,22卷,不。1,第250 - 245页,2006。视图:谷歌学术搜索
63. n·阿尔瓦拉多”,唤起和情绪反应的直接扩展价电影短片,“动机和情感,21卷,不。4、323 - 348年,1997页。视图:出版商的网站|谷歌学术搜索
64. r·d·莱恩·l·纳达尔,认知神经科学的情感英国牛津,牛津大学出版社,1999年。
65. h . p . Lewis奎奇立p Rotshtein, r·多兰“神经的相关加工价,唤起情感的话,“大脑皮层,17卷,不。3、742 - 748年,2006页。视图:出版商的网站|谷歌学术搜索
66. m·a·Nicolaou h .枪,m . Pantic”连续预测valence-arousal自发的从多个线索和模式影响的空间,“IEEE情感计算,卷2,不。2、92 - 105年,2011页。视图:出版商的网站|谷歌学术搜索
67. o . Ghitza“连接言语知觉和神经生理学:语音解码级联的引导下,振荡器锁定输入节奏,”心理学领域,卷2,p。130年,2011年。视图:出版商的网站|谷歌学术搜索
68. o . Ghitza”的角色theta-driven解码语音音节解析:可理解性与操纵调制光谱的言论,”心理学领域,3卷,238页,2012年。视图:出版商的网站|谷歌学术搜索
69. l . Aftanas a . Varlamov s .巴甫洛夫诉Makhnev和n Reva,“情感图像处理:与事件相关同步在单独定义人类θ乐队是由价维调制的,”神经学字母,卷303,不。2、115 - 118年,2001页。视图:出版商的网站|谷歌学术搜索
70. 美国阿恩特,J.-N。安东,r·古普塔et al .,“文本-语音系统质量的影响情绪状态和额α和频带能量”学报2013年6日国际IEEE /磨床神经工程会议(尼珥)圣地亚哥,页489 - 492,美国2013年。视图:谷歌学术搜索
71. l . i Aftanas a . a . Varlamov诉巴甫洛夫,v . p . Makhnev和n v Reva,“时间皮质不对称引起的情绪激发:脑电图的分析与事件相关同步和失调在单独定义的频段,”国际心理生理学杂志,44卷,不。1,第82 - 67页,2002。视图:出版商的网站|谷歌学术搜索
72. r . j .巴里·a·r·克拉克·j·约翰斯通,r·麦卡锡和m . Selikowitz”脑电图θ/β比和唤起注意缺陷/多动障碍:独立进程的证据,”生物精神病学,卷66,不。4、398 - 401年,2009页。视图:出版商的网站|谷歌学术搜索
73. g·g·克尼亚杰夫,“动机、情感、和他们的抑制控制反映脑振荡,”神经科学和生物行为的评论没有,卷。31日。3、377 - 395年,2007页。视图:出版商的网站|谷歌学术搜索
74. f·m·豪厄尔斯·d·j·斯坦,v . a . Russell”认为脑力与变化在主音唤起注意力的任务,”行为和大脑功能》第六卷,没有。1,39页,2010年。视图:出版商的网站|谷歌学术搜索
75. j。j福克斯著和a·c·斯奈德”alpha-band脑振荡的作用作为感官抑制机制在选择性注意,”心理学领域,卷2,p。154年,2011年。视图:出版商的网站|谷歌学术搜索
76. 答:““测试版活动:视觉注意力的载体,“Acta Neurobiologiae Experimentalis,60卷,不。2、247 - 260年,2000页。视图:谷歌学术搜索
77. j . Coull”关注和兴奋的神经关联:见解从电生理学、功能神经影像学和精神药理学,”神经生物学的进展,55卷,不。4、343 - 361年,1998页。视图:出版商的网站|谷歌学术搜索
78. l . j . Metzger s r·佩奇·m·a·卡森et al .,“创伤后应激障碍唤醒和抑郁症状与右侧顶叶脑电图不对称,增加有关”变态心理学杂志》上的,卷113,不。2,p。324年,2004年。视图:出版商的网站|谷歌学术搜索
79. f .罪犯,j·l·Coyle和e . Sejdić“深度信念网脑电图:回顾一下最近的贡献和未来的前景,”IEEE生物医学和卫生信息学杂志》上,22卷,不。3、642 - 652年,2018页。视图:出版商的网站|谷歌学术搜索

版权

版权©2019阿布女子和蒂亚戈·h·福尔克。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。