文摘gydF4y2Ba

融合多通道神经生理学信号识别人类的情感状态变得越来越有吸引力。传统的方法忽略了时域特征之间的互补性,频域特征,脑电图(EEG)信号的时频特征,不能完全捕捉不同通道之间的关联信息。在这篇文章中,一个集成的深度学习框架基于改进深相信网络在神经胶质链(DBN-GCs)提出。框架的成员DBN-GCs用于提取脑电图的中间表示原始特征分别从多个域,以及矿业信道间的关联信息,神经胶质链。然后,更高层次的特性描述时域特征、频域特征,和时频特征融合歧视限制玻耳兹曼机遏制实现情感识别的任务。DEAP基准数据集上的实验实现平均为75.92%和76.83%的准确性唤醒和价态分类,分别。结果表明,该框架优于大多数上述分类器。因此,潜在的框架。gydF4y2Ba

1。介绍gydF4y2Ba

情感起着重要的作用在人类的日常生活。尤其是人民交流更容易通过情感表达,以及不同的情绪状态会影响人们的学习,记忆,和决策。因此,识别不同的情绪状态在远程教育领域的广泛应用前景,医学,智能系统和人机交互。情感识别最近被研究人员高度重视,一直是最重要的问题之一gydF4y2Ba1gydF4y2Ba]。gydF4y2Ba

情感识别可以由外部特性,比如面部表情和语音语调(gydF4y2Ba2gydF4y2Ba- - - - - -gydF4y2Ba6gydF4y2Ba]。它还可以执行根据脑电图等生理信号的变化。与生理信号相比,面部/声音表情很容易受到外部环境的影响,容易在不同情况下不同的参数。然而,EEG信号的情感识别结果相对客观因为生理信号很难伪装。因此,脑电图活动和情感之间的联系的研究已经得到太多的关注(gydF4y2Ba7gydF4y2Ba- - - - - -gydF4y2Ba9gydF4y2Ba]。gydF4y2Ba

情感识别本质上是一个模式识别的任务,关键步骤之一是提取emotion-related特性的多通道脑电图信号。各种脑电图特征在时域、频域和时频域提出了过去。时域特征从脑电图可以确定时间序列的特点,不同情绪状态之间的差异。脑电图系列的统计参数,比如平均值、标准差,和权力,通常采用gydF4y2Ba10gydF4y2Ba- - - - - -gydF4y2Ba12gydF4y2Ba]。Frantzidis等人用振幅和延迟event-correlated电位(erp)作为情感识别的功能gydF4y2Ba13gydF4y2Ba]。此外,Hjorth特性(gydF4y2Ba14gydF4y2Ba,gydF4y2Ba15gydF4y2Ba),不稳定指数(gydF4y2Ba16gydF4y2Ba),和高阶交叉功能(gydF4y2Ba17gydF4y2Ba,gydF4y2Ba18gydF4y2Ba)也被利用。功率特性从不同频带脑电图信号在频域技术最受欢迎。EEG功率谱密度(PSD)在阿尔法8—13赫兹()报道带与价水平显著相关(gydF4y2Ba19gydF4y2Ba]。脑电图PSDs的δθ(1 - 4赫兹)和(4 - 7赫兹)从三个中央通道提取也包含重要信息相关的兴奋和价水平(gydF4y2Ba13gydF4y2Ba]。基于时频分析,简要地谱(美国卫生和公众服务部)gydF4y2Ba20.gydF4y2Ba)和离散小波变换方法(gydF4y2Ba21gydF4y2Ba,gydF4y2Ba22gydF4y2Ba)提出了情感分类任务。上述研究表明,时域特征、频域特征,和EEG信号的时频特征可以提供重要的信息分别与情绪状态有关。gydF4y2Ba

通常,机器学习方法用于建立情感识别模型。翅果等人融合统计测量,乐队的力量gydF4y2BaβgydF4y2Ba,gydF4y2BaδgydF4y2Ba,gydF4y2BaθgydF4y2Ba波,EEG信号的高阶交叉利用支持向量机(SVM)分类器(gydF4y2Ba23gydF4y2Ba]。Jadhav等人提出了一个新颖的技术因为它使得基于脑电图的情感识别使用基于灰度共生矩阵,应用灰度共生矩阵建立(-)特性和再邻居(资讯)分类器gydF4y2Ba24gydF4y2Ba]。Thammasan等人应用三个常用算法分类情感类:基于支持向量机的皮尔森七核函数(库尔迪斯爱国联盟)内核,多层感知器(MLP)和一个隐藏层,和C4.5gydF4y2Ba25gydF4y2Ba]。最近,各种深度学习因为它使得基于脑电图(DL)方法研究了情感分类。标准的深层信念网络(DBNs)受雇于魔杖,商从原始生理数据提取特征来识别水平的唤醒,价,和喜欢gydF4y2Ba26gydF4y2Ba]。在文献[gydF4y2Ba27gydF4y2Ba),两种类型的深度学习的方法,在去噪autoencoder和深层的信念网络,应用作为情感状态特征提取器使用脑电图信号分类问题。李等人设计了一个混合深度学习模型,结合了卷积神经网络(CNN)和递归神经网络(RNN)提取脑电特征(gydF4y2Ba28gydF4y2Ba]。gydF4y2Ba

与传统的机器学习方法相比,DL取得了可喜的成果。然而,仍然存在两个挑战在基于多通道脑电图信号的情感识别。首先,看到时域特征、频域特征,和EEG信号的时频特征包含重要的信息与情绪有关,自然不同类型之间的互补特性源于这些域特征,分别是。因此,特征提取和特征融合的多通道脑电图信号在时域、频域和时频域需要调查取得更好的性能。一般来说,一个简单的深度模型如DBN或CNN可以抽象多通道脑电图特征的中间表示和实现功能融合在特征级(gydF4y2Ba29日gydF4y2Ba]。然而,鉴于高维度和事实的生理数据的训练样本有限,太多的节点在每一层的网络将导致模型过度拟合问题。其次,捕捉不同通道之间的关联信息的EEG信号,提取深度相关性特性,被研究者所忽视,需要考虑在执行功能融合使用深度模型。gydF4y2Ba

为了解决上述两个问题,一个集成的深度学习本文提出DBN-GC组成的框架。作为一种特殊的人类大脑神经细胞,神经胶质细胞可以传输信号到其他神经元和神经胶质细胞。因此,研究人员注意到神经胶质细胞的特点,应用人工神经网络(gydF4y2Ba30.gydF4y2Ba,gydF4y2Ba31日gydF4y2Ba]。在框架中,从多通道脑电图信号获得的原始多畴的特性。然后,原始的中间表示多畴的功能是由成员DBN-GC,分别提取的神经胶质链为采矿工作信道间的相关性,有助于优化学习过程。最后,有识别力的遏制是用来获得情感预测。在这项实验中,验证了我们的方法的有效性在DEAP多通道脑电图数据的数据集,这是一个广泛用于情感识别。gydF4y2Ba

本文的其余部分组织如下。详细描述所提出的基于DBN-GC深度学习框架提出了部分gydF4y2Ba2gydF4y2Ba。实验结果和讨论部分报告gydF4y2Ba3gydF4y2Ba。最后一节gydF4y2Ba4gydF4y2Ba简要总结了工作。gydF4y2Ba

2。方法gydF4y2Ba

2.1。数据库gydF4y2Ba

在这个研究中,DEAP数据集用于情感分析。DEAP研究小组开发的是一个开源的数据集在玛丽皇后大学,伦敦(gydF4y2Ba32gydF4y2Ba]。它主要记录多通道生理信号的刺激下产生的32名志愿者所选择的视频。多通道生理信号包括脑电图和外围的生理信号。每个志愿者需要看40分钟长的视频。虽然每个视频了,志愿者的脑电图和外围生理信号记录同步。应该注意的是,EEG记录来自32个站点(Fp1 AF3, F3、F7 FC5, FC1, C3, T7, CP5, CP1, P3, P7,警察丙,O1,盎司,Pz、Fp2, AF4, Fz, F4, F8, FC6, FC2, Cz, C4, T8, CP6, CP2, P4, P8,警察丁,和O2)。最后,兴奋的主观评定,价,喜欢,1 - 9提供的规模优势。在这项研究中,我们只关注唤醒和价。因此,一个二维的情感模型(见图gydF4y2Ba1gydF4y2Ba)可以建造,分别两个维度的觉醒和价。我们划分和标签价和兴奋试验分为两类,分别为(愉快:> 5的时候,令人不愉快的:≤5;引起:> 5,放松:≤5)。gydF4y2Ba


图1gydF4y2Ba
Arousal-valence平面。gydF4y2Ba
2.2。数据预处理和特征提取gydF4y2Ba

在这项研究中,仅用于情感识别脑电图信号。记录的脑电图信号采样频率512赫兹downsampled 128 Hz。然后,由带通滤波器实现滤波截止频率为4.0和45.0赫兹。gydF4y2Ba

为了充分利用突出信息EEG信号的情绪状态,四种类型的原始特性描述信息在时域、频域、时频域,分别从EEG信号中提取(gydF4y2Ba32gydF4y2Ba- - - - - -gydF4y2Ba36gydF4y2Ba),详细描述如表所示gydF4y2Ba1gydF4y2Ba。14脑电图通道对实现权力差异包括Fp2-Fp1 AF4-AF3, F4-F3, F8-F7, FC6-FC5, FC2-FC1, C4 - C3, T8-T7, CP6-CP5, CP2-CP1, P4-P3, P8-P7 PO4-PO3, O2-O1。因此,特征向量的维数是664,一个实例,每个实例的标签是二维的。gydF4y2Ba

表1gydF4y2Ba
详细描述的脑电图特征。gydF4y2Ba

一志愿,相应的数据矩阵的大小40×664(视频/实例×特性)。32名志愿者,40×32 = 1280实例可用。每个志愿者的相应数据矩阵标准化去除特征尺度上的差异。gydF4y2Ba

2.3。整体深度学习框架gydF4y2Ba
2.3.1。改善与神经胶质的DBN链gydF4y2Ba

情绪识别任务,深入学习方法假设中间的层次结构表示的脑电图原始特性是必要的底层特征显著不同的情绪状态有关的信息。深度信念网络,它是由许多限制玻耳兹曼机叠加的方式,有较强的学习能力的高层表示受益于与多个隐藏层深基于结构的学习机制。gydF4y2Ba

如图gydF4y2Ba2gydF4y2Ba,第一次元的输出作为输入第二元。同样,第三个遏制是二元的输出训练。通过这种方式,一个深构造层次模型学习特征从低级特征获取高层表示。gydF4y2Ba


图2gydF4y2Ba
深度信念网络结构。gydF4y2Ba

针对这一事实DBN的神经单位之间没有连接在同一层,很难利用不同的神经单元的互信息在同一层。这意味着DBN很难工作矿业河道间和interfrequency关联信息的多通道脑电图信号情感识别任务。考虑到这一点,一种改进的DBN与神经胶质连锁店介绍了。gydF4y2Ba

从图可以看到DBN-GC的结构gydF4y2Ba3gydF4y2Ba。除了两个级别的单位元,有一群神经胶质细胞由恒星和成链结构有关。每个神经胶质细胞也连接到一个单位在遏制的隐层,如图gydF4y2Ba4gydF4y2Ba。神经胶质细胞之间没有重量和相应的隐藏的单位。所有神经胶质细胞的影响在训练过程中可以直接应用到隐藏的单位,以及隐层节点的输出相应调整。通过连接的神经胶质细胞,每个神经胶质细胞也可以向其他神经胶质细胞激活的信号传输和调节神经胶质其他神经胶质细胞的影响。gydF4y2Ba


图3gydF4y2Ba
深度信念网络结构与神经胶质链。gydF4y2Ba

图4gydF4y2Ba
遏制与神经胶细胞链的结构。gydF4y2Ba

例如,如果一个隐藏的单元的输出gydF4y2BahgydF4y2Ba1gydF4y2Ba高于预定阈值,相应的神经胶质细胞gydF4y2Ba 将被激活,然后信号被传送到神经胶质细胞gydF4y2Ba 。gydF4y2Ba当信号传递gydF4y2Ba ,gydF4y2Ba神经胶质细胞gydF4y2Ba 将被激活,不论是否隐藏单元的输出gydF4y2BahgydF4y2Ba2gydF4y2Ba达到预定的阈值。然后神经胶质细胞gydF4y2Ba 将产生第二个信号传播。与此同时,所产生的信号gydF4y2Ba 将继续蔓延。为了简化计算,所有信号产生的神经胶质细胞是神经胶质链的传播沿特定的方向。首先,信号从传输链上的神经胶质细胞。gydF4y2Ba

对于神经胶细胞链的遏制,隐藏单位的输出规则更新如下:gydF4y2Ba 在哪里gydF4y2Ba 隐藏节点的输出值吗gydF4y2Ba 在输出规则更新之前,gydF4y2Ba 神经胶质效应值相应的神经胶质细胞,gydF4y2Ba 是神经胶质的影响的权重系数值,然后呢gydF4y2Ba 是乙状结肠函数。的权重系数gydF4y2Ba 手动设置,可以控制神经胶质的影响隐藏单位的影响。gydF4y2Ba 可以计算为gydF4y2Ba 在哪里gydF4y2Ba 连接视觉单元的重量吗gydF4y2Ba 和隐藏的单元gydF4y2Ba ,gydF4y2Ba 可见单元的状态值吗gydF4y2Ba ,gydF4y2Ba和gydF4y2Ba 偏见隐藏单位的价值吗gydF4y2Ba 。gydF4y2Ba激活概率是随机抽样,而是采用作为每个隐藏的单元输出,从而减少采样噪声和加速学习。gydF4y2Ba

神经胶质细胞的神经胶质的影响价值gydF4y2Ba 被定义为gydF4y2Ba 在哪里gydF4y2Ba 指定的阈值,gydF4y2Ba 激活后是一个反应迟钝的时间阈值,然后呢gydF4y2Ba 代表了衰减因子。每一次,信号由一个激活的神经胶质细胞传递到下一个神经胶质细胞。神经胶质细胞的激活将取决于相应的隐藏单元的输出达到指定的阈值gydF4y2Ba 还是以前的神经胶质细胞传达了一个信号。与此同时,不同gydF4y2Ba 之间的持续激活时间和当前时间必须小于gydF4y2Ba 。gydF4y2Ba如果神经胶质细胞被激活,它将发送一个信号到另一个神经胶质细胞;否则,它不会产生信号,其神经胶质的影响将逐渐衰减。gydF4y2Ba

整合后的神经胶质细胞机制,遏制的学习算法是改进和学习算法的伪代码中列出的算法gydF4y2Ba1gydF4y2Ba。gydF4y2Ba

输入gydF4y2Ba:一个训练样本gydF4y2BaxgydF4y2Ba1gydF4y2Ba、学习速率gydF4y2BaεgydF4y2Ba,神经胶质效应向量gydF4y2BaggydF4y2Ba
输出gydF4y2Ba:权重矩阵gydF4y2BaWgydF4y2Ba可见的,偏差向量层gydF4y2BabgydF4y2Ba偏差向量的隐藏层gydF4y2BacgydF4y2Ba
开始训练gydF4y2Ba
初始化gydF4y2BavgydF4y2Ba(0)gydF4y2Ba:gydF4y2BavgydF4y2Ba(0)gydF4y2Ba=gydF4y2BaxgydF4y2Ba1gydF4y2Ba(初始化状态的价值可见层gydF4y2BavgydF4y2Ba)gydF4y2Ba
为gydF4y2BajgydF4y2Ba= 1:gydF4y2Ba米gydF4y2Ba(所有隐藏的单位)gydF4y2Ba
(gydF4y2BahgydF4y2BajgydF4y2Ba(0)gydF4y2Ba= 1 |gydF4y2BavgydF4y2Ba(0)gydF4y2Ba)=gydF4y2BaσgydF4y2Ba(gydF4y2Ba +gydF4y2BacgydF4y2BajgydF4y2Ba)gydF4y2Ba
结束了gydF4y2Ba
提取样本gydF4y2BahgydF4y2Ba(0)gydF4y2Ba根据gydF4y2BahgydF4y2Ba(0)gydF4y2Ba∼gydF4y2Ba (gydF4y2BahgydF4y2Ba(0)gydF4y2Ba|gydF4y2BavgydF4y2Ba(0)gydF4y2Ba)gydF4y2Ba
为gydF4y2Ba我gydF4y2Ba= 1:gydF4y2Ba (所有可见的单位)gydF4y2Ba
(gydF4y2Ba = 1 |gydF4y2BahgydF4y2Ba(0)gydF4y2Ba)=gydF4y2BaσgydF4y2Ba(ΣgydF4y2BajgydF4y2BaWgydF4y2BaijgydF4y2BahgydF4y2BajgydF4y2Ba(0)gydF4y2Ba+gydF4y2BabgydF4y2Ba我gydF4y2Ba)gydF4y2Ba
结束了gydF4y2Ba
提取样本gydF4y2BavgydF4y2Ba(1)gydF4y2Ba根据gydF4y2BavgydF4y2Ba(1)gydF4y2Ba∼gydF4y2Ba (gydF4y2BavgydF4y2Ba(1)gydF4y2Ba|gydF4y2BahgydF4y2Ba(0)gydF4y2Ba)gydF4y2Ba
为gydF4y2BajgydF4y2Ba= 1:gydF4y2Ba米gydF4y2Ba(所有隐藏的单元,计算输出值没有神经胶质的影响)gydF4y2Ba
hgydF4y2BajgydF4y2Ba(1)∗gydF4y2Ba=ΣgydF4y2Ba我gydF4y2BaWgydF4y2BaijgydF4y2Ba (1)gydF4y2Ba+gydF4y2BacgydF4y2BajgydF4y2Ba
结束了gydF4y2Ba
更新矢量神经胶细胞的影响gydF4y2BaggydF4y2Ba
为gydF4y2BajgydF4y2Ba= 1:gydF4y2Ba米gydF4y2Ba(所有隐藏的单元,计算输出值与神经胶质效果)gydF4y2Ba
(1)gydF4y2Ba=gydF4y2BaσgydF4y2Ba(gydF4y2Ba (1)∗gydF4y2Ba+gydF4y2Ba )gydF4y2Ba
结束了gydF4y2Ba
更新参数gydF4y2Ba
WgydF4y2Ba⟵gydF4y2BaWgydF4y2Ba+gydF4y2BaεgydF4y2Ba(gydF4y2Ba (gydF4y2BahgydF4y2Ba(0)gydF4y2Ba= 1 |gydF4y2BavgydF4y2Ba(0)gydF4y2Ba)gydF4y2BavgydF4y2Ba(0)gydF4y2BaTgydF4y2Ba−gydF4y2BapgydF4y2Ba(gydF4y2BahgydF4y2Ba(1)gydF4y2Ba= 1 |gydF4y2BavgydF4y2Ba(1)gydF4y2Ba)gydF4y2BavgydF4y2Ba(1)gydF4y2BaTgydF4y2Ba)gydF4y2Ba
bgydF4y2Ba⟵gydF4y2BabgydF4y2Ba+gydF4y2BaεgydF4y2Ba(gydF4y2BavgydF4y2Ba(0)gydF4y2Ba−gydF4y2BavgydF4y2Ba(1)gydF4y2Ba)gydF4y2Ba
cgydF4y2Ba⟵gydF4y2BacgydF4y2Ba+gydF4y2BaεgydF4y2Ba(gydF4y2Ba (gydF4y2BahgydF4y2Ba(0)gydF4y2Ba= 1 |gydF4y2BavgydF4y2Ba(0)gydF4y2Ba)−gydF4y2Ba (gydF4y2BahgydF4y2Ba(1)gydF4y2Ba= 1 |gydF4y2BavgydF4y2Ba(1)gydF4y2Ba))gydF4y2Ba
算法1gydF4y2Ba
伪代码培训疟疾行动与神经胶质链。gydF4y2Ba

DBN-GC的训练过程,类似于DBN,由两步组成:pretraining和微调。神经胶质细胞机制只作用于pretraining过程。在pretraining阶段,一个贪婪的layer-wise采用无监督方法训练每个疟疾行动和隐藏层的输出之前的遏制用作可见层的输入下一个遏制。在微调阶段,反向传播调整DNB-GC的参数执行。gydF4y2Ba

2.3.2。DBN-GC-Based合奏深度学习模型gydF4y2Ba

考虑到原始的脑电图特征表gydF4y2Ba1gydF4y2Ba可以分享不同的隐藏属性在时域与频域之不同模式,我们提出了一个DBN-GC-based合奏深度学习模型,实现了一个独立DBN-GC-based网络同质特征子集。特征向量源自不同的特征子集被送入相应的DBN-GC,分别和每个特征子集的更高的功能抽象得到的输出相应DBN-GC中最后一个隐层。然后,作为遏制疟疾是建立在歧视抽象结合高等特性。网络架构如图gydF4y2Ba5gydF4y2Ba。合奏深学习模型由三部分组成:输入层,五个平行DBN-GCs,歧视遏制。gydF4y2Ba


图5gydF4y2Ba
DBN-GC-based合奏深学习模型的体系结构。gydF4y2Ba

整个原始脑电图特征表gydF4y2Ba1gydF4y2Ba可以被定义为gydF4y2BaFgydF4y2Ba0gydF4y2Ba,这是分成五个nonoverlapped生理特征子集:gydF4y2BaFgydF4y2Ba1gydF4y2Ba,gydF4y2BaFgydF4y2Ba2gydF4y2Ba,gydF4y2BaFgydF4y2Ba3gydF4y2Ba,gydF4y2BaFgydF4y2Ba4gydF4y2Ba,gydF4y2BaFgydF4y2Ba5gydF4y2Ba。从时域统计措施构建子集gydF4y2BaFgydF4y2Ba1gydF4y2Ba,多通道脑电图PSDs构造子集gydF4y2BaFgydF4y2Ba2gydF4y2Ba。另一个子集gydF4y2BaFgydF4y2Ba3gydF4y2Ba是由脑电图权力差异。针对多通道卫生与公众服务部的异质性特征在时域和频域,卫生与公众服务部的特性可以被分为两个子集,gydF4y2BaFgydF4y2Ba4gydF4y2Ba和gydF4y2BaFgydF4y2Ba5gydF4y2Ba,分别指示方幅度和瞬时频率。gydF4y2Ba

定义特征向量组成的特征子集gydF4y2BaFgydF4y2Ba我gydF4y2Ba作为gydF4y2BaxgydF4y2Ba(gydF4y2BaFgydF4y2Ba我gydF4y2Ba)。的特性gydF4y2BaFgydF4y2Ba0gydF4y2Ba表单的输入向量gydF4y2BaxgydF4y2Ba(gydF4y2BaFgydF4y2Ba0gydF4y2Ba)的整体深度学习框架,送入输入层。然后,输入向量gydF4y2BaxgydF4y2Ba(gydF4y2BaFgydF4y2Ba0gydF4y2Ba)分为五个subvectors:gydF4y2BaxgydF4y2Ba(gydF4y2BaFgydF4y2Ba1gydF4y2Ba),gydF4y2BaxgydF4y2Ba(gydF4y2BaFgydF4y2Ba2gydF4y2Ba),gydF4y2BaxgydF4y2Ba(gydF4y2BaFgydF4y2Ba3gydF4y2Ba),gydF4y2BaxgydF4y2Ba(gydF4y2BaFgydF4y2Ba4gydF4y2Ba),gydF4y2BaxgydF4y2Ba(gydF4y2BaFgydF4y2Ba5gydF4y2Ba)。五个subvectors DBN-GC对应的输入,分别。五DBN-GC建立深模型构建学习每个原始脑电图特征子集的隐藏功能抽象,抽象描述和隐藏功能gydF4y2Ba年代gydF4y2Ba1gydF4y2Ba(gydF4y2BaxgydF4y2Ba(gydF4y2BaFgydF4y2Ba1gydF4y2Ba)),gydF4y2Ba年代gydF4y2Ba2gydF4y2Ba(gydF4y2BaxgydF4y2Ba(gydF4y2BaFgydF4y2Ba2gydF4y2Ba)),gydF4y2Ba年代gydF4y2Ba3gydF4y2Ba(gydF4y2BaxgydF4y2Ba(gydF4y2BaFgydF4y2Ba3gydF4y2Ba)),gydF4y2Ba年代gydF4y2Ba4gydF4y2Ba(gydF4y2BaxgydF4y2Ba(gydF4y2BaFgydF4y2Ba4gydF4y2Ba)),gydF4y2Ba年代gydF4y2Ba5gydF4y2Ba(gydF4y2BaxgydF4y2Ba(gydF4y2BaFgydF4y2Ba5gydF4y2Ba))。gydF4y2Ba年代gydF4y2Ba我gydF4y2Ba(gydF4y2BaxgydF4y2Ba(gydF4y2BaFgydF4y2Ba我gydF4y2Ba))的最后一个隐层的输出向量对应的DBN-GCgydF4y2Ba我gydF4y2Ba。然后,gydF4y2Ba年代gydF4y2Ba1gydF4y2Ba(gydF4y2BaxgydF4y2Ba(gydF4y2BaFgydF4y2Ba1gydF4y2Ba)),gydF4y2Ba年代gydF4y2Ba2gydF4y2Ba(gydF4y2BaxgydF4y2Ba(gydF4y2BaFgydF4y2Ba2gydF4y2Ba)),gydF4y2Ba年代gydF4y2Ba3gydF4y2Ba(gydF4y2BaxgydF4y2Ba(gydF4y2BaFgydF4y2Ba3gydF4y2Ba)),gydF4y2Ba年代gydF4y2Ba4gydF4y2Ba(gydF4y2BaxgydF4y2Ba(gydF4y2BaFgydF4y2Ba4gydF4y2Ba)),gydF4y2Ba年代gydF4y2Ba5gydF4y2Ba(gydF4y2BaxgydF4y2Ba(gydF4y2BaFgydF4y2Ba5gydF4y2Ba)合并成一个向量,送入歧视遏制认识到情感状态。gydF4y2Ba

当建筑DBN-GC-based合奏深度学习模型,五个DBN-GCs首先训练。额外two-neuron输出层对应于二进制情绪训练每个DBN-GC时添加。然后,有识别力的遏制是建立在结合高等特性抽象来自五个DBN-GCs。确定DBN-GCs hyperparameters, hyperparameters的不同组合进行测试和参数结合采用最小错误识别。gydF4y2Ba

3所示。结果与讨论gydF4y2Ba

针对样本容量有限的数据集,在实验中采用交叉验证技术。合奏深学习模型训练和测试通过10倍交叉验证技术participant-specific风格。为每个32名志愿者,相应的40个实例分为10个子集。9子集(36实例)被分配到的训练集,其余1(4实例)被分配给测试组。重复上述过程,直到所有10倍测试子集。gydF4y2Ba

3.1。对比DNB DBN-GCgydF4y2Ba

为了研究DBN-GC的学习性能,我们首先使用三个功能子集(gydF4y2BaFgydF4y2Ba6gydF4y2Ba,gydF4y2BaFgydF4y2Ba7gydF4y2Ba,gydF4y2BaFgydF4y2Ba8gydF4y2Ba分别)训练DBNs DBN-GCs。三个子集给出如下:gydF4y2BaFgydF4y2Ba6gydF4y2Ba=gydF4y2BaFgydF4y2Ba1gydF4y2Ba,gydF4y2BaFgydF4y2Ba7gydF4y2Ba=gydF4y2BaFgydF4y2Ba2gydF4y2Ba∪gydF4y2BaFgydF4y2Ba3gydF4y2Ba,gydF4y2BaFgydF4y2Ba8gydF4y2Ba=gydF4y2BaFgydF4y2Ba4gydF4y2Ba∪gydF4y2BaFgydF4y2Ba5gydF4y2Ba。这三个特征子集代表时域特征、频域特征,分别和时频特征。DBN和DBN-GC训练同样的特征子集,他们有相同的hyperparameters,如表所示gydF4y2Ba2gydF4y2Ba。此外,DBN的参数和DBN-GC共享相同的特征子集,比如学习速率,都设置为相同的值。六个模型执行相同的情绪识别任务,和识别性能的指标采用精度和F1-score。gydF4y2Ba

表2gydF4y2Ba
Hyperparameters DBNs DBN-GCs。gydF4y2Ba

详细的识别性能比较冲动和价尺寸见图gydF4y2Ba6gydF4y2Ba。gydF4y2Ba

(一)gydF4y2Ba
(一)gydF4y2Ba
(b)gydF4y2Ba
(b)gydF4y2Ba
(c)gydF4y2Ba
(c)gydF4y2Ba
(d)gydF4y2Ba
(d)gydF4y2Ba
图6gydF4y2Ba
比较DBN, DBN-GC之间的情感识别结果。gydF4y2Ba

每一列代表32参与者的统计结果。数据gydF4y2Ba6(一)gydF4y2Ba和gydF4y2Ba6 (c)gydF4y2Ba显示的分类精度和F1-score唤醒维度。数据gydF4y2Ba6 (b)gydF4y2Ba和gydF4y2Ba6 (d)gydF4y2Ba显示的分类精度和F1-score价维度。从图我们可以看出gydF4y2Ba6gydF4y2Ba,不管使用的特征子集,DBN-GC模型大大优于相应的基线款模型更高的准确性和F1-score值和相对较低的标准偏差。在三种DBN-GC模型,DBN7建造的特征子集gydF4y2BaFgydF4y2Ba7gydF4y2Ba达到最高的识别精度(0.7310 0.7242唤醒和价)和F1-score唤醒和0.6775价(0.6631)。结果表明,EEG信号的频域特性可以提供重要的信息关于情感状态。gydF4y2Ba

结果验证神经胶质链可以提高学习的深层结构的性能。通过神经胶质链,隐层单元在DBN-GC可以互相传递信息和DBN-GC模型可以获得相同的隐层单元之间的关联信息。因此,改善DNB模型可以了解更多区别的特征。因为它使得基于脑电图的情绪识别任务,DNN-GC可以挖掘信道间的相关性和利用信道间的信息,这通常是忽略其他的情感识别研究。gydF4y2Ba

3.2。结果DBN-GC-Based合奏深度学习模型gydF4y2Ba

然后,提出DBN-GC-based合奏深度学习模型是用来执行情绪识别任务。系综中的每个并行DBN-GC深度学习模型有3个隐藏层。每个平行DBN-GC隐藏的神经元的数量列在表中gydF4y2Ba3gydF4y2Ba。通过五个平行DBN-GCs样本的特征维数从664减少到350。gydF4y2Ba

表3gydF4y2Ba
Hyperparameters合奏的每个并行DBN-GC深度学习模型。gydF4y2Ba

表gydF4y2Ba4gydF4y2Ba比较之间的平均识别性能提出DBN-GC-based合奏深度学习模型和基于深度学习的一些研究在同一数据库。具体地说,特里帕西等人将8064个读数每通道分成10批次。对每一批9特征,如均值和方差提取。然后,深层神经网络和卷积神经网络用于情感识别(gydF4y2Ba29日gydF4y2Ba]。李等人提出了通过小波框架脑电图特征量图变换,设计了一种混合深度学习模型,结合CNN和RNN [gydF4y2Ba37gydF4y2Ba]。此外,李等人还训练了一个两层的DBN提取高层为每个通道特性,然后,采用RBF核函数的支持向量机作为分类器(gydF4y2Ba38gydF4y2Ba]。王岐山和商提出DBN-based系统,从原始的生理数据中提取特征和3分类器建立预测情绪状态(gydF4y2Ba26gydF4y2Ba]。鉴于上述研究没有介绍F1-score作为识别的性能指标,该模型的平均识别性能也比文献[gydF4y2Ba32gydF4y2Ba]。在此引用,Koelstra等人分析了中枢神经系统(CNS),周围神经系统(pn),为情感识别和多媒体内容分析特性。考虑到本文提出DBN-GC-based方法是基于EEG信号;表gydF4y2Ba4gydF4y2Ba只列出了中枢神经系统基于功能的单一形态的识别结果在文献[gydF4y2Ba32gydF4y2Ba]。DEAP数据集用于所有的引用表gydF4y2Ba4gydF4y2Ba,试验分为两个类价和觉醒,分别(评级分为超过5和小于5)在表的所有引用gydF4y2Ba4gydF4y2Ba。gydF4y2Ba

表4gydF4y2Ba
DBN-GC-based系综之间的平均识别性能比较深刻的学习模式和一些研究报道。gydF4y2Ba

从表可以看出gydF4y2Ba4gydF4y2BaDBN-GC-based合奏深度学习的性能模型的识别精度优于大多数上面的分类器。与此同时,F1-scores通过该模型明显优于文献[报告的0.5830和0.5630gydF4y2Ba32gydF4y2Ba]。该方法提供了0.7683意味着识别精度(MRA)价,这是低于最高MRA报道价(0.8141)。这可能是由于CNN模型Tripathi等人提出的好处足够的训练和验证实例。此外,合奏深学习模型的性能也优于三DBN-GCs表gydF4y2Ba3gydF4y2Ba这是由一个单一特征子集训练。这表明时域特征、频域特征,和EEG信号的时频特征应该是相辅相成的情感识别,该方法可以有效地整合不同类型的特征。gydF4y2Ba

3.3。参数选择gydF4y2Ba

提议中的每个并行DBN-GC合奏深度学习模型包含三个重要参数:神经胶质效果的权重系数值gydF4y2BaαgydF4y2Ba衰减因子gydF4y2BaβgydF4y2Ba和神经胶质的阈值gydF4y2BaθgydF4y2Ba。这三个参数将决定在DBN神经胶质细胞的影响,然后影响该模型的性能。由于没有自适应调整方法,三个参数设置手动和做20个值在0到1的范围,分别与间隔0.05。每个参数的不同值下,MRA对价和MRA在唤醒作为最终评价基础上,分析结果如图gydF4y2Ba7gydF4y2Ba- - - - - -gydF4y2Ba9gydF4y2Ba。gydF4y2Ba


图7gydF4y2Ba
MRA的整体深度学习模型与神经胶质的影响体重的不同的值。gydF4y2Ba

图8gydF4y2Ba
MRA的整体深度学习模型与不同的衰减值的因素。gydF4y2Ba

图9gydF4y2Ba
MRA的整体深度学习与不同的神经胶质阈值模型。gydF4y2Ba

从图可以看出gydF4y2Ba7gydF4y2Ba,当神经胶质影响体重0.05和1之间时,MRA在觉醒以及MRA在价不断波动。获得最高的MRA在唤醒(76.12%)神经胶质的影响权重设置为0.75。MRA的价,值越高会出现当重量值接近0.15或0.80。同时考虑这两个指标,适当设置权重系数是0.80。gydF4y2Ba

图gydF4y2Ba8gydF4y2Ba显示了觉醒的结果分类和价分类具有不同的衰减值的因素。当衰减因子的值在0.05和0.35之间,MRA在觉醒以及MRA在价波动很大。与衰减因子增加到0.4,MRA在觉醒和MRA对价迅速增加。一旦衰减系数超过0.5,两种mra慢慢减少。因此,适当设置衰减因子为0.40或0.50。gydF4y2Ba

图gydF4y2Ba9gydF4y2Ba显示了觉醒的结果分类和价分类不同的神经胶质阈值。尽管MRA的最高价值觉醒发生与神经胶质阈值设置为0.35,MRA是神经胶质阈值时更稳定在0.65和1之间。MRA的价,其价值已经慢慢上升时,衰减系数超过0.25。适当的,神经胶质阈值在0.70至0.80的范围内。gydF4y2Ba

4所示。结论gydF4y2Ba

在本文中,我们提出了一个深刻的学习模型集并行DBN-GCs和情感识别的区别的元。多通道脑电图信号的信道间的关联信息,常被忽视,包含重要的信息关于情感状态,和链式结构的神经胶质细胞在DBN-GC矿业河道间相关信息的能力。此外,时域特征、频域特征,和EEG信号的时频特征应该是相辅相成的情感识别,和合奏深度学习框架全面融合的好处多畴的功能抽象。DBN-GC的可靠性和合奏深学习基于框架融合方法的实验验证了基于DEAP数据库。gydF4y2Ba

数据可用性gydF4y2Ba

DEAP数据集用于我们的手稿是情感分析的数据集使用脑电图(EEG)和生理和视频信号。DEAP数据集是可用的gydF4y2Bahttp://www.eecs.qmul.ac.uk/mmv/datasets/deap/gydF4y2Ba。感兴趣的人使用这个数据集必须打印,签署,扫描一个EULA(最终用户许可协议)并返回它通过电子邮件。然后,用户名和密码将提供下载数据。数据集是第一个提出了文献[gydF4y2Ba32gydF4y2Ba]。DEAP:情感分析数据库使用的生理信号。gydF4y2Ba

的利益冲突gydF4y2Ba

作者宣称没有利益冲突有关的出版。gydF4y2Ba

确认gydF4y2Ba

本文得到了中国国家自然科学基金(61502150和61502150号),基础由河南大学关键老师批准号2015 ggjs - 068,为河南大学的基础研究基金批准号NSFRF1616,基础下的河南省科技项目批准号172102210279,和河南大学重点科研项目(19 a520004)。gydF4y2Ba