改善深特性学习通过对多通道同步测量脑电图情感识别

文摘

情感识别基于多通道脑电图(EEG)信号是一个关键领域的研究领域情感计算。传统方法提取脑电特征从每个频道基于大量的领域知识,忽略空间特征和全球同步信息在所有频道。提出了一个全球性的特征提取方法,封装了多通道脑电图信号成灰色图像。所有通道的最大信息系数(MIC)首次测量。随后,一个麦克风矩阵构造根据电极排列规则,由一个麦克风灰度图像。最后,深入学习模型设计有两个主成分分析卷积层和非线性变换操作提取空间特征和全球通道间的同步特性构造特征图像,然后输入支持向量机进行情感识别任务。基准数据集上实验使用脑电图进行情感分析,生理和视频信号。实验结果表明,全球同步特征和空间特征有利于识别情绪和拟议的深度学习模型有效的矿山和利用这两个特征。

1。介绍

作为人脑的高级功能,情感在日常人类生活中扮演着重要的角色。情感表达使更容易沟通和情绪状态会影响一个人的工作和学习。因此,情感识别提供了很高的应用价值和广阔前景领域的医学、教育、智能系统、人机交互,以及商业和已成为一个研究领域极大的兴趣(1]。

情绪状态之间的转换是伴随着复杂的神经过程和生理变化。除了面部表情(2),演讲(3- - - - - -5),和身体运动(6,7),电生理信号和endocrine-related指标能反映情感状态的变化(8- - - - - -10]。然而,这些相同的物理特征很容易受主观影响的人以及外部环境。另一方面,情感识别通过分析生理电信号相对客观。因此,研究生理信号之间的关系,如脑电图(EEG)和情感状态,(已经获得相当大的关注11- - - - - -13]。

一个关键的步骤,它以脑波图为基础的情感识别的任务是提取特征与人类相关的情绪状态从多通道脑电图信号。各种时域、频域和time-frequency-domain特征提出了在先前的研究。时域特性包括统计特性(例如,意思是,和标准偏差)(14- - - - - -16],event-correlated电位(ERP) [17),Hjorth特性(例如,流动性,活动,和复杂性)(18),不稳定指数(19),和高阶交叉功能(20.,21]。频域特性,如功率谱密度(PSD),权力,和能源,通常是利用现有的研究(22- - - - - -24]。锅等。25)使用emotion-related常见的空间格局和5个频段的微分熵特征研究。获得时变特征反映在脑电图频率数据,短时傅里叶变换被用来分析EEG信号(26,27]。脑电图信号是时变的,研究人员提出了新的方法来获取额外信息结合时间和频域特性。简要地变换和离散小波变换(DWT)研究脑电图信号的时间和频率域。Hadjidimitriou和Hadjileontiadis28)使用脑电图特征提取前景光谱识别情绪的方法。Yohanes et al。29日)提出了利用DWT系数特性的情感识别脑电图信号。这些结果表明,脑电图时频特性可以提供重要的信息与情绪状态有关。

许多机器学习方法应用于情感识别任务。Frantzidis et al。17)获得的振幅和延迟ERP组件和与事件相关的振荡幅度特性,然后采用支持向量机(SVM)分类器。Murugappan et al。15]提出处理线性和非线性统计特性来源于五个频段(δθ,α、β和γ)为DWT和再(事例)分类器。春et al。30.)应用光谱功率特性和贝叶斯分类器与weighted-log-posterior情感识别的功能。因为它使得基于脑电图各种深度学习方法也被应用于情感识别。小王和商31日)提出了一个基于深层信念网络情感识别方法(DBNs)。Kwon et al。32)使用融合特性从脑电图信号和皮肤电反应信号中提取和卷积神经网络(cnn)的情感识别。在我们以前的工作,一种情感识别方法基于一种改进的深层信念网络与神经胶质链(DBN-GC)和多个域脑电图特点提出了(23]。Suwicha et al。33)利用快速傅里叶变换计算EEG信号的功率谱密度特性,提出了深入学习网络基于一个堆叠autoencoder。李等人。34)利用cnn和复发性神经网络构造一个混合深度学习模型。

相比,传统的机器学习方法,深度学习模型显示性能优良,因为它使得基于脑电图多通道情绪识别任务的潜在能力(31日- - - - - -36]。然而,因为它使得基于脑电图两个挑战仍在多通道情感识别。首先,大多数研究只考虑突出信息相关的情绪状态的每个通道脑电图信号在时域、频域和时频域。所有通道的空间特征和全球同步变化的EEG信号在不同情绪状态下被忽视,这些可以提供重要的信息与情感状态,因此有利于情感识别。第二,我使用一个简单而有效的深度模型和利用这两个突出的信息贡献情感识别是非常重要的。

为应对这些挑战,基于全球同步的特征提取方法从所有脑电图测量通道和主成分分析的网络——基于(PCANet)提出了深刻的学习模式。首先,每个脑电图的最大信息系数(MIC)通道对由同步动态测量的方法。随后,所有通道成对排列的MIC值根据给定的电极麦克风功能矩阵的构建,这是由一个麦克风灰度图像表示。接下来,小说深刻学习模型包含两层PCA卷积和非线性变换操作是专为提取空间特征和全球同步特性从麦克风灰度图像的高层抽象的特点。最后,这些高级特性是线性支持向量机的输入执行情绪识别任务。同步分析神经科学中广泛调查社区,和同步测量脑电图能有效描述底层大脑动力学(37- - - - - -39]。EEG信号的同步模式改变和改变情绪状态。麦克风被认为是最好的二元同步测量方法(40),可以在脑电图找到同步模式相关的情感状态。相比与传统的深度学习情感识别的方法(31日,35,36),PCA网络达到类似或更好的情感识别性能较低的计算复杂度。此外,PCA网络有效地学习来自麦克风灰色图像,健壮的不变性特性和过滤学习不需要正规化参数和数值优化解算器(41]。

本文的其余部分组织如下。情感数据和模型,MIC-based特征提取方法,PCANet-based情感识别方法介绍了部分2。实验结果描述第三节。第四节提供了一个讨论。第五节这项工作提供了一个简短的结论。

2。材料和方法

2.1。数据集和情感模型

本研究采用DEAP数据集(42)来评估拟议的情感识别方法。DEAP是一个公共数据集进行情感分析,包括脑电图、生理、和视频信号。DEAP记录脑电图和外围32受试者的生理信号(包括16女性和男性,19岁到37岁的平均26.9)在看40分钟音乐视频刺激。这些视频中选择120 YouTube视频,每一个被选中来激活一个相关的情感状态。每个主题进行了40个试验,所以有1280试验(32科目40试验)的数据集。EEG信号在每个试验包括3 s基准信号和60年代刺激信号。对于每一个审判,32脑电图通道(Fp1、AF3 F7, F3, FC5 FC1, T7, C3, CP5, CP1, P7, P3,警察丙,Pz、O1,盎司,Fp2, AF4, Fz, FC2, Cz, C4, T8, CP6, CP2, F4, F8, FC6, P4, P8, O2,和警察丁)。每个实验对象被要求完成自我评估人体模特(SAM)对价,兴奋,主导地位,和喜欢每次试验后,呈现在图1,四个自我评估维度的规模从1到9不等。原始脑电图数据预处理和相应的情绪自我评估DEAP数据集用于这项工作。EEG信号(512赫兹)加工去除眼电图的影响(小城镇),然后downsampled 128 Hz。带通滤波实现了截止频率的4.0和45.0赫兹。

在这项研究中,arousal-valence规模是用于情感分析,因为它可以测量情绪有效和广泛应用于类似的研究。如图2,可以构造一个二维的情感模型。冲动从非活动(例如,无聊,不感兴趣)活跃(例如,兴奋,警报)和价范围从负面(如压力、悲伤)积极(如高兴、快乐)。

我们定义两个情感类对价和兴奋。对于每个试验的数据集,如果相关的自我评估值的兴奋大于5,然后分配给高的审判是唤起(HA)情感类。否则,这次审判是分配给低唤醒(LA)情感类。同样,有低价(LV)和高价价(高压)情感类维度。

2.2。MIC-Based深特性学习情感识别框架

考虑需要识别的性能和效率的分析,脑电图信号之间的同步学习方法使用一个简单而有效的深度特性是分析在这项研究。我们的方法包括特征提取阶段学习其次是高级的同步动态特性和模式分类的线性支持向量机,如图3。32路EEG信号分割窗口大小相同的12秒的实验。所有麦克风的测量计算每个时间窗口中的每一对通道和组织根据电极排列规则的麦克风灰色图像。这些图像处理和分类的深度学习架构基于PCA的网络。

2.3。基于最大信息的同步测量系数

大脑是一个大型网络的神经元,神经元的同步活动在不同地区可以提供有用的信息感兴趣的神经活动。大脑区域之间的关系可以被描述为电极之间的同步。然后,可以定义一个连通矩阵元素代表两个电极之间的信息同步。电极的顺序也很重要,因为空间功能的大脑区域连接矩阵可以保留。因此,本工作使用新方法探索同步和空间功能的大脑区域与情感状态。

2.3.1。最大信息系数

麦克风由同步测量计算方法,用来衡量两个随机变量之间线性和非线性同步关系(例如,二元EEG信号段)40]。这个概念源于最大探索信息化非参数统计。

具体来说,根据(40有限集)年代的有序对,x价值和y价值的年代划分为若干个一个网格和b网格(空网格允许),分别形成一个一个——- - - - - -b网格为代表G,每个网格分区分配的最大互信息由方程(1): 在哪里代表了互信息(43的分布和表示分区网格。的特征矩阵年代可以用方程表示(2),

麦克风的价值获得使用方程(3),样品的数量n,分区网格的最大数量小于 ,在哪里在这篇文章中。特征矩阵中的每个元素的值是在0和1之间。如果两个变量的顺序发生了变化,那么麦克风的价值保持不变。

激活大脑区域的神经元水平不同步在不同情绪状态。麦克风是一个非线性二元同步测量方法,而脑电图是不稳定和提供了非线性的生理信号。从理论上讲,麦克风可以有效地测量大脑区域之间的同步功能。因此,用麦克风来测量生理信号的同步(EEG)反映在不同的大脑区域可以获得显著的信息与相应的情绪状态有关。

2.3.2。麦克风灰度图像

研究表明,全球信息和空间特征的脑电图渠道可以提高情绪识别的性能13,24]。描述所有脑电图的空间信息和全球同步信息渠道,一个麦克风构造灰度图像作为所有脑电图通道的特性。施工过程的麦克风灰色图像如图4。

每一个脑电图的麦克风通道对每个样品测量。如果样品c通道,每个通道脑电图对测量需要一个麦克风,还有测量。这项工作的价值c设置为32,496麦克风功能获得了每一个样本。

构造特征矩阵时,脑电图通道的安排顺序是由排列规则。根据安排规则电极(Fp1、AF3 F7, F3, FC1 FC5, T7, C3, CP1, CP5, P7, P3, Pz、警察丙,O1,盎司,O2,警察丁,P4, P8, CP6, CP2, C4, T8, FC6, FC2, F4, F8, AF4, p2, Fz和Cz),所有通道脑电图对麦克风值相结合构建一个麦克风特征矩阵(MICFM),表示为U,如以下方程: 在哪里 代表之间的同步测量脑电图的麦克风通道我和j。MICFM是一个对称矩阵,当 , 。MICFM是由每一个样本,如b部分的图所示4矩阵中的每个元素,代表相应的脑电图通道的麦克风。例如,红色元素的矩阵图4(b)代表通道AF3和Fp1的麦克风。

增强的能力特征表示和提取高级特性,特性矩阵由麦克风表示灰度图像。如图4(c),每个像素的值对应的脑电图通道的麦克风。

在大脑区域,EEG信号的两个电极附近往往是由于体积电导效应相似。因此,电极排列规则保留相同的大脑区域的相似性信息以及大脑不同区域之间的差异信息。麦克风灰度图像显示了人类的EEG信号的同步变化在头皮上直接和准确。与传统特征相比,麦克风灰度图像包含的空间特征和全球同步多通道脑电信号的特点,这有利于识别情感状态。这些优势后,每个样品的麦克风灰度图像提取进行进一步分析。

2.4。PCA网络深度学习和情感识别功能

利用空间特征和全球同步特性,深入学习模型介绍了从话筒中提取高层特征灰色情感识别的图像。提出了深模型基于PCA的网络(41PCANet),由一层分层特征学习和一个线性SVM分类器。模型的结构如图5。首先,卷积过滤器特性学习层中的学习是基于输入通过PCA麦克风灰色图像。本地模式和相邻麦克风的灰色图像的差值模式利用主成分分析法(PCA)提取卷积过滤器。在cnn,卷积过滤器是随机初始化和直接决定学习的特点。的主要卷积过滤器这种PCANet-based深度学习模式,不同于cnn,利用主成分分析法(PCA)生成学习更有识别力的特性用一个简单的架构。这些区别的特性可以有效地代表不同的同步模式从脑电图信号在不同的情绪状态。类似于cnn,的第一部分PCANet-based深度学习模型可以由多层PCA过滤器,和这个工作只包括两个PCA卷积层。

第二,非线性处理层包括二值化和散列映射处理提高了分离的区别的特性。然后,基于块直方图用于降低维度的特性。最后,支持向量机分类器输出情感识别结果的基础上,从输入图像学高级特性。

假设存在N输入麦克风灰色图像的大小 ,卷积和补丁的大小在所有层k₁×k₂。只有PCA卷积过滤器需要从输入麦克风灰色图像 。模型结构的组件在下面详细描述。

2.4.1。第一主成分分析卷积层

为每个麦克风灰度图像训练集,k₁×k₂每个像素周围应用补丁。所有的补丁都可以获得的我届图像,即 ,在哪里代表了jth矢量化补丁的我th形象我_j。然后, 可以通过减去每个补丁的补丁的意思是哪里代表一个mean-removed补丁。相同的矩阵是由每个麦克风放在一起训练集的灰度图像。因此,方程(5)获得

假设过滤器的数量我th层是 ,PCA最小化重建误差在一组标准正交过滤器,如下方程表示: 在哪里是一个单位矩阵和的主要特征向量是解决方案。因此,可以被定义为PCA过滤器 在哪里lth的主要特征向量被表示为 ,这是映射到的函数 。在这里,是一个函数映射一个矩阵 。的变异mean-removed训练补丁被主导的主要特征向量。第一次卷积的输出层表示为二维卷积运算的用吗 。的输出我th输入图像 ,和是lth过滤器的PCA在第一卷积层。

2.4.2。第二主成分分析卷积层

第二次卷积层的操作类似于第一个卷积层,所有的补丁可以收集。后减去每个补丁的补丁的意思和收集mean-removed补丁的过滤器输出,得到以下方程: 在哪里代表了l -th滤波器输出补丁后的第一层意思,意味着从每个补丁。PCA过滤器被指示为更高的层

对每个输入的h -th层卷积与为 ,输出O将会有大小的图像 ,这样

对原样品 ,可以由额外的PCA卷积层重复这个过程。在这里,D投入生产D组输出 ,,每组包含图片在哪里 。因此,从所有网络输出图像的数量 。

2.4.3。非线性处理层

前一阶段后,从输入输出特性地图麦克风灰色图像获得和非线性处理的关键层。的输出hth层有D( )组,每组输出 。输出是使用亥维赛阶跃函数的关键一个积极的条目的值,否则为0,导致方程(11)。每个像素周围的向量二进制位被视为一个十进制数,这地图输出从回一个整数值“形象”,这样 每个像素值是一个整数范围从0到吗 。

降低维度的特性,基于块的直方图是下一个应用。每一个“图像”被划分到B块。然后,十进制的值在每个块的直方图计算所有B直方图是连接成一个向量,表示为 。因此,“高级功能”输入麦克风的灰度图像定义基于块的直方图,这样吗

这种基于块直方图编码特殊信息,并提供一定程度的翻译不变性在每一块获得的特性。本地块的块大小和重叠率的重要参数PCANet-based深度学习模型和将在下一节中讨论。

高层的脑电图特征后麦克风灰色图像由上述过程学到的。介绍了一种基于线性支持向量机内核处理提取的高级功能和执行情感分类任务。

3所示。结果

当一个深度学习模型是用于情感识别,足够的数据来实现有意义的性能至关重要。在这项工作中,我们通过时间增加可用的训练数据集分割方法。3秒钟审判前的基线被移除在第一阶段。这时,一个滑动窗口将每个通道的原始脑电图信号划分为几个部分。

我们发现,当滑动窗口的持续时间太短,麦克风的功能具有相同标签的样品有很大的不同,导致可怜的识别性能。另一方面,当滑动窗口的持续时间太长,样品的数量是不够的。因此,每个滑动窗口的持续时间设置为12,和段是不重叠的,以避免intratrial冗余信息进行训练分类器。每一部分在同期所有频道在一个试验被认为是一个独立的样品,和五个新样本继承了原始的标签。每个主题的样本数量增加到200(40×5试验部分),和样本的数量扩大到6400年的所有科目(200×32个样本对象)。所有实验进行的两个情感维度内唤醒和价。

3.1。对比全球麦克风EEG信号的特性和常见的特征

首先,全球麦克风功能与传统脑电图信号的时域和频域特性相比下常用的分类器。时域特性包括均值,方差,标准差,第一个区别,第二个区别,近似熵与192年(6×32通道)特性为每个样本值。频域特性包括平均PSD值(5×32脑电图频道)的脑电图渠道θ(4 - 8 Hz), slow-alpha (8 - 10 Hz),α(8 - 12 Hz),β(夫人Hz),和γ(30 - 45 Hz)乐队。此外,频域特性的差异还包括平均PSD(4×14频道对权力差异)在θ,α,β和γ乐队14脑电图通道双(Fp2-Fp1、AF4-AF3 F4-F3, F8-F7, FC6-FC5, FC2-FC1, C4-C3, T8-T7, CP6-CP5, CP2-CP1, P4-P3, P8-P7, PO4-PO3,和O2-O1)之间的头皮。

得到令人信服的结果,这两种类型的脑电图特征的维度应该是相似的。以前的研究也表明,融合特征的识别性能优于单一功能(23,36]。因此,我们把时域与频域特性的脑电图渠道形成融合功能。融合特征的维度和全球麦克风功能是408年和496年,分别。因为增加的尺寸特性可能导致贫穷的识别性能,这些时域和频域特性也与全球相比麦克风功能。

几个机器学习方法用于执行情绪识别任务通过使用这四个类型的特性。线性支持向量机分类器包括(SVM-1), RBF核函数支持向量机(SVM-2),再邻居(邻居= 5),逻辑回归(LR)和人工神经网络(ANN) (激活= relu,α= 1e−05年,batch_size=汽车,beta_1 = 0.9,beta_2 = 0.999,learning_rate_init= 0.001,max_iter= 200)。安由两个隐藏层,与100个节点,每一个都是由Scikit-learn工具包实现(44]。对于每一个分类器,上述参数不使用默认值。所有实验进行的两个情感维度(觉醒和价)通过使用10倍交叉验证技术,和样品的所有科目。达到最好的识别结果,融合特性,时域特性和频域特性归一化到0到1的输入之前SVM-1, SVM-2,事例,安为LR分类器分类器而不是标准化的。

脑电图特征的四种类型的识别结果在不同分类器在图所示6,表明全球麦克风功能实现令人满意的情感识别性能。进一步说明全球麦克风功能的有效性在情感识别中,实验结果进行比较。首先,在唤醒维度,全球的平均识别精度麦克风功能是0.6797,0.6769,0.6806,0.6383,和0.6827,分别在五个分类器(LR、事例、SVM-1 SVM-2,和安),详细如图7。与融合特性相比,五分类器的识别精度与全球麦克风功能提高了5.61%,7.55%,7.00%,3.84%,和5.94%,分别。与频域特性相比,五分类器的识别精度与全球麦克风功能提高了7.31%,8.65%,10.50%,2.69%,和5.81%,分别。与时域特性相比,五分类器的识别精度与全球麦克风功能提高了3.98%,4.72%,11.15%,4.62%,和2.48%,分别。这些结果表明,全球麦克风功能的识别性能唤起的情感维度比其他三种类型的特性在所有比较分类器。

全球麦克风功能的识别性能价维度的平均识别精度0.6638,0.6617,0.6598,0.6283,和0.6769的五分类器LR,事例,SVM-1, SVM-2,安,分别如图8。与融合特性相比,这些识别精度的五分类器使用全球麦克风特性提高了4.44%,10.49%,10.39%,8.85%,和7.39%,分别。与频域特性相比,五分类器的识别精度使用全球麦克风功能提高了5.99%,13.17%,10.25%,9.90%,和13.46%,分别。与时域特性相比,五分类器的识别精度使用全球麦克风功能提高了2.31%,5.64%,11.77%,8.42%,和4.40%,分别。这些结果表明,全球麦克风功能的识别性能价情感维度比其他类型的所有分类器的特性。

这些结果说明全球麦克风功能有效地描述EEG信号的差异在不同的情绪状态,和全球EEG信号的同步信息帮助识别情感状态。麦克风功能基于同步测量提供了新的思想情感识别的特征提取使用脑电图信号。

3.2。情感识别使用高级特性基于麦克风灰色图像

其次,从麦克风灰色图像中提取的高级功能PCANet-based模型是用于情感识别的任务。对于每一个样本,构造相应的麦克风灰度图像提供总共6400张图片使用的所有科目。10倍交叉验证技术也使用,验证的有效性提出了高级特性,不同的模型参数设置实验。PCANet-based模型的参数包括过滤器的每一层(和代表过滤器的数量在第一层和第二层,分别),每一层(过滤器的过滤器尺寸大小被定义为在第一次和第二次层和 ,分别),块重叠比率(BOR)和非线性处理的块大小层。

3.2.1之上。过滤器数量的影响

除了数量的过滤器,最初其他参数保持不变。块重叠率设置为0.5,两层的过滤大小 ,块大小是8×8。我们交替改变过滤器在每一层的数量,同时保持过滤器在其他层的数量不变。例如,当我们改变的价值 ,的价值是相同的。

结果在图9从我们的实验中,我们发现当的值和在一定的范围内,对识别性能的影响的两个情感维度显著变化。因此,的值和将1到21岁,7到15日。另外,如图9为任何值需要的最佳区间从9到17的唤醒维度和价7到17岁的维度。识别性能改善与提高 。然而,当的价值增加到15,识别精度可忽视地增加。随着过滤器的数量增加,显著增加计算资源和内存需求。因此,适当设置的值到15。

精度最高的0.7130的唤醒维度的组合来实现= 11,= 15。最高的精度达到了0.6958的价维度的组合= 9,= 15。此外,这些结果还表明,随着的增加和 ,的影响和在情感识别逐渐减少。此外,影响情感识别更重要在二维空间中。

3.2.2。过滤器的大小的影响

的最佳组合过滤器从一节获得的数量。这些参数下,滤波器的影响大小可能会调查。具体来说,滤波器的大小第二个层设置为5,7,9,11,分别和过滤器的大小第一层从3增加到15的间隔2。块重叠率设置为0.5,块的大小是8×8。识别结果如图10。

过滤器尺寸指的是输入图像大小,我们选择在我们的实验中适当的范围(从3到15日从5到11)的影响和在情感识别。如图10,增加 ,识别精度迅速上升。然而,当的价值继续增加,识别精度下降缓慢。此外,增加的 ,模型的识别性能呈下降趋势。任何价值需要的最优值是7价的唤醒维度和5维度。

另一方面,随着滤波器大小减少,计算成本显著增加,但识别性能并没有改变太多。最高的识别精度0.7169唤醒维度是通过结合= 7,= 5。0.6958识别精度最高的价维度的组合实现= 5,= 5。这些结果还表明,和对情感识别的性能有一定的影响,所产生的影响在哪里是更加明显。

3.2.3。块重叠率的影响

在确定滤波器的最优值大小和数量两个情感维度,情感识别的重叠率的影响下考虑。块大小是8×8,块重叠比率范围从0到0.9,所以所有重叠率的影响研究。识别结果如表所示1不同的值的块重叠比率。

如表所示1块重叠率的增加,识别性能变化小,这可能是由于两个原因。首先,麦克风灰色图像像素之间的规律性的每个审判并不明显。第二,每个参与者的全球麦克风特性是不同的。唤醒维度,最大识别准确率只有1.77%高于最小方差时只有0.2826。价维度,最大识别准确率只有1.69%高于最小方差时只有0.1656。这些结果表明,块重叠率没有显著影响识别的性能在使用麦克风时二维灰色图像。最好的识别精度两个维度实现当块重叠比率为0.2,0.7169和0.6968的值唤醒和价维度,分别。降低维度的特性而不影响识别准确性,块重叠率的建议被设置为0.2的两个维度。

3.2.4。块大小的影响

因为图像的形状是方形,只选择街区。块大小设置为4×4,5×5,6×6,7×7,8×8,9×9,10×10,11×11、12×12和13×13,而其他参数将从以上实验获得的最佳组合。

结果如表所示2块大小指的是输入图像的大小。当块大小小于4和大于13,识别性能的变化。因此,块大小的值范围从4×4到13×13。最初,规模增加,识别精度逐渐提高。随着规模不断增加,识别精度开始减少。块可以减少特征的维数,并提供一定程度的翻译得到的不变性特征。由于EEG信号的复杂性,可能会有各种麦克风灰度图像变形。块大小的增加,各种变形模型的鲁棒性增强,从而导致增加识别精度随着块大小的增加。

当块大小太大,获得的特征的数量模型很小,所以识别精度是令人不满意的。唤醒维度,最大识别精度为0.7185,当块大小6×6。此外,最大的识别精度高于最低1.80%,而方差是0.1776。价维度,最大识别精度为0.7021当块大小5×5。最大值是1.53%高于最小值,方差是0.1370。这些结果也表明,块大小对情感识别精度提供了一种轻微的影响。在这一点上,主成分分析网络的所有参数进行了分析,和最好的识别结果(觉醒:0.7185,价:0.7021)和参数设置。

3.3。对比全球麦克风功能和高级功能

说明高层的优点从麦克风灰色图像提取的特征对全球麦克风的特性,这些特性的识别性能比较结果见表3。

首先,我们比较两种类型的特征的识别精度使用相同的线性支持向量机参数。在唤醒维度,平均识别精度的高级特性是全球麦克风功能大于3.79%。价维度,高级特性的平均识别精度大于4.23%全球麦克风功能。

第二,Wilcoxon符号秩检验( )分析了高层的识别性能和麦克风功能在两个维度。在这里,一个零假设存在识别性能是相似的,如果接受p值大于 。的唤醒和价维度的值是0.002和0.0039,分别,这意味着高级特性的识别性能优于全球麦克风功能。这些比较的结果表明,高级功能可以提高情绪识别的性能在两个维度。麦克风灰色图像包括全球同步功能以及空间特征,它包含重要的信息与情感状态使高级特性的识别性能优于全球麦克风功能。

3.4。对比CNN和主成分分析基于网络的深度学习模型

的组件构建主成分分析基于网络的深度学习基本模型和计算效率。展示其明度和有效性,主成分分析基于网络的深度学习模型与传统的有线电视新闻网。从所有科目6400麦克风灰色图像,使用10倍交叉验证。得到令人信服的结果,卷积层的数量,CNN过滤器,过滤器的大小类似于PCA网络。CNN包括两个卷积层与第一个雇佣5×5内核步幅大小为1,ReLU激活函数,和十个过滤器。第二个卷积层特性相同的参数作为第一个除了有15个过滤器。输出层是softmax分类器,批量大小和时代是120年和500年,分别。

CNN的平均识别精度的唤醒和价尺寸是0.6907和0.6853,分别。的识别性能在两个情感维度比PCA网络的CNN平均PCA网络的识别精度(0.7185,0.7021)高于CNN的4.03%和2.45%。此外,CNN的整体训练时间明显长于PCA网络。PCA在实验过程中,训练网络6400的32×32像素尺寸持续了大约7分钟,而CNN却花了将近一个小时。据陈et al。41),两层的整体计算复杂度PCA网络训练和测试可以验证阶段

从方程(13),PCA网络提供了较低的计算复杂度。与PCA网络相比,CNN的过滤器需要数值优化解算器在训练阶段,大大增加了计算复杂度。CNN, PCA相比,基于网络的深度学习模式提供了更好的情感识别性能较低的计算复杂度。因此,适用于情感识别使用麦克风灰色图像。

4所示。讨论

本研究探讨麦克风和PCA基于网络的深度学习方法的可行性,这最近开发的大数据相关性分析和图像分类方法。考虑多通道相互依赖关系,数据从所有可用的频道都包含在特征提取使用麦克风和深度学习算法与传统的个人应用每个信道的时频分析。

4.1。同步动态与情感表达的脑电图

我们首先观察所有分类器和情感状态的情感分类性能更高使用麦克风特性相比,时频特性。许多研究表明,各种情绪大脑区域通常有不同的反应。当一个个体的情绪状态与回避动机,如厌恶和恐惧,一个清晰的激活在右额叶相对于左额叶。情绪状态与邻近的动机,如快乐、左额叶的激活程度相对于右额叶高(45]。因此,同步的大脑区域在相应的情绪状态可以用来代表情感的重要信息。全球麦克风功能可能揭示不同种类的动态感知唤醒水平和激发的过程,这可能反映出非线性模式测量麦克风。我们的实验证明这些特性随着全球同步测量麦克风优于用传统的时频分析,表明麦克风可能捕获各种有趣的成对大脑区域之间的关系,传统的时频分析无法捕捉。

情绪状态可以表示为生理电信号从大脑皮层代表反映在二维空间的范围。保留多通道脑电图信号的空间特征可以提高脑电图的分离特性在不同的情绪状态。因此,在这项工作中,根据电极排列规则,麦克风灰度图像由全球麦克风功能。麦克风灰度图像表示的特性更接近真正的大脑的反应,这可能包含额外的信息增益与情感与传统特色。摘要实验还表明,预留空间特征有利于情感识别。

4.2。无监督深层神经网络的优点

第二,实验结果表明,基于同步和空间特征的高级特性的多通道脑电图可以提高情绪识别的性能。神经网络成功地使用在许多领域,因为他们的高非线性、自适应权重调整,抗干扰和自适应特征选择。本研究使用PCA网络,网络模型,处理麦克风灰色图像,这无人监督的深度学习模型有效地捕捉同步和空间特征的麦克风灰色图像。

通过验证不同网络参数对识别性能的影响,我们发现,主成分分析网络的性能并不依赖于层数在处理麦克风灰色图像。过滤器提供了一个更大的数量和大小对识别性能的影响,而块大小的影响和BOR并不明显。这些观察表明,同步动态脑电图渠道之间的差异在不同的情绪状态是显而易见的。另一方面,与传统的cnn相比,基于PCA网络深度模型在两种情感维度和获得更好的识别性能较低的计算复杂度。PCA的基于网络的深度模型,采用PCA学习多级滤波器可以自动学习功能与情感的麦克风灰色图像,这自动特征提取方法是简单而有效的。在本文中,使用一个无监督的方法深度网络提取高层特征与情感脑电图为后续研究贡献新的想法。

4.3。在现有方法的优点提出了方法

结果该方法也和其他情感识别方法相比,基于相同的数据集。表4介绍了比较方法和情感识别结果的细节。其中,特征提取的中枢神经系统(CNS)被用于文献[42)和分层双向封闭的复发性单元网络(H-ATT-BGRU)被用于参考51]。

如表所示4,我们提出的模型的性能优于大多数实现识别精度最高的方法相比,除了文献[48在唤醒维度)。这种情况的原因可能是使用的方法在文献[48)利用与主体相关的情感分类模型,只有分类样本属于相应的主题。所有受试者的结果的平均值作为最终的识别结果。

相比之下,本研究使用样本所有主题,基于普通脑电图分类模型培养准确检测不同主题的情感状态。这项研究还表明,同步脑电图的改变通道可以用来代表一个人的情感的变化。另一方面,传统的情感分类方法依赖于时间和频率分析EEG,这需要足够的先验知识,我们的方法不需要先验知识。此外,该方法不需要去除EEG密集的噪音而其他可用的方法。

4.4。脑电图数据应用的潜力

使用麦克风找到复杂关联的脑电图数据和生理和心理信息由协会,如情绪和疾病,现在可以进一步分析。这种方法提供了一种新的方式使用脑电图相关模式分类和识别任务。此外,一个平行的麦克风计算方案可以减少计算复杂性的麦克风52),使实时同步分析EEG数据在真实的应用程序中。过滤器学习PCANet不涉及正规化参数或一个数值优化解算器。此外,建设PCANet只包括一个级联线性映射和非线性输出级。这样的简单和清爽的角度提供了一个可回旋的深度学习网络处理脑电图数据。整体工作使一般的和具有成本效益的解决方案脑电图和拥有潜力巨大的情感分类相关分类任务脑电图,如癫痫痴呆和阿尔茨海默病检测。

5。结论

基于动态同步的一种新的特征提取方法和深度学习提出了因为它使得基于脑电图多通道情感识别,包括两个主要的任务。首先,基于同步动力学方法用于提取全球麦克风功能的通道对EEG信号,然后由麦克风表示灰度图像根据提出的施工方法。麦克风灰度图像反映了全球同步信息以及所有EEG信号的空间特征。因此,图像包含空间和全球同步特性提供重要的信息与情绪状态有关。第二,主成分分析基于网络的深度学习模型和线性SVM分类器提取的高级功能和情感分类,分别。

实验结果表明,该特征提取方法取得了令人满意的结果,证明了麦克风功能可以自动、有效地描述突出信息脑电图信号与情绪状态有关。此外,这项工作表明,空间和全球同步功能包含在该麦克风灰度图像识别人类情感有益。深基于PCA的网络学习模式可以有效地挖掘和利用情感识别的两个突出信息维度。

数据可用性

本文使用的数据集是来自伦敦大学玛丽皇后(http://www.eecs.qmul.ac.uk/mmv/datasets/deap/)。

的利益冲突

作者宣称没有利益冲突的出版。

确认

作者要感谢中国国家自然科学基金的支持下批准号61502150,为河南大学的基础研究基金批准号NSFRF1616,河南大学重点科研项目批准号19 a520004。

引用

1. p . Marrero-Fernandez a . Montoya-Padron a . Jaume-i-Capo和j·m·b·卢比奥评估情感自动识别的研究,“IETE技术评审没有,卷。31日。3、220 - 232年,2014页。视图:出版商的网站|谷歌学术搜索
2. y黄,j·杨,p .廖,j .锅”融合的多通道情感识别面部表情和脑电图,”计算智能和神经科学卷,2017篇文章ID 2107451、8页,2017。视图:出版商的网站|谷歌学术搜索
3. m . e . Ayadi、m . s .卡迈勒和f . Karray”语音情感识别:调查功能,分类方案,和数据库,”模式识别,44卷,不。3、572 - 587年,2011页。视图:出版商的网站|谷歌学术搜索
4. Z.-T。刘、谢问:m .吴W.-H。曹,y梅,J.-W。毛”,基于一种改进的语音情感识别大脑情感学习模型,”Neurocomputing卷,309年,第156 - 145页,2018年。视图:出版商的网站|谷歌学术搜索
5. c . n . Anaqnostopoulos t Iliou, Giannoukos,“情绪识别的语音特征和分类器:从2000年到2011年,一项调查”人工智能审查,43卷,不。2、155 - 177年,2015页。视图:出版商的网站|谷歌学术搜索
6. p·d·罗斯和m . h . Grosbras老人l·保尔森”发展变化的情感识别完整和光电显示身体的运动,”《公共科学图书馆•综合》,7卷,不。9篇文章ID e44815 2012。视图:出版商的网站|谷歌学术搜索
7. m . Garber-Barron和m . Si”使用肢体动作和姿势的情感检测non-acted场景,”《IEEE国际会议上模糊系统布里斯班,澳大利亚,页1 - 8,2012年6月。视图:出版商的网站|谷歌学术搜索
8. a·霍夫曼j . Ozyurt k . Lohle j . Reichel c·m·希尔和h·l·穆勒,“第一次经验与催产素的神经心理影响政府在儿童颅咽管瘤,”内分泌卷,56号1,第185 - 175页,2017。视图:出版商的网站|谷歌学术搜索
9. y中,m .赵y . Wang j .杨和j·詹,“识别情绪使用多通道生理信号和一个深度学习模式,”计算机在生物医学方法和项目卷,140年,第110 - 93页,2017年。视图:出版商的网站|谷歌学术搜索
10. m . k . Abadi m .起亚r .萨勃拉曼尼亚·Avesani和n·“解码视频采用梅格大脑中影响信号,”学报》2013年第10自动脸上IEEE国际会议和研讨会和手势识别(FG),页1 - 6,上海,中国,2013年4月。视图:出版商的网站|谷歌学术搜索
11. X.-W。王,d .聂,B.-L。陆”,情绪状态分类从脑电图数据使用机器学习方法,“Neurocomputing,卷129,不。4、94 - 106年,2014页。视图:出版商的网站|谷歌学术搜索
12. 因为它使得基于脑电图h . j . Yoon郑胜耀涌,“情感使用贝叶斯weighted-log-posterior函数估计和感知器算法收敛,“计算机在生物学和医学,43卷,不。12日,第2237 - 2230页,2013年。视图:出版商的网站|谷歌学术搜索
13. j . y . Li黄、周h . n .钟和n .钟,“人类情感识别脑电图仪的多维特征的混合神经网络,”应用科学,7卷,不。10,1060年,页2017。视图:出版商的网站|谷歌学术搜索
14. 刘y和o . Sourina从脑电图实时识别fractal-based价水平。”在计算科学十八事务卷,7848年,第120 - 101页,2013年。视图:出版商的网站|谷歌学术搜索
15. m . Murugappan:拉玛钱德朗y Sazali,“人类情感分类使用离散小波变换,从脑电图”生物医学科学与工程》杂志上,3卷,不。4、90 - 396年,2010页。视图:出版商的网站|谷歌学术搜索
16. t . y .柴w·s·圣c . s . Tan和m . Rizon“人类情感分类通过脑电图信号统计特性和神经网络,”国际期刊的综合工程,1卷,不。3、1 - 6,2009页。视图:谷歌学术搜索
17. c . a . Frantzidis c . Bratsas c . l . Papadelis e . Konstantinidis c·帕帕斯和p·d·Bamidis”向情感意识到计算:一个集成的方法使用多通道神经生理学录音和情感视觉刺激,”IEEE在生物医学信息技术,14卷,不。3、589 - 597年,2010页。视图:出版商的网站|谷歌学术搜索
18. b . Hjorth“脑电图分析基于时间域属性”,脑电图与临床神经生理学卷,29号3、306 - 310年,1970页。视图:出版商的网站|谷歌学术搜索
19. e . Kroupi a Yazdani, t . Ebrahimi“脑电图关联不同的情绪总会在看音乐视频,”诉讼的第四届国际会议上情感计算和智能交互施普林格,页457 - 466年,孟菲斯,TN,美国,2011年10月。视图:谷歌学术搜索
20. p c . Petrantonakis和l . j . Hadjileontiadis“情绪识别使用高阶口岸从脑电图,”IEEE在生物医学信息技术,14卷,不。2、186 - 197年,2010页。视图:出版商的网站|谷歌学术搜索
21. r . Jenke a .同行,m·巴斯”从脑电图对情感识别特征提取和选择,”IEEE情感计算,5卷,不。3、327 - 339年,2014页。视图:出版商的网站|谷歌学术搜索
22. w z阴,y . Wang l . Liu, j·张,“跨学科脑电图特征选择对情感识别使用转让的递归特性消除,”Neurorobotics前沿2017年,卷。11日。视图:出版商的网站|谷歌学术搜索
23. h, h . z智,l .董和y l .刘”识别情绪使用多通道脑电图数据和DBN-GC-based合奏深度学习框架,“计算智能和神经科学卷,2018篇文章ID 9750904, 11页,2018年。视图:出版商的网站|谷歌学术搜索
24. 刘h .曹国伟l .董y, b,“情感识别的多波段使用CapsNet EEG信号,”传感器,19卷,不。9日,第2227 - 2212页,2019年。视图:出版商的网站|谷歌学术搜索
25. 黄j .潘谢,h . et al .,“Emotion-related意识因为它使得基于脑电图检测意识障碍患者通过一个BCI系统”人类神经科学前沿,12卷,p。198年,2018年。视图:出版商的网站|谷歌学术搜索
26. h .黄问:谢,j·潘et al .,“因为它使得基于脑电图的大脑计算机接口情感识别及其应用在意识障碍患者,”IEEE情感计算,2019年。视图:出版商的网站|谷歌学术搜索
27. Y.-P。林,学术界。王,t·p·荣格et al .,“EEG-based情感识别音乐听,”IEEE生物医学工程卷,57号7,1798 - 1806年,2010页。视图:谷歌学术搜索
28. s . k . Hadjidimitriou和l . j . Hadjileontiadis”,因为它使得基于脑电图对一个识别的音乐喜欢利用时频分析,“IEEE生物医学工程卷,59号12日,第3510 - 3498页,2012年。视图:出版商的网站|谷歌学术搜索
29. r·e·j . Yohanes w . Ser、G.-b。黄”,离散小波变换系数的情感识别脑电图信号”美国第34 IEEE国际会议在医学和生物学社会工程圣地亚哥,页2251 - 2254年,美国,做好2012年。视图:出版商的网站|谷歌学术搜索
30. 郑胜耀涌和h . j . Yoon”情感分类使用贝叶斯分类器和监督学习,”学报2012年12日国际会议控制、自动化和系统,页1768 - 1771,济州岛,韩国,2012年10月。视图:谷歌学术搜索
31. 王d和y商”,与深层信念网络建模的生理数据,”国际科学教育杂志》上,3卷,不。5,505 - 511年,2013页。视图:谷歌学术搜索
32. 中州。Kwon S.-B。胫骨和告诫。金,“基于脑电图的融合二维(2 d)卷积神经网络(CNN)模型对情感识别系统,”传感器,18卷,不。5,1383年,页2018。视图:出版商的网站|谷歌学术搜索
33. j . Suwicha p . n . Setha i Pasin,“EEG-based情感识别使用深度学习网络和基于主成分的协变量转变适应,”科学世界日报文章ID 627892卷,2014年,10页,2014。视图:出版商的网站|谷歌学术搜索
34. x, d .歌曲,张平,y . x,和b·胡”深度融合的多通道神经生理学信号情感识别和监控,“国际期刊的数据挖掘和生物信息学,18卷,不。3,1-27,2017页。视图:出版商的网站|谷歌学术搜索
35. d . x Li歌,张平,g . Yu y侯,和b·胡“情感识别从多渠道脑电图数据通过卷积递归神经网络,”《IEEE国际会议上生物信息学和生物医学(BIBM)IEEE,页352 - 359年,深圳,中国,2016年12月。视图:出版商的网站|谷歌学术搜索
36. b . Mccane y, z黄,菲比,”因为它使得基于脑电图EmotioNet:三维卷积神经网络情感识别,”《IEEE国际神经网络(IJCNN)联席会议,页1 - 7,里约热内卢,巴西,2018年7月。视图:出版商的网站|谷歌学术搜索
37. d .崔w . Pu、j .刘et al。”一个新的脑电图同步强度分析方法:基于S-estimator规范化weighted-permutation互信息,“神经网络卷。82年,此前,2016页。视图:出版商的网站|谷歌学术搜索
38. 崔d·陈,李x, d, l . Wang和d,“全球同步测量多元与大规模并行非线性相互依存分析神经信号,”IEEE神经系统和康复工程,22卷,不。1,33-43,2014页。视图:出版商的网站|谷歌学术搜索
39. j·d·Bonita l . c . c . Ambolode b·m·罗森博格et al .,“时域反应器内脑电图相关性的措施:比较线性的,非参数和非线性措施,”认知神经动力学,8卷,不。1、1 - 15,2014页。视图:出版商的网站|谷歌学术搜索
40. d . n•y . a•h·k·芬努凯恩et al .,“检测小说在大型数据集关联。”科学,卷334,不。6062年,第1524 - 1518页,2011年。视图:出版商的网站|谷歌学术搜索
41. 郭宏源。Chan k .贾美国高,j . Lu z曾庆红,和y妈,“PCANet:一个简单的深度学习基线图像分类?”IEEE图像处理,24卷,不。12日,第5032 - 5017页,2015年。视图:出版商的网站|谷歌学术搜索
42. s . Koelstra c . Muhl m . Soleymani et al .,“DEAP:数据库进行情感分析;利用生理信号,”IEEE情感计算,3卷,不。1,18-31,2012页。视图:出版商的网站|谷歌学术搜索
43. a . Kraskov h . Stoegbauer, p . Grassberger,“估计互信息,”物理评论E统计非线性和软物质物理学,卷69,不。6、文章ID 066138, 2003。视图:谷歌学术搜索
44. f . Pedregosa g . Varoquaux a Gramfort et al .,“Scikit-learn:机器学习在Python中,”机器学习研究杂志》上,12卷,不。10日,2825 - 2830年,2013页。视图:谷歌学术搜索
45. t .磐和m . Noshiro脑电图活动在额叶区域在积极和消极的情感体验,”学报2012年ICME复杂的医学工程国际会议(CME)科比,页418 - 422年,日本,2012年。视图:出版商的网站|谷歌学术搜索
46. b . j . Chen, p·摩尔,张x, x马,“Electroencephalogram-based情感评估系统使用本体和数据挖掘技术,”应用软计算,30卷,第674 - 663页,2015年。视图:出版商的网站|谷歌学术搜索
47. 因为它使得基于脑电图h .徐和k . n . Plataniotis”影响状态分类使用深层信念网络,”学报2016年数字媒体产业和学术论坛(DMIAF)圣托里尼岛,页148 - 153年,希腊,2016年7月。视图:出版商的网站|谷歌学术搜索
48. n .壮族y曾庆红,l, c, h, b .严,“情感识别使用EMD多维信息领域,从脑电图信号”生物医学研究的国际卷,2017篇文章ID 8317357、9页,2017。视图:出版商的网站|谷歌学术搜索
49. d .黄、张s和y张“EEG-based情感识别使用经验的小波变换,”学报》2017年第四届国际会议系统和信息学(ICSAI)杭州,页1444 - 1449年,中国,2017年11月。视图:出版商的网站|谷歌学术搜索
50. 李x, d的歌,张平,y, y, b .胡,“探索跨学科脑电图特征情感识别,”神经科学前沿,12卷,不。162年,2018年。视图:出版商的网站|谷歌学术搜索
51. d . m . j . x Chen江,y . n .张”层次结构双向格勒乌模型关注因为它使得基于脑电图的情感分类,“IEEE访问7卷,第118540 - 118530页,2019年。视图:出版商的网站|谷歌学术搜索
52. c . Wang x, x周,a . Wang“简短声明:麦克风+ +:加速系数最大信息计算与gpu和fpga,”第28届ACM学报》研讨会在并行算法和架构,页287 - 288,纽约,纽约,美国,2016年。视图:出版商的网站|谷歌学术搜索

版权

版权©2020郝曹国伟等。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。