文摘
由于人类情感的复杂性,不同情感特征之间有一些相似之处。现有的情感识别方法特征提取困难的问题和低精度,所以双向LSTM和注意力机制基于脑电图多通道表达情感识别方法。首先,面部表情特征提取是基于双线性卷积网络(BCN)和脑电图信号转变成三组频带图像序列,和BCN用于融合的图像特征来获得多通道脑电图表达的情感特征。然后通过LSTM注意力机制,重要的数据提取过程中时间建模,有效避免了随机性或失明的抽样方法。最后,特征融合网络的三层双向LSTM结构设计融合表达和脑电图特点,这有助于提高情绪识别的准确性。MAHNOB-HCI和DEAP数据集,该方法是基于MATLAB仿真平台进行了测试。实验结果表明,该注意机制可以增强图像的视觉效果,与其他方法相比,该方法可以更有效地从表情和EEG信号中提取情感特征,和情感识别的准确性较高。
1。介绍
随着计算机和人工智能技术的迅速发展,计算机智能是越来越多的关注。情感识别是人机交互的重要研究问题之一,计算机智能的关键技术1]。情感识别研究的目的是建立一个机器人系统能够识别人类的情感,给正确的反馈,使人机交互过程更友好(2]。情感识别是人类情绪状态的检测分类识别等计算机技术;人类希望让电脑感觉,理解,甚至通过智能技术很好地表达自己的情感,同时,希望完成相关指令通过人类情感操纵计算机,实现计算机智能的情感计算(3]。
目前常用的情感信号包括外部直观的情感信号,如语音和姿势和内部生物电子信号如脑电图和心电图(4]。其中,语音信号是最方便和直接的方式让对方的情绪状态从许多外部情感信号(5]。但对于演讲过程中,故意隐瞒信息不能做出准确的判断。心电图和脑电图等内在的生物信号,虽然没有直观的表达情感信息,比如语音信号情感识别系统由生物信号更可靠,因为生物信号由主观操纵不容易被修改。在众多生物电子信号,脑电图可以反映数以亿计的神经元的活动在大脑皮层,方便收集的特点,简单的成本,和高时间分辨率(6]。研究表明,不同的情绪状态反映了不同的大脑皮层脑电图信号。因此,脑电图信号可以作为有效的内在生物电子信号来表达人类情感信息(7]。如何有效处理EEG信号并提取EEG信号中包含的情感信息目前的主要研究问题的情感识别脑电图信号。
为了建立一种情感识别系统更符合人类的情绪处理机制,突破瓶颈的多通道情感识别技术相结合的不同生理信号来评估情绪状态已成为一个研究热点8]。多通道情感识别系统可以结合多通道之间的冗余信息,减少不同的模式,使情感信息相互补充以达到更好的情感识别效果(9]。尽管取得了一些进展多通道情感识别技术,当前的情感识别效果不会达到理想状态由于研究周期短。因此,如何构建一个多通道情感识别系统将情感计算研究的另一个关键问题10]。
基于上述分析,一个表达式脑电图多通道情感识别方法提出了基于双向LSTM和注意力机制解决单模的问题,这是难以深入提取信号特征和低情感识别的准确性。(1)双线性卷积网络(BCN)设计了一个新的投影层,并使用一维滤波器来提取最优特征空间。因此,该策略基于BCN提取面部表情特征,将脑电图信号转换成三个频段的图像序列,并使用BCN融合其形象特征来获得更准确的表达脑电图多通道情感特性(2)为了避免抽样的随机性或盲方法,介绍了注意力机制LSTM网络,和特征融合网络三层双向LSTM结构旨在结合表情符号和脑电图特点来提高情感识别的准确性
2。相关的工作
情感是人类认知过程的作用,有意识的过程,它是人类生理过程不可或缺的一部分。语音情感识别是目前相对成熟,语音情感识别已被应用于不同的行业。语音情感识别系统的建设主要包括三个部分:建立一个数据库,情感特征的提取,一种情感分类模型的建设。为了更有效地评估情绪,语音识别系统的研究得到了广泛的应用,相关研究人员(11]。建立一个有效的数据库是构建一个语音情感识别系统的基础。获得情感特性的一个子集,有效地代表情感的程度差异是构建一个语音情感识别系统的关键。语音情感分类模型的建设是实现语音情感识别的关键。文献[12标识数据库的三个基本元素,特征提取,分类方法在语音情感识别系统,讨论了语音情感识别系统的性能,并使用HMM(隐马尔科夫模型),GMM(高斯混合模型),和SVM(支持向量机)来实现情感识别。语音情感识别算法的基础上提出一种改进的内核堆栈稀疏的深度模型在文献[13]。基于自动编码器算法改进,去噪自动编码器,稀疏的自动编码器。测试数据集上的评价结果表明,该算法比现有算法在语音情感识别的准确性,但它很容易受到外部环境的影响在实际应用程序中,有很多的限制。
在许多生物电子信号,EEG信号,大脑神经活动的产物,是比其他生物电子信号(用于情感识别14]。脑电图信号是通过记录潜在的大脑皮层的变化,可以影响外部刺激或人类情感意识,和其他活动。文献[15)使用分类器模型来识别人类的情绪状态或情绪通过脑电图信号和使用分类器基于DBN(深层信念网络)利用提取的特征进行分类和识别情绪。最后,分析了该方法的可行性指标的准确性、敏感性和特异性,结果表明,该方法可以准确地识别情绪。文献[16)提供了一个有效的情感识别方法基于FAWT(灵活的分析小波变换)。FAWT脑电图信号分解成不同的子带信号,使用潜在的信息提取功能分解子带信号的脑电信号,然后进入平稳的随机森林和支持向量机分类器分类的情感。与现有的方法相比,该方法显示更好的性能在人类情感分类。electro-electrical情感识别的信号,目前的研究困难是建立有效的数据库和脑电图的情感特征的提取;上面的方法都是基于单一模态数据库;尽管它有更好的普及,精度不高。
目前,情感识别通过单个信号取得了很好的识别效果,但情感识别通过单个信号常常被其他信号,使情感识别系统的过程中情感识别有一定的局限性。因此,为了克服识别率低的问题单一模态的情感信号和情感信号之间的相互影响,多通道情感识别已成为一个研究热点在情感计算(17]。多峰性的结合,各种情绪信号,和各种情感信号是相辅相成的。从人类的角度感知的情感机制和处理模式,多通道情感识别可以更真正实现仿真和重建人类情感的处理机制。所以,多通道情感识别系统的建设具有重要意义对情感计算的实现18]。文献[19)提出了一种多通道情感识别方法,集成了语音和脑电信号,诱发快乐,悲伤,愤怒,和中性情绪通过声音刺激,收集相应的演讲和脑电信号,提取脑力的非线性几何和属性特征,构造特征融合算法基于约束玻耳兹曼机,和构造多通道情感识别系统通过使用二级决定通过决策融合算法。结果表明,多通道的整体识别率情感识别系统由功能融合1.08%和2.75%高于单一模态的声音信号和脑电信号,分别。然而,该方法不能快速地找到情感关键信息的多通道信号包含大量的冗余信息,因此模型的总体效率需要改善。在文献[20.),一种新颖的视觉表情特征提取和分类方法基于特定连续的位移地标在连续帧的声音。离散小波变换用于分析的位移信号具有里程碑意义,和各种各样的降维计划是用来减少派生模型的复杂性,提高效率。SAVEE实验结果,RML, eNTERFACE05数据库显示视觉特征提取方法的有效性,但改善的互动协作融合异构多通道信号的人类情感可以进一步提高识别的准确性。传统的多通道情感识别的基本思想方法是手工设计和提取每个模式的特征,然后把多通道信号,最后使用标记数据集训练模式分类器。然而,这种方法效率低在处理大规模的人类情感数据(21]。近年来,流行的深度学习方法有很强的表达能力的特性。
目前,大部分的情感识别方法基于脑电图和面对视频作为两种模式的信号时间序列构造LSTM情感识别模型的两种模式,分别学习每个序列的识别结果,最后在决策级融合识别结果。文献[22)成立了一个心理生理数据库,数据库分类EEG, GSR, 30和心率参与者暴露在情感虚拟环境。743特性提取生理信号。使用特征选择技术,特征空间的维度是只有30特性减少到一个更小的子集。使用资讯,支持向量机,尊敬的分析(DA),和分类树(四个分类技术),情感心理生理数据库分为四个情感集群和八情感标签。实验结果表明,生理信号可用于分类和高精度的情绪体验。
尽管越来越多的研究人员关注多通道情感识别技术,整体情感识别率相对较低,这是不够的在现实生活中应用。因此,多通道情感识别将重点研究在情感计算部分(23,24]。
3所示。基于双线性卷积网络特征提取
情感识别的输入信号是面部表情和脑电图信号收集的参与者,当他们观看emotion-induced视频。其中,面部表情的面部活动信号收集的普通相机和属于视觉信号(25]。EEG(脑电图)信号指的是电生理信号由大脑神经元的自发和有节奏的运动记录在头皮表面按时间顺序,它属于生理信号。脑电图信号收集通过允许参与者大脑佩戴电极帽在看emotion-induced视频获取脑电图信号来自32个不同的位置在人类大脑皮层。很难融合两个异构信号直接的方法提出了提取表达式和泛化能力强的特点,同时有效地相互作用和协同加强两种模式的特点。特征提取过程如图1。
面部表情,BCN用于提取面部表情特征。与传统的特征提取方法相比,BCN有更强的能力挖掘数据的潜在分布表达式特性(26]。如图1脑电图信号来说,第一步是脑电图信号转换成图像序列三个乐队。这种可视化处理保存的时空特征时脑电图信号两种模式统一成图像。然后,脑电图图像的特征提取根据BCN和空间带注意力机制,解释如下:
(1)特征提取过程的面部表情。首先,使用快RCNN模型检测视频帧的表面积,然后使用BCN从脸部区域,提取特征,最后使用完整的连接层来处理特性,输出最终的特征向量 。
(2)脑电图信号的特征提取过程。首先,删除原始EEG信号的小波软阈值算法得到一个相对纯净的信号。然后,EEG信号分为每一段的时间( 对应的帧速率面部表情)使用数据处理方法。同时,频谱能量信息 , ,和乐队的脑电图提取 - - - - - -th带数据,脑电图上的三个乐队可视化图像对应32电极的电极帽。随着人类情感激活增加, - - - - - -波额头发展显著增加。最后,用于提取BCN层特性 , ,和从三个乐队的脑电图图像;然后,重要性三组的特性计算使用空间乐队的注意机制,和输出特征向量处理使用完整的连接层。是计算 在哪里 , ,和代表重要性分配 , ,和 ,分别。每个特性的重要性如下: 在哪里是学习权重矩阵,偏差,隐藏的状态吗在多层网络。
BCN的网络结构如图2主要由6个网络层,即两个投影层,一层一维卷积,两个完整的连接层,和一个Softmax层。BCN CNN和传统有很大的差异,主要体现在其作为筛选功能的网络输入矩阵而不是原始照片,我们设计了一个新的投影层找到关键点之间的最佳组合和最优特征空间的特征方向一维滤波器的使用与高分化[学习特点27]。
构建输入特征矩阵时,假设重点从每个表达式位于和形象 - - - - - -维筛选为每个关键点提取特征向量,然后BCN的输入是一个 特性矩阵。然后进入了BCN特征矩阵特征学习和分类(28]。在这个过程中,首先,特征矩阵通过包含多通道离开了多个投影矩阵的投影层找到关键点的最佳组合。同样,在第二投影层,对多个投影矩阵将进一步优化特征空间。
假设 是 - - - - - -离开了多个投影矩阵包含渠道,是 - - - - - -th频道 ,和是剩下的数量多投影矩阵;然后,左边可以定义多个投影层 在哪里是的输出特性和通道是通道的输入矩阵。同样,正确的投影层多个投影矩阵,
上述操作后,对多个投影层项目输入矩阵的每一行从当前特征空间到另一个特征空间,也是一个有着鲜明个性的特征降维的作用。
一维卷积层使用一组多通道过滤器过滤输入的特点,和层往往是结合使用的最大池层。卷积的过程中输入功能,一维滤波器可以产生强大的应对地方特色与一个特定的结构和抑制地方特色的响应值不同的结构,这使得过滤器捕获关键局部结构特征矩阵。卷积滤波操作后,响应最大化获取输出卷积层的特点。
最大池层的输出将通过一个非线性激活函数增加的灵活性BCN之前转移到完整的连接层。假设的输出矩阵的最大池层可以表示为 ( , ,和代表通道的数量,数量的行,和矩阵的列数,分别),非线性激活过程可以表示如下:
的公式, 是输出矩阵的非线性响应函数和矩阵的大小是一样的输入矩阵,然后呢是行D和列元素值的吗 - - - - - -矩阵的通道。
的公式, 代表输出的非线性响应函数矩阵,矩阵的大小是一样的输入矩阵,和代表的元素值信道矩阵的在列和行 。非线性激活函数是一个双曲正切函数,这是由 ,而代表全球抵消通道的输入矩阵在非线性变换。
完整的连接层和Softmax层用于BCN同那些在传统的CNN,完全连接层延伸非线性之后发生改变的响应矩阵向量和项目,最后将通过将Softmax层。当BCN的训练,训练数据集分成几个批次的数据,然后依次输入网络。根据定义的损失函数,预测概率之间的差异和实际计算类别的样本。
4所示。基于双向互动协作流程LSTM和注意力机制
4.1。特征融合
特征融合用于集成不同类型的特性来实现冗余和特性有利于分析和处理。一般来说,有两个直觉融合神经网络方法:添加和连接。add方法是地图的特性,这就增加了数量的信息描述图像的特征,但维度描述图像本身并不增加,但在每个维度的信息量越来越多,这显然有利于最终的图像分类。连接是一个合并的渠道;即增加描述图像本身的特性,而在每个特性不会增加的信息。直接缝合的多层网络中的信息不能更好地利用之间的互补特性,所以考虑将功能映射到多个子空间加权融合和缝合在一起。
类似于一般的神经网络方法,子空间是一个superparameter的数量。对于每个子空间,相应的中央随机变量定义和初始化同时也映射矩阵初始化随机性,计算自适应权重基于特征之间的距离和中央变量。与神经网络模型参数,最终得到所有映射矩阵和中央变量通过BP算法训练神经网络。
假设层特征提取,每个特性是由 ,维度的特性是 ,映射矩阵 定义,特性映射到一个子空间,子空间下进行加权融合,和中央变量 定义, 和代表子空间设置的数量,代表了映射到子空间特征维度。自适应权重计算和子空间特性缝合在一起。特征融合的过程如下:
的公式,对应的重量功能的子空间,代表了功能之后添加子空间和重量融合,表明形成的最终功能融合每个子空间特性融合的缝合。
4.2。LSTM注意力模型
注意模型包含两种注意机制。软计算过程的注意机制是微妙的,可以很容易地嵌入到一个已知的框架,可以传播梯度注意力模型(29日]。困难的注意机制是一个随机过程的隐藏状态是有一定概率采样。为了转移梯度,蒙特卡罗抽样通常是用来估计梯度,使硬注意力机制不能很好地作为一个模块嵌入在已知模型。因此,为了便于模型训练,柔软的注意机制引入LSTM网络形成AM-LSTM(注意力mechanism-LSTM)网络。
注意模型权重的输入向量在每个时间步生成一个新的向量如下:
的公式,代表了乙状结肠激活函数,代表权重矩阵,代表偏移向量。输入向量中每个元素的重要性是由当前输入和隐藏状态 。
注意响应乘以的输入向量,输出一个新的输入向量 ,这是计算如下:
然后LSTM网络模块中的激活函数迭代计算基于新的输入向量元素。的递归神经网络的计算单位注意模块是形式化如下:
, , ,和输入门口,忘记门,输出盖茨,和内存单元。为了防止过度拟合,辍学算法介绍了培训过程。在培训过程中,重层的参数是随机取样有一定概率的 ,和伯努利分布产生的是向量的概率 。大多数注意力机制使用Softmax计算每个元素的权重,权重的总和是保证是1,但在这种情况下,关注权重元素之间的相互影响,即使是相同的重要性。所以使用乙状结肠激活函数,可以归一化权重在0和1之间。
4.3。特征融合基于双向长期和短期记忆网络
特征融合可以分为早期融合和延迟融合。早期融合不能学习每个特性的时间序列动态任务要求时间序列建模。延迟融合可能失去的时间序列信息存在于多个模型的特征表示。为了解决上述问题,该方法设计了一种三层双向LSTM网络融合特性,如图3。
第一层的双向LSTM网络使用一个单独的双向LSTM层在时间序列模型每个特性。第二层将隐藏的功能从RGB图像模型和隐藏功能的深度图像使用线性函数模型,使用c形的函数添加非线性因素,在每个时间步和产生新功能表示。第三层使用双向LSTM网络模型的输出时间序列的第二层。
假设从RGB或深度模型提取的特征表示在时间吗 ,网络的三个层次描述如下:
(1)第一层。这一层的输入 ,假设代表一个双向长期和短期记忆网络层,和隐层的表示吗的时刻。
(2)层2。这一层使用一个线性函数来融合的特点,隐藏层和乙状结肠函数添加非线性因素。
的公式,是权重矩阵,是RGB的隐层的特性在时间吗 , 是隐藏层BCN的特性,是抵消,是乙状结肠函数。
(3)第三层。这一层使用双向LSTM层熔融特性的时间序列模型 。
最终的输出作为输入为最终的预测完全连接层。
4.4。损失函数用于培训
BP(反向传播)算法通常用于训练神经网络,和最直观的损失函数的函数来更新模型参数通过计算其反向传播梯度。使用不同的损失函数,容易让模型更关注学习的某些方面的数据特点,可以更好地保证的独特特征提取特征后,所以损失函数在网络优化有指导作用30.]。
分类网络一般训练与叉损失函数,如下: 在哪里 代表完整的连接层和输出代表真正的类别标签对应的输入样本。损失函数的本质是增加比例下降,这个类的样本落在决定这个类的边界。
然而,面部表情识别,叉损失函数不能保证提取特征的类之间的距离增加。主要考虑是否可以正确分类样本的约束,缺乏内部类和类之间的距离(31日]。一般来说,损失函数的人脸识别问题是通过两种方式解决。一方面,它结合了度量学习方法;另一方面,它是改善这个Softmax叉损失函数的基础上。损失函数添加一个额外的损失函数后叉加强组内的距离上的限制,使得组内的特征距离相同的样本变得紧凑但不够类之间的约束(32,33]。叉损失函数是直接提高了正常化和,并将之转换为余弦距离。
然后,引入区间约束和使用AM-Softmax计算方法如下:
所有功能,带动将Softmax分类器,使用上面的损失函数,如下:
在此基础上,融合的部分是添加的损失,损失函数计算过程如图4。
特征融合情况下,熔融特性被送入将Softmax分类器,和用于表示上述损失函数。为决策融合节用于表示上述损失函数(34,35]。添加所有的损失函数作为最终的损失函数,在以下形式:
5。实验方案和结果讨论
验证该方法的有效性,MATLAB仿真平台试验MAHNOB-HCI数据集和DEAP数据集和使用RA(识别精度)和F1-score作为识别评价指标。此外,二维arousal-valence情感空间用于实验,及其原理如图5。
在图中,水平价代表的有效性,表明积极和消极的情感,和垂直激励代表激活程度,表明强度和抑郁的情绪。通过设置有效性和觉醒,复杂而微妙的情绪可以表达和杰出的狂喜和快乐等,描述不同程度的愉悦和快乐,表达两种不同的快乐。二维情感空间已成为主要的维空间用于维度情感识别由于其结构简单和丰富的情感表达能力。
MAHNOB-HCI数据集是一个多通道情感识别和潜在的标签数据集,其中包括527套原始视频和音频和脑电图信号收集来自27个参与者观看20个视频。看每一个视频后,参与者使用的激活和效应值校准的情绪,被分成9水平(分别为1 - 9)。情绪也校准使用离散情感标签,分类实验的激活和有效性的情绪分为三个类别。
DEAP multimodal情感识别的数据集,包括面对视频、外部生理信号,和脑电图信号收集来自32个参与者在40个音乐视频。10个参与者的数据不包括面部表情视频。查看每个视频后,参与者使用校准情绪的激活和有效性(值1 - 9)。数据集情感激活和效度分为三个级别根据数值的大小。
模式识别的结果评估使用两个指标:识别准确性和F1-score,识别精度代表的数量的百分比在测试集样本正确分类样本总数在测试集。F1-score的统计测量multiclassification模型的准确性。它可以被视为一种加权平均模型的准确性(精度)和召回率(回忆),可考虑模型的精度和召回率。识别准确性和F1-score计算如下:
的公式,代表的样本总数的情感在测试集数据; , ,和代表积极的总数,错误,错过了所有的测试样品,分别。
5.1。视觉效果比较的注意机制
为一组选择MAHNOB-HCI数据集样本的情感识别测试和可视化情感数据给出每个步骤的关键信息6和7。只有四个时间步长选择时域形象化的注意机制。图中顶部栏代表三个乐队EEG信号的重要性 , ,和在每个时间从下到上。
可以看到从上面的两个数据,该方法可以快速、准确地找到有效信息和分析数据更频繁的地区有效的信息获取更准确的鉴定结果。从图可以看出6,当参与者变得更加紧张和情感上更活跃,脑电图 - - - - - -波逐渐占主导地位,这与脑电图的结论是一致的 - - - - - -波在生理支配人类的情绪状态,压力,焦虑,恐慌,等等。增强的脑电图 - - - - - -波,人体将越来越紧张的状态。在这种情况下,人类的身心能量消耗快,很容易感到压力和疲劳。从图可以看出7, - - - - - -波主宰人类情绪状态仍然稳定在一个较低的激活水平。生理研究表明,当人类大脑的主要频率波 - - - - - -波,人清醒,放松,也是人类思维的最佳状态。
5.2。比较学习效果的面部情绪显著特性
在面部表情特征的学习阶段,四个方法(方法和引用14,20.,28)被用来比较的结果特性学习基于DEAP数据集在唤醒和价的两个维度,分别如图8和9。的 - - - - - -平方系数和损失函数学习作为评价指标的特征。的 - - - - - -平方系数回归任务代表之间的符合程度,计算的预测价值和品牌价值的变化数据。更大的价值 - - - - - -平方系数,更好的适应程度和特征提取的效果就越好。的 - - - - - -平方系数函数如下:
的公式,是现实的情感标签序列,是情感上的预测价值序列,是现实的情感标签序列的平均值。
从图8可以看出,与其他方法相比,该方法具有最高的 - - - - - -平方系数唤醒维度,很低,接近0.05,表明特征提取的效果是最好的。从图可以看出9,该方法的平方系数为0.63,损失是非常接近0.002,网络结构比其他方法更简单。因此,该方法达到更好的特征提取结果的二维arousal-valence情绪状态空间。
5.3。与维情感识别相比其他方法的结果
二维情感空间表达式是用来比较维度情感识别结果与参考文献[16,19,20.MAHNOB-HCI)的数据集,如表所示1。
从表可以看出1,尽管该方法不如优化方法方面的损失,相关系数更好地反映之间的符合程度,情感预测价值和情感标签值。此外,该方法的识别精度超出了许多方法的结果,和识别精度等级的注意机制建立在此基础上表现最好的。最后,损失是优化和识别率的准确性是0.749和0.706两个维度,分别,这表明该方法能更有效地提取情感表情符号和脑电信号的特点结合起来。
5.4。从多个情感识别方法的比较结果
验证了该方法的性能,本文的结果比较与参考文献[16,19,20.),如表所示2。
从表可以看出2,该方法的识别精度和F1和其他方法相比,明显改善。因为其他方法直接分析多通道情感信号包含大量的冗余信息,该方法引入了注意力机制,压缩冗余信息,提高了准确性。MAHNOB-HCI数据集,激活情感识别的准确性和F1分别提高了1.1%和0.021,分别和情感功效价值识别和F1的准确性提高了0.4%和0.024,分别与方法在文献[19),显示更好的识别结果。和DEAP数据集上的识别精度高于MAHNOB-HCI数据集因为DEAP数据集的更多信息,这有利于学习和分类功能。
此外,它可以从表2识别的情感效应值优于情绪激活。这是因为情感激活的程度是用来表示程度的情感动机,和情感的价值效应用于显示人们是否好或坏在评估他们的情绪状态。与情感的价值效应相比,它更容易直观地分析和理解。特别是,在文献[FAWT16)脑电图信号分解为不同的部分波段信号MANOB-HCI数据集,从使用潜在的信息,提取特征并抚平成随机森林和SVM分类器,分类的情绪。它在价值识别的有效性达到好的结果。总的来说,提出更有效的方法。
6。结论
目前,大部分情感识别着重于语音信号,面部表情,心电图,脑电图和其他生物电子信号。然而,当情感信号的单通道被其他信号干扰,情感识别率往往减少。因此,多通道情感识别方法提出了基于双向LSTM和注意力机制。面部表情和脑电图特征提取是基于BCN,和注意力机制引入LSTM网络。面部表情和脑电图特征融合的特性与三层双向LSTM融合网络结构来提高情感识别的准确性。该方法测试MAHNOB-HCI和DEAP基于MATLAB仿真平台的数据集。实验结果表明,注意力机制可以增强图像的视觉效果,与其他方法相比,该方法可以更有效地提取情感特性表达式和EEG信号,实现更准确的情感识别的效果。
在现实生活中,不同的情绪通常有一定的相关性;例如,悲伤的情绪通常包含某些愤怒。因此,情感识别系统基于情绪之间的关系可以更有效地反映了人类的情感信息。因此,建立一个有效的情感识别模型将下一步的情感识别研究的重点。
数据可用性
本文中包含的数据是可用的,没有任何限制。
的利益冲突
作者宣称没有利益冲突有关的出版。