文摘

上下文,如场景和对象,视频情感识别中扮演着重要的角色。情感识别精度可以进一步改善当上下文信息。尽管先前的研究已经考虑上下文信息,不同的图像中包含的情感线索可能不同,这是经常被忽略。解决情感问题的区别不同的模式和不同的图像,提出了一种分层引起多通道融合网络视频情感识别,它包含一个多通道特征提取模块和一个多通道特性融合模块。多通道特征提取模块有三个子网用于提取面部特征,场景,和全球的图像。每个子网由两个分支,其中第一个分支提取不同模式的特点,和其他部门产生情感得分为每个图像。特性和情感得分的图像在一个模态都是聚合生成模态的情感特征。其他模块需要多通道特性作为输入,并生成每个模态的情感得分。最后,特征和情感得分的聚合多个模式,视频的最后情感表示将会产生。实验结果表明,我们提出的方法是有效的情感识别的数据集。

1。介绍

情感识别是一个重要的内容全面了解视频场景。它可以帮助我们理解人类情感中显示一个视频剪辑。特别是,理解这种情绪广泛应用(1]。例如,视频推荐服务可以找到用户的兴趣,推荐相应的视频获得的基于视频的情感。情感识别平台可以用来识别潜在的可疑的人聪明的安全。因此,承认人类的情绪状态从视频近年来吸引了越来越多的关注。

先前的视频情感识别的研究主要集中在探索面部特征。面部动作编码系统(流式细胞仪)2)编码通过面部表情运动动作单元。从脸图像中提取,属于低层次的特性。最近,与深卷积神经网络(cnn)的成功图像分类和目标检测领域的研究人员试图基于深层神经网络提取面部特征,进一步提高情绪识别的性能(3,4]。然而,它不能情感表达的时间演化模型。一些研究模型时空线索面临的3 d卷积神经网络(C3D)和递归神经网络(RNN) [5]。一些情感识别的努力也一直在使用身体姿势和音频特性(6]。然而,上下文信息通常是忽略了之前的研究。一些研究表明环境情感识别的重要性(7]。情感识别精度可以进一步改善当上下文信息。

心理研究8)已经表明,上下文信息还可以提供情绪知觉的重要线索。实验(9)表明,提高识别精度在使用身体和上下文信息。程(10)首先提取事件,对象,基于cnn和场景的特性,这些特性作为上下文信息和进一步综合由上下文融合网络生成一个统一的表示。然而,这些功能集成max /平均池,和功能的差异在不同的视频帧不考虑。虽然视频情感识别的研究已经取得了很大的进步,仍有两大挑战。(1)场景的复杂性。因为在视频场景的复杂性,如摄像头的角度和距离的不同,会有不同的姿势和人类的清晰度视频,这将导致情绪的差异歧视。作为一个例子,看看图的图像1。让我们试着估计他们的感觉。在图1(a)、情感歧视是不同,因为两个不同角度的图像。很容易认识到右边图像的情感分类是愤怒,,很难认出左边图像的情感分类。在图1(b),两张图片的角度是相似的。然而,由于锐度的差异,正确的图像可以获得更多的情感线索比左图像。类似于人类的脸,也有情感差异的上下文信息(如如图2)。因此,如何充分利用不同的情感线索对情感识别视频图像是一个重大挑战。(2)不同的情感表达不同的模式的视频。不同的模式在不同的视频含有不同的情感信息。例如,一些视频含有更多的人类的图像和更少的背景图像。与此同时,面对人类丰富的情感表达,如图像序列图2 (e),所以人类的情感类别通过面部情感表达很容易认出来。在这种情况下,我们主要用面部表情来识别情感类别的视频,而上下文信息只是作为一些情感助理的线索。也有一些视频表达丰富的情感线索的场景,和人类在视频包含更少的情感线索,如图像序列图2 (d)。对于这种视频,视频情感类别可以通过场景主要是公认的。因此,在视频情感功能表示基于多通道功能融合,如何有效地解决不同模态的不同情感表达在视频对视频情感识别是一个重大挑战。

本文地址视频情感识别的问题考虑到情感区别不同的模式和不同的图像。我们工作的第一个贡献是人类情感多通道数据集(mh),部分中描述3。mh数据集是由短视频与人类,注释定义的情绪心理学家艾克曼和弗瑞森(11]。

使用mh数据集,一个层次引起多通道融合网络(HAMF)视频情感识别训练,这是灵感来自quality-aware网络(12)和关注集群(13]。HAMF需要面对的图像序列,场景和上下文作为输入,并可以学习一个歧视的视频情感表示,可以充分利用不同的模式和图像的差异。它由两个引起模块。

多模式特征提取模块。它有三个CNN子网,每个子网由两个分支。第一个分支的三个CNN子网的脸,场景,和全球图像作为输入提取面部特征,场景功能,和全局上下文特征。三个子网的其他分支的需要中间表示的脸,场景,和全局上下文特征作为输入,并生成一个情感得分为每个图像。这个分支称为本地关注网络,因为它是用于生成的情感得分为每个图像模态的方法。这是区分全球关注网络的目的。

多通道功能融合模块。每个模态特性的全球关注网络,用于为不同的模式生成情感得分。多种模式的分数和特性将聚合,最后的情感表示视频将会产生。然后,最后的情绪表示视频通过微小的完全连接网络和监督softmax损失。

总结了论文的主要贡献如下。首先,我们构造了一个mh数据集,主要侧重于多通道融合在野外视频情感识别。其次,情感的本地关注网络解决问题的不同视频帧,和全球关注网络解决问题的情感区别不同的模式。

本文的其余部分组织如下。节2,相关视频情感识别进行了探讨。部分3描述了mh数据集。部分4介绍了提出了分层引起多通道融合网络。部分5给出了实验结果。部分6总结了纸和使我们的未来的工作。

2。相关工作

2.1。环境敏感视频情感识别

最近情绪识别方法专注于探索面部特征基于深层神经网络(14]。在心理研究[8),和实验证据表明,上下文信息构成和周边环境等也可以为情感识别提供重要线索。实验(9)表明,当使用上下文信息和身体,情感识别的性能优于只使用身体形象或上下文的图像。Yu-Gang江(10]融合丰富的上下文线索如事件、对象和场景来提高情感识别性能。论文(9,10]首先提取高层语义特征的面部和丰富的上下文线索,作为融合网络输入目标获得一个统一表示情绪的理解。然而,面部和上下文之间的关系是不考虑。CACA-RNN [15)包含两个RNNs级联结构,哪些进程上下文和面部信息执行视频情感分类。在CACA-RNN,脸和它的上下文之间的关系是习得的。在文献[5),识别和利用可能的静态面部特征之间的关系,人类的运动特性,和音频的演化特性,提出了一种融合网络合并线索不同的模式的一个表示。黄平君et al。16]提出了基于视觉的情绪状态预测方法之间的关系检测的主要目标和相邻对象从背景中充分利用上下文的精华。

2.2。多通道视频情感识别

多峰性图像融合不仅能提高能见度,人眼也相互补充每个图像的局限性。朱et al。17)提出了一个基于图像图像融合方案cartoon-texture分解和稀疏表示,可以保留源图像的结构信息和执行的详细信息。王等人。18)提出了一个CNN-based医学图像融合算法获得高的融合图像的视觉质量和清晰的结构细节。它融合源图像的像素活动信息实现一代的地图。Vielzeuf et al。19)提出了一种多通道融合方法,该方法结合了VGG和C3d模型作为图像特征提取器和探索不同时间融合网络。

2.3。以视频情感识别

因为情感的稀疏表达视频和人类情感只能在一些特定的时刻在很长一段话语,注意机制是用来了解的时频区域语音谱图更emotion-relevant摘要(20.]。李等人。21]学习时空的关注,有选择性地关注情感突出部位在面对视频。巴罗斯et al。22)提出一个深架构实现卷积神经网络学习情感表达的位置在一个混乱的场景。论文(20.- - - - - -22)使用注意机制选择性地关注情感的突出部分。这些文件只考虑空间注意机制。也有一些研究侧重于时空的注意机制。时间关注和乐队关注多层LSTM本文结合(23]。乐队关注不同层次的关注适用于不同频段的EEG信号,和时间关注分析是用来确定下一个信号以抑制冗余信息。黄等。24)提出一个回旋的注意机制学习话语结构对语音情感识别相关的任务。风扇和Yunjie [25]可以学习不同模型的权重预测那么多通道融合的意义。注意机制,研究了主要研究框架关系或地区利益的情感。张、徐(26)采用稀疏表示方法来构建内核函数,用于CNN特性转换成kernelized特性。它适用于稀疏表示方法来减少噪音的影响包含在视频。徐et al。27)进行概念选择探讨高层概念功能和情感之间的关系。中扮演重要角色的区别的概念情感识别。在这篇文章中,不同模态的图像和不同模式被分配一种情感得分,这分数代表了图像或模式的重要性。

3所示。mh

mh数据集是由我们手工从网上下载视频,在视频中主要关注人类的情感。六类情感被认为是根据著名心理学家艾克曼和弗瑞森(11),包括“愤怒”、“恶心”,“恐惧”,“欢乐”、“悲伤”,“惊喜”。数据集包含一个总数1066个视频,每个视频都有一个带注释的人类。培训视频号码是638,测试视频号码是428。之间没有重叠的训练集和测试集,图2显示了示例框架mh每个情感类别的数据集。如图2,不同的图像相同的视频含有不同数量的情感信息。与此同时,不同的模式也含有不同数量的情感信息。例如,在图2 (d)场景包含丰富的情感线索,很容易认识到情感类别是悲伤。然而,很难认识到情感类别的图2 (f)从现场视频。

3.1。数据集注释

16 mh数据集是手工注释的注释。表1显示注释器的性别和年龄分布。如表所示116注释器,这些来自不同的年龄群体。注释器盖年龄从20到60岁,和每个年龄组都包含相同数量的人类。的16个注释器,8是男性,8是女性,平均分布在所有年龄组。

为了确保质量的注释,注释器首先需要学习的情感类别的定义,由心理学家艾克曼和弗瑞森。其次,一些视频剪辑来自现有的视频情感识别情感标签数据集被注释器执行。学习和练习之后,注释器要求注释mh数据集。情感的类别,我们将展示一个视频剪辑,问注释器选择一个适用于视频的情感类别。每个注释器单独注释的情感,而情感的目录选择视频最显著的注释的情感标签视频。此外,注释器还带注释的人类的性别和年龄的视频。

3.2。数据库统计

1066年的带注释的视频,37.15%是男性,62.85%是女性。他们的年龄分布如下:5.9%的孩子,6.47%的青少年和87.63%的成年人。137视频数据集的最小数量的类别和平均持续时间为15.76秒。表2总结了更多的细节。

4所示。分层引起多通道融合网络

在本节中,分层引起的多通道融合网络(HAMF)将详细描述。具体来说,我们建议的框架是首先介绍了。然后,当地的注意机制提取每个图像的情感得分。最后,基于全球关注机制的多通道融合方法。

4.1。分层引起多通道融合网络框架

上下文信息,包括场景、身体姿势,和周围的环境也可以提供不同情感的信息,这有助于提高情绪识别的准确性。然而,随着讨论的部分1,有一个明显的问题在不同的图像的融合,不同的模式。为了解决这个问题,一个层次引起多通道融合网络如图3提出模型使我们不同的图像和模式的融合。

具体来说,我们建议HAMF网络融合的多通道特性视频识别视频情感。HAMF包含两个引起模块。第一个模块是一个多通道特征提取模块生成每个模态的情感特征。它有三个CNN子网,每个子网由两个分支。第一个分支的第一个CNN网络将图像作为输入和提取场景特性提供周边环境支持。第一个分支的第二个CNN网络需要的脸作为输入,并提取图像特征提供人类的感觉。第一分公司第三CNN网络将全球图像作为输入和提取全局上下文特征,如身体和姿势,提供上下文的支持。现场CNN和图像CNN使用相同的输入,但他们使用不同的网络和生成不同的特性。其他部门的三个子网的需要中间表示的脸,场景,和全球特征作为输入,并生成一个情感得分为每个图像。这个分支称为本地关注网络,因为它是用于生成的情感得分为每个图像模态的方法。 This is for the purpose of distinguishing global attention network which is used to generate emotion scores for different modes. Then, the emotion scores and image features of each modal will be aggregated, and the feature of each modal is produced. The other module is a multimodal feature fusion module for fusing multimodal features and generating the emotional representation of the video. Each modal’s features pass through a global attention network and generate an emotion score for each modal. The features of multiple modes and their emotion scores will be aggregated, and the final emotion representation of the video will be produced. It will pass through a tiny fully connected network and is supervised by softmax loss.

当地的关注网络和全球关注网络单独训练。一个训练样本包括三个视频帧序列:是锚,阳性样本序列其情感是一致的吗 ,和负样本序列其情感不同于哪里 。三个视频帧序列通过相同的CNN网络传播和输出相应的功能 。一组的代表是由三联体损失(28] ,这是制定 在哪里是一个非常小的正数。

4.2。多模式特征提取

使用多通道特征提取模块提取的脸,现场,由三个平行的CNN网络全球形象特征。给定一个图像序列年代视频V,脸是由faster-R-CNN提取(29日)更广泛的数据集训练(30.),发现面临着调整大小为224×224。让n面对视频V的数量,和脸序列可以表示为 。为了方便起见,在实验阶段,我们也选择n图像从图像序列。因此,图像序列可以表示为 。每一个模态的特征是由一个独立的提取CNN网络。VGG-face模型(31日]这是VGG-face训练数据集31日)作为初始化用于提取脸部特征。需要脸图像作为输入,并生成功能。场景功能是由VGG提取pretrained在Places365数据集(32]。需要图像序列作为输入,并生成场景的特性。第三个CNN网络将整个图像作为输入和提取全局特征提供身体,姿势,和周围的上下文信息。每个三个CNN网络包括两个分支,其中第一分支提取图像特征和其他部门产生情感得分。它是在层pool5分成两个分支。第一个分支穿过一个小全连接网络,是由softmax损失,优化每个图像的概率。第二个分支是一种情感得分一代网络,用于生成一个情感得分。它可以表示卷积层和一个完全连接层,只有一个细胞(l1): 在哪里表示的情感得分我模态,的中间表示的特征吗我th模态, ,和参数可以通过培训学习。是一个活跃的功能。在这里,我们选择修正的线性函数 。同样的,我们也可以使用两个或三个连续卷积层和一个完全连接层,只有一个细胞,注释l2,l3,分别为: 在哪里 ,和参数可以通过培训学习。在实验中,上述的影响将比较不同的权重函数。

然后,fc6层情感特性和所有图像中提取的分数。我们使用 表示的fc6特征我th模态和 表示的情感得分我模态。最后的感情表示我th模态是一个情感特性及其情感得分的线性组合。

最后的情感表现是由三联体损失(28),最大限度地减少同类样本的方差。

4.3。多通道功能融合

不同的模式可以有效地提高情绪识别性能。每一个模态的贡献是不同的在不同的视频。因此,全球注意力机制结合使用这些模式根据他们的贡献。它的职责是评估的重要性,每一个模态,然后分配一个情感得分为每个模态。多通道特性和他们的情感得分将聚合在一起,最后产生的情绪表示视频。

让米模式的数量,让的特性我模态。本文使用三种模式:脸,现场,和全球功能,4096维向量,通过聚合了fc6特性和情感得分的所有图片吗我模态。我们可以用一个矩阵X代表一组特性包含米模式:

应该注意,模式都是无序的,和交换矩阵的行不能影响结果。全球关注的结果基本上可以表达的 在哪里的重量吗我模态。它可以通过学习获得线性映射可以使用一个完全连接层,只有一个细胞(G1): 在哪里和b参数,可以通过训练和学习标准的反向传播。

算法。同样的,我们也可以使用两个或三个连续的完全连接层,注释G2,G3,分别为: 在哪里 ,和参数可以通过培训学习,是一个活跃的功能。在实验中,上述的影响将比较不同的权重函数。

生成的多通道的特性和他们的情感成绩全球关注网络聚合,生成统一的表示F: 在哪里X功能集包含吗米模式和用于生成情感得分,这是描述在公式(6)。然后,情感表现F通过两个完全连接层和监督softmax损失。

5。实验

我们的实现是基于PyTorch深度学习框架。在我们的框架中,本地关注网络和全球关注网络单独训练。初始化学习速率为0.001每6000次迭代,减少到10%。000年整个培训过程停在25日迭代。势头被设置为0.9。我们统一输入视频分割成24段,一帧的随机抽样获得一个视频24帧。

5.1。权重函数的影响

在本节的影响权重函数的HAMF情感识别性能评估。首先,本地关注网络的结果。关注网络的三种不同的权函数l1,l2,l3节中描述4所示。2被认为是。表3让情感识别的准确性由当地关注网络不同的模式使用不同的权重函数。如表所示3mh数据集上,情感识别的准确性在当地注意使用不同的加权函数是不同的网络。加权函数l2是略优于l1,l1是略优于l3面特性和场景的特性。加权函数l1是略优于l2,l3全球功能。我们依靠l2加权函数特性和脸和场景l1全球特征权重函数作为默认所有后续实验。其次,网络是全球关注的结果。关注网络的三种不同的权函数G1,G2,G3节中描述4所示。3被认为是。表4让情感识别的准确性通过全球关注网络使用不同的权重函数。如表所示4我们的mh数据集,情感识别的准确性是全球关注的不同使用不同的权重函数网络。我们可以看到,G2是略优于G1,G1是略优于G3全球关注网络。为了进一步验证权函数的影响,我们进行实验Ekman-6 [33]和VideoEmotion-8 [34数据集,将详细描述部分5.5。表5让情感识别的准确性不同模式的本地关注网络Ekman和VideoEmotion-8数据集上使用不同的权重函数。表6让情感识别的准确性通过全球关注网络Ekman和VideoEmotion-8数据集上使用不同的权重函数。这些实验表明,一个更深层次的关注网络可以得到更好的结果,但当注意网络的层数超过一定程度,准确度会退化。这可能源于关注网络的表达能力饱和随着规模的增加。

5.2。关注的评价机制

在本节内,当地的注意机制和全球关注的性能评估机制。为了验证我们当地的注意机制的有效性和全球关注机制,我们比较下面两个平均融合方法。

图像平均融合(IAF)。图像的特征脸,场景和上下文分别提取三个CNN网络没有注意机制。然后,这些图像特性的模态是由平均池、聚合和情感的特征脸模态,场景模式,和全球模态的视频。

多通道融合(MF)。fc6层的模态特性,现场模态和全球首先提取模态。然后,这些特性是由串联融合的方法描述的文献[35]。这些融合特征作为输入的微小完全连接网络,将softmax失去监督的功能。

首先,当地的注意机制是评估。在这个实验中,全球关注网络不使用注意力机制,和当地的关注网络使用和不使用注意力机制,分别。表7让情感识别结果与当地注意机制和不注意机制。如表所示7mh数据集上,当地的注意机制的(精度提高了6.07%,0.93%,和2.11%,分别与IAF的脸模态方法相比,现场模态和模态。我们注意到改善的程度是不同的在不同的情态动词。面对模态的提高不仅仅是现场模态。这是因为情感不同视频帧之间的差异更大,面对模态。其次,全球关注的性能评估机制。当地的注意网络不使用注意机制。全球关注网络分别以不同的模态特征作为输入,并生成一种情感得分为每个模态。融合不同的模态特性根据他们的情感得分,最后产生的情绪表示视频。表7也给情感识别结果的准确性和我们的全球曼氏金融引起多通道特性融合网络。如表所示7mh数据集上,全球注意力机制增加了(MF方法相比精度3.03%没有全球关注机制。根据这两个实验中,当地的注意机制和全球注意力机制优于平均融合没有注意机制。

表7还显示了单模和多模的比较结果。我们多模方法达到60.05%和60.08%,没有注意网络和关注网络,分别优于单模方法清晰的边缘。这是因为多模线索从多个角度描述的视频。

5.3。的可视化分层机制的关注

为了可视化分层注意力机制,测试集的一些图像序列及其对应的情感得分图所示4。数据4(一)和4 (b)显示面部序列和相应的情感得分。如数据所示4(一)和4 (b),情感分数不同的面部图像相同的人是不同的,因为不同的姿势和角度。等含有丰富的情感线索,第二个和第三个面部图像如图4(一)通过哪一个可以很容易地判断一个人的情绪。因此,HAMF给这些面临更高的情感得分。少一些面临表达情感线索,如在图6日形象4 (b),他们得到情感的得分越低。数据4 (c)和4 (d)展示一些图片序列及其对应的场景情感得分。现场的图像也包含一定的情感线索。在图4 (c),包含场景图像序列中情感线索的差异小,所以这些图像的情感得分几乎没有区别。在图4 (d)的场景图像序列包含不同的情感线索。现场在一些图像含有丰富的情感线索,如在图7日和8日图像4 (d)将分配更高的情感分数。同时,现场包含一些情感线索在某些图像,如在图4形象4 (d),这将得到情感的得分越低。同样,如图4 (e)和4 (f),也有全球图像中包含的情感线索的差异;因此,他们获得不同的情感得分。

图5显示了不同的情感得分模式图像的序列图4。图中所示的是数量的情感得分每个网络视频得到了全球的关注。对于每一个视频,三种模式的得分的总和等于1。如图5、面部、场景和上下文方式在不同的视频包含不同的情感线索,所以情感得分通过这三种模式是不同的。例如,在数据5(一)和5(b),面部形态的视频包含最多的情感信息,所以面部形态的情感得分最高。然而,在图5(c),面部形态获得了情感得分很低。基于数据4和5,我们可以看到HAMF可以充分利用情感区别不同的图像和模式来增强情感识别的歧视。

5.4。与最先进的方法

在本节中,我们在最近的文献比较先进的性能。来验证我们的HAMF方法的有效性,我们比较以下先进的方法。

Quality-Aware网络(QAN)(12]。它主要是用来解决图像之间的质量差异。图像序列的视频发送到QAN,每个图像生成的特性和成绩。然后,功能集成和视频的最终功能。

关注集群(13]。fc6层特性的脸的图像模态、模态提取现场模态和上下文。然后,他们被发送到一个关注网络,使用一个完全连接层,只有一个细胞。每个模态特性,根据关注网络的输出连接,和每个模态产生的情感特征。最后,三种模式的特点是连接和通过了一项全面连接层和监督softmax损失。

情感识别在上下文(ERC)(9]。伦理委员会由两个主要模块。第一模块需要组成人的区域的图像和提取情感的人,第二个模块将整个图像作为输入和提取全局特征提供必要的上下文的支持。然后,这两个功能是由一个融合网络融合。最后,融合特性综合平均池。

情感在上下文中(EC)(10]。图像的fc6特征事件、对象和场景是根据平均法提取和集成。然后,三个功能是由一个上下文融合融合网络。

时间多通道融合(TMF)(19]。人脸特征是由vgg-lstm c3d-lstm,体重意味着它们融合的融合方法。

表8显示的准确性比较上述mh数据集的方法。如表所示8,我们的层次引起多通道融合网络达到3.27% (mh的性能收益。QAN只需要图片作为输入的准确性是最低的。多通道的性能特征融合文学(9,10)和时空特征融合网络(22)都比QAN更好。这是因为QAN网络只使用单一模态。多通道功能融合网络,使用多个模式,可以实现更好的性能。注意机制,关注集群的性能(13)需要的fc6特征脸,场景和全球图像作为输入,这比那些没有注意机制特征融合方法。请注意,我们的工作达到性能优越,有两个原因:首先,当地的注意机制可以区分不同的图像的情感差异,可以充分利用不同的图像的情感特征。其次,全球的关注机制可以区分不同的模式的情感差异,可以充分利用不同模式的情感特征。

5.5。结果Ekman-6和VideoEmotion-8

在本节中,我们进行实验Ekman-6 [33]和VideoEmotion-8 [34]数据集进一步评估我们的方法的有效性。

ekman-6数据集包含1637个视频,它使用一个训练集819年的视频和一组测试的818个视频。之间没有重叠的训练集和测试集,这是手工注释10注释器根据Ekman的理论(11)六种基本人类情感类别,每个类别至少221个视频。

videoEmotion-8数据集包含1101个视频来自YouTube和Flickr。视频的平均持续时间是107秒。它使用一个训练集734视频和一组测试的367个视频。之间没有重叠的训练集和测试集,实验根据培训/测试10次分裂(所提供的34]。

表9给(精度(%)的不同方法Ekman-6 VideoEmotion-8数据集。如表所示9,我们的环境敏感注意融合网络性能达到2.69%和1.36% Ekman-6 VideoEmotion-8数据集,分别。情感在上下文的准确性10)只有融合上下文信息是最低的。徐et al。33]研究知识转移的问题从异构的外部来源,可以进一步提高精度。Kernelized特性(26和概念的选择27)研究框架关系或地区利益的情感,进一步提高精度。基于网络(36)利用不同地区基于图的语义关系卷积网络来提高精度。可以使我们之前的工作(37]只解决了包含情感信息的差异在不同的图像。结果表明,我们的方法实现最先进的结果Ekman-6和VideoEmotion-8数据集。这是因为我们的方法解决情感问题的不同的模式和图像之间的区别。

6。结论

在本文中,我们首先建立一个数据集人类情感识别的视频,名为multimodal人类情感数据集(mh)。mh的数据集,一个层次引起多通道融合网络(HAMF)人类情感识别的视频培训。HAMF使用分层的注意机制来解决包含情感信息的差异在不同的模式和不同的图像。首先,每一个模态的中间表示美联储向当地关注网络和生成一个情感得分为每个图像,每个模态和功能将聚合根据他们的情感得分。其次,每一个模态的特征被全球关注网络和为每个模态产生情感得分,得分和多种模式的特性将聚合和最后的情绪表示视频将会产生。HAMF网络的性能评估和mh数据集可以取得优秀的成果。

虽然我们HAMF方法获得一个有前途的性能在人类情感识别的视频,因为视频稀疏的情感表达,大多数视频贡献情感识别。视频情感识别主要取决于一些关键的视频帧或片段。在未来,我们将把重点放在提取和研究视频包含丰富的情感。

数据可用性

Ekman-6和VideoEmotion-8是两个公共数据集。mh数据集可以获得相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是由他'nan的基础教育委员会(21 a520006)和科学技术研究项目的河南省科学技术厅(182102310919)。