环境敏感关注人类情感识别网络视频

文摘

从面部表情识别的人类情感影响图像质量和面部扭曲的姿势,往往忽视了传统视频情感识别方法。另一方面,上下文信息还可以提供不同程度的额外的线索,可进一步提高识别精度。在本文中,我们首先建立一个视频数据集和七个类别的人类情感,叫人类情感的视频(HEIV)。HEIV数据集,我们训练了一个上下文感知的关注网络(可以)认识到人类的情感。网络包括两个子网过程都面临和上下文信息。从面部表情功能和上下文线索融合代表视频帧的情绪,然后将经过一个关注网络并产生情感得分。然后,所有帧将聚合的情感特征根据他们的情感得分。实验结果表明,我们提出的方法是有效的在HEIV数据集。

1。介绍

评估一个人的情绪状态是必不可少的在我们的日常生活。这种能力是必要的感知和预测人们的反应1]。尤其是,这情感识别挑战有广泛的应用。例如,情感识别平台可以用来识别潜在的智能安全可疑的人。视频推荐服务可以匹配用户的视频情感利益,政府部门可以更好地理解人们对热事件或新政策的反应。因此,人类的情感识别吸引了越来越多的关注作为一个新的研究领域。

人类面对含有丰富的情感线索。楚et al。2)提出了一个基于面部动作编码系统的人类情感识别方法,它编码的面部表情通过一系列的特定位置的运动(行动单位)。发现的行动单位可以从脸图像几何特征和外观特征提取3]。最近,随着卷积神经网络(cnn)的发展,研究人员试图进一步提高情绪识别的性能通过cnn (4]。巴雷特cnn等人用来识别行动单位和面部情绪。这些研究主要是集中在面部情感识别。然而,上下文信息还可以提供额外的线索来识别情感。例如,人通常是快乐的在一个婚礼上,通常是在葬礼上悲伤。当结合上下文,可以进一步提高识别精度。先前的研究显示上下文感知的情感的重要性(5]。在某些场景中,当我们分析更广泛的观点,而不是关注的人,我们可以更容易地判断一个人的感觉。科斯等人。6)建立了一个emotions-in-context数据库并显示情感识别精度提高当人,整个场景共同分析。陈等人。7利用上下文线索,包括事件、对象和场景视频情感识别,以提高性能。然而,这些方法平等对待不同的帧的特点和区别这些帧中包含的情感信息的不考虑。尽管环境敏感视频情感识别的研究已经取得了很大的进步,它仍然有两个主要挑战:(1)脸和上下文信息的组合。面对功能相关的上下文信息。然而,传统视频情感识别通常计算最大值或图像的平均值的特征脸和背景分开,然后融合这两种模式的特点,缺乏有机的融合特性,和上下文线索相同的形象。脸特征及其环境特征在同一图像不能有效地集成。如图1(a),当我们试图估计图像序列中人民的情感,上下文信息难以提供有效的情感特征。例如,很难确定一个人是否在图像序列中戏弄或通过上下文信息被一只狗袭击了。然而,当我们把脸和上下文信息在一个图像,更容易判断人的情绪比使用独自面对信息为愤怒。同样详细的估计可以在图1(b)。(2)情感的差异在不同的图像。每一帧的视频包含一定量的情感信息,这些信息可以相辅相成的。最常用的方法是简单的max /平均池所有帧的情感特征。然而,一个视频的图像可能包含不同的情感信息,因为脸的差异大小,姿势,角度和上下文信息。作为一个例子,让我们试着估计这些人的情感在图2。在图2(a),我们可以认识到正确的形象是快乐的情感有更大概率的。也就是说,正确的图像包含更多的情感线索。类似的具体估计方法可以在其他图的图像2。同样,上下文信息包括周边环境和人体还可以提供不同的情感信息。因此,如何解决情感问题的差异不同的图像视频情感识别是一个重要的挑战。

为了克服上述两个挑战,受到的关注机制(8,9),我们提出了一个上下文感知的关注网络(可以),这是健壮少帧包含情感信息,同时使用其他框架提供的丰富的情感线索。首先,可以使用两个子网和上下文特征提取的面孔,分别,这两个功能相同的图像融合来表示图像的情感。与文献[6),我们将整个图像作为输入和提取全局特征提供必要的上下文的支持。然后,一个关注网络使用图像特征作为输入,并生成图像的情感得分。最后,所有的情感特征图像在一个视频将聚合根据他们的情感得分,最后产生的情绪表示视频。

此外,现有的视频情感识别的数据集,如视频情感数据集(10和埃克曼情感数据集11),主要专注于视频内容带来的心理感受的观众也没有人类在很多视频,不能有效评估人类情感的视频。因此,本文构建了一个人类情感的视频(HEIV)数据集,基于视频的情感数据集(10,11从网络)和下载一些视频。HEIV数据集包含1012个视频和视频的人类情感注释根据心理学家艾克曼和情感类别定义弗以及中性的情感类别。此外,一些视频也由中立的注释。节中,我们将详细描述它3。可以使网络的性能评估HEIV数据集。它可以提高排名前匹配率的2.22%。

总结了论文的主要贡献如下。我们建造了一个HEIV数据集组成的1012带注释的视频,主要关注人类情感的视频,而不是观众的心理感受带来的视频内容在现有视频情感识别的数据集。重要的是设计好的视频情感识别模型。可以为每个框架可以自动生成情感得分,导致更好的表现情感信息的差异在不同的视频帧。不同的权函数的关注机制的影响评估,有助于引起的设计计算模型。

本文的其余部分组织如下。在下一节中,我们将讨论相关工作视频情感识别。部分3描述该数据集。部分4介绍了提出的可以。部分5给出了实验结果。部分6总结了纸和使我们的未来的工作。

2。相关工作

2.1。面部表情识别

脸是最常用的刺激识别人们的情绪状态,计算机视觉的研究人员。面部动作编码系统使用一组特定的本地化的面部动作编码的面部表情2]。它处理图像近额构成(3]。然而,面部图像可以从多个视图或人可能改变他们的姿势而被记录。一些工作,处理多视点提出了情感识别。Tariq et al。12)学习一个分类器使用多个视图的数据。CSGPR [13)模型视图进行规范化,从不同的姿势结合的特性。然而,这些方法没有不同的观点之间的关系模型。Eleftheriadis等人提出了一个有识别力的高斯过程共享学习区别的潜变量模型从多个视图共享歧管的面部表情3]。不同于现有的多视图的面部情绪识别,本文主要解决了不同的面部问题提出了在视频情感识别。也有一些情感识别使用其他线索,除了面对工作。例如,Nicolaou et al。14]认为肩膀的位置是面部特征识别情绪的额外信息。

2.2。认识到情感从视频

有一些早期作品承认情感通过视听特性(例如,15- - - - - -18])。王等人。15)使用视听特性来识别情感36个好莱坞电影。老大et al。16)提取视听功能,结合Hidden-Markov-like动态模型。融合评估的视听功能决策级融合和特征级融合(17]。然而,他们只使用简单的多通道特性融合不考虑多通道特性的潜在关系,和外观特性是低层次的特性。辛格et al。19来说]提出了一种改进的技术相似,理想的解决方案(TOPSIS)方法,基于面部动作编码系统的共生行为视觉序列选择关键帧。王等人。20.)提出了两级注意力与两级多任务学习框架。首先,相应区域的特征自动提取和增强。其次,不同层的关系特性充分利用双向RNN self-attention。王等人。21)定义了一个多通道域自适应方法来获得之间的交互模式。

情感识别的性能评估是通过使用不同的体系结构不同美国有线电视新闻网CNN和功能层纸(11]。Nicolaou et al。14]融合面部表情,肩膀的姿势,对情感识别和音频线索。Vielzeuf et al。22)提出了一种分层的方法,分数和各级功能融合的地方。它可以保留不同层次的信息,但多模式数据之间的潜在联系的视频还没有考虑。雪et al。23)提出了一种贝叶斯非参数多通道数据建模框架在视频学习情绪,但它并不能反映情感表达的时间演化的视频。Kahou et al。24CNN和RNN)用于模型动态表达式的视频,和结果表明,性能比的特性融合框架。面部特征的演化建模通过RNN文献[25]。Zhang et al。26]构造核函数将CNN特性转换成kernelized特性。徐et al。27)进行概念选择调查高层概念功能和情感之间的关系。本文认为不仅情感融合不同的面部特征也不同的情感信息的视频帧的数量。

3所示。人类的情感数据集

我们构建了一个基于视频情感的人类情感数据集数据集(10,11从网上下载)和视频。每个视频的视频情感数据集长,包含多个人类在每个视频剪辑。它主要关注观众的心理感受带来的视频内容。我们剪人类剪辑的视频视频情感数据集和视频注释人类的情感。我们也从YouTube下载短视频剪辑。数据库包含一个总数1012个视频,它使用一个训练集607个视频和测试组405个视频。图3显示了示例框架HEIV每个情感类别的数据集。

3.1。视频注释

10 HEIV数据集是手工注释的注释:5男性和5女性。中性和六个情感类别,包括“愤怒”,“厌恶”,“恐惧”“快乐”“悲伤”和“惊喜”,由心理学家艾克曼和弗瑞森(28被认为是。为了确保质量的注释,一些视频剪辑与情感标签来自现有的视频情感识别数据集被注释器执行。学习和练习之后,注释器要求注释HEIV数据集。当我们与一个人标志,显示一个视频我们问注释器选择一个适合视频的情感类别。每个注释器单独注释的情感,而情感视频目录》最显著的注释的情感标签选择视频。此外,性别(男/女)和年龄范围(孩子、青少年、成人)视频的人也带注释的。

3.2。数据库统计

1012年的带注释的视频,64%是男性,36%是女性。他们的年龄分布如下:10%的孩子,11%的青少年和79%的成年人。表1显示的数量为每个类别的视频。

4所示。环境敏感关注网络

在我们的工作中,我们专注于改善情感识别的准确性。在人类情感识别的主要挑战是面部规模的差别,姿势,角度和不同程度的上下文信息。我们旨在解决这一环境敏感的关注网络(可以),面部和上下文的情感特征融合和融合功能的情感得分是由关注网络。所有图片的融合特性及其情感得分聚合人类情感预测在视频。

我们建议的框架如图4。体系结构包括三个主要模块:两个情感特征提取器和一个关注融合模块。面部特征提取模块使用人脸的区域作为输入,并提取其面部情绪特征。背景提取模块需要整个帧作为输入,提取全球功能提供必要的上下文信息。最后,第三个模块是一个关注融合网络的融合特征作为输入的脸和上下文信息。它是由两个分支。第一个分支是一个微小的CNN网络的融合特征作为输入,并生成帧的情感特征。其他部门也有一个很小的CNN网络和用于生成一种情感得分为每个框架。然后,帧的情感特征和他们的情感得分将聚合,最后人类的情绪表示视频将会产生。

4.1。情感特征提取

面对的主要部分是人类表达情感。以前的情感识别研究主要集中在面部表情。然而,在情感识别中扮演一个重要的角色,和上下文信息整合时,识别精度可以进一步改善。共同分析人脸和上下文特征识别人类情感的丰富信息视频中,面部和上下文情感特征分别提取,然后融合。同时,融合功能的重要性判断的注意机制。本节描述面部和上下文情感特征提取。

面对情感特征提取阶段,特征提取模块和上下文特征提取模块用于提取脸部和上下文信息,分别。给定一个视频 情感标签,K是视频帧的总数和是我th视频帧,人脸是由faster-rcnn(从视频帧中提取29日训练有素的宽脸上数据集[30.]。然后,脸在视频中发现的大小为224×224。让n与在视频帧的数量。视频中的人脸可以表示为 ,在哪里人脸提取吗 。VGG-Face模型在VGG-Face训练数据集(31日)作为初始化用于提取面部情绪特征。它是情感识别训练数据集,得到情感的面部特征提取器。摘要HEIV数据集被用来训练人脸特征提取器提取器和上下文特征。HEIV主要用于人类情感识别的视频,和大多数图像视频包含人脸。VGG-Face使用脸图像作为训练样本,由情感图像所属类别。训练有素的VGG-Face可以提取不同图像的情感特征。因此,给定一个图像序列 ,fc6特性是每个图像的面部表情特征提取人脸特征提取器的正向传播操作。让 表示fc6 F层的特性,是fc6层的特征 。为了融合的脸和上下文信息在同一图像,只包含人脸图像序列 本文选择。VGG网络(32被选为上下文特征提取器。在ImageNet pre-trained数据集(33然后HEIV情感识别数据集上训练。整个图像包含的脸作为训练样本,和情感类别的视频监控信号。VGG训练可以提取上下文情感特征的场景,环境和背景不同的图像。因此,给定一个图像序列 ,fc6特性提取每个图像的上下文中情感的特性通过向前传播操作器的上下文特征。让 表示fc6层的特性 ,在哪里的上下文信息吗 。获得的面部特征和环境特征是美联储注意融合网络有效的融合,从而进一步提高视频情感识别的准确性。

4.2。注意融合网络

对于一个视频 ,我们现在有两个高层语义特征 。这两个特性从不同的角度描述人类的视频也有不同的数量不同的视频帧中包含的情感信息。为了融合面部图像序列的特点和背景图像序列表示成一个统一的特性,面对特征序列和上下文特征序列可以单独熔融,然后面对融合功能和上下文融合特征融合。然而,这种隔离将面临从上下文特征相同的形象。脸是密切相关的上下文相同的图像,和他们的情感特性可以互为补充,以反映一个人的情绪在图像更全面。此外,传统的平均池或最大池特征融合方法很难有效地开采不同图像之间的互补特性,不能反映不同的图像的情感差异。因此,本文提出了一个融合网络关注有效融合图像特征序列的脸和上下文。它可以量化的情感区别不同的视频帧和保险丝脸图像序列的特点和背景图像序列根据他们的重要性和得到一个统一的特征表示。

更准确地说,灵感来自[7),我们首先变换的脸和上下文特征图像高层空间(1024个神经元的脸和上下文特征),然后每个图像融合的脸和上下文特征。因此,他们截然不同的属性可以被保存和歧视的能力将会提高。因为这些特性从不同的视频帧中提取,有不同的歧视,然后,我们使用一个关注融合机制融合这些特性,可以能够健壮的帧差的情感信息,同时使用提供的丰富的情感信息其他视频帧。我们的基本想法是,每个情感特性可以有一种情感得分在聚合,聚合根据他们的情绪与情感特性的分数。为此,情感功能是通过两个分支,然后聚合在一起。第一个分支命名融合特性生成部分提取高级情感融合特性,和其他分支命名情感得分代部分预测一个情感得分为每个融合功能。然后视频帧聚合的特点根据情感得分。

自脸和上下文特征提取相同的帧显示相同的情绪在不同的形式,融合特性生成部分融合他们使用2048个神经元的融合层吸收的所有信息获得一个共享的表征,可以表示如下: 在哪里是的融合特征的第i个视频帧和是一个融合函数。

融合功能将两个分支网络。第一个分支命名融合生成子网生成更高层次的融合特性,它可以表达的完全连接层。

获得更高层次的融合特性是通过一个完全连接层,生成情感预测向量。这个分支是由softmax-loss监管,优化每个图像的概率特性。

另一个分支是情感得分生成子网,用于生成一个情感得分为每个图像的融合特征。我们依靠一个注意力机制,获得一种情感得分。其职责是首先分析视频帧中包含的情感信息,然后生成一个情感得分用于给尽可能多的情感信息的功能。我们使用更高级的融合功能代表每个图像的融合特性,及其相应的情感得分可以计算使用一个完全连接层,只有一个细胞,这是1 cf签署, 在哪里和参数是学会了情感得分的一代来说。同样,情感得分也可以由两个或三个连续的完全连接层,这是签署2 cf和3分别cf。在实验部分5,我们将比较这些不同的权重函数的影响。

视频的情感特征表示V可以通过聚合获得融合功能和情感得分所有的图像。它可以表示如下: 在哪里是视频的情感特征 。它是由三联体的损失34),最大限度地减少内部类样本的方差和歧视的情绪表示视频。

5。实验

5.1。权重函数的影响

在本节中,我们分析情感得分的影响不同的权重函数生成部分情感识别性能。首先,我们提取fc6层的特征脸和上下文特征的特征提取部分和上下文功能收缩部分。fc6特征脸和上下文信息首先通过一个完全连接层有1024个神经元,然后融合。融合功能是美联储两个分支:一个用于生成更高层次的融合特性,另一个是用于生成情感得分。这两个分支将聚合生成最终的情绪表示视频。我们考虑三种不同的权函数的关注网络,1 cf, 2 cf和3 cf,节中描述4.2。

我们也给关注网络的评价结果将作为输入单独面对和上下文信息。脸或上下文信息,网络分为两个分支开始pool5层特性。第一个分支是用于提取面部或上下文特征通过训练的“vgg脸或vgg16模型,和其他部门需要作为输入的中间特征脸或者上下文信息并生成情感得分为每个脸或上下文特征。然后,面部或上下文的情感特征及其情感得分将聚合,最后面对的情绪表示或上下文将产生。类似于关注融合网络,情感得分可以由一个或两个或三个卷积计算层和一个完全连接层,只有一个细胞,也签署了cf 1和2 cf和3分别cf。表2使用不同的重量显示情感识别的准确性在HEIV关注网络数据集的函数。

如表所示2,我们观察到不同的权重函数的识别精度不同情感得分一代而言,这意味着注意力机制可以在这种情况下发挥有效的作用。我们也观察到3 cf略优于2 fc和1 fc融合情感功能和上下文信息,但1 cf是略优于2 fc和3 fc面部特征。从这三种情感特性精度,我们可以推断出更深层次的关注网络可以获得更好的情感得分,但关注网络超过一定程度时,我们不能得到更好的情感得分。我们依靠3 cf融合权重函数特征和环境特征的情感得分1代部分和cf面部情绪得分加权函数生成部分作为默认所有后续实验。

5.2。注意机制和特征融合的效果

在本节中,我们评估注意力机制和特征融合的性能。为了验证我们的注意力机制的有效性和功能融合,我们实现以下三个平均总基线的方法:

面对平均聚合(FAA)。脸上的fc6层特性由VGG-Face提取。这些特性是由平均聚合池,然后通过连续两个完全连接层和由softmax-loss监督。

环境平均总(CAA)。fc6层由VGG16特征提取的背景图像。这些特性是由平均聚合池,然后通过连续两个完全连接层和由softmax-loss监督。

融合功能平均总(FFAA)。fc6层特征的人脸和背景图像提取VGG-Face和vgg16分开。这两个功能是首先通过一个完全连接层1024个神经元,然后融合。融合功能是通过连续两个完全由softmax-loss连接层和监督。

表3显示使用注意力机制情感识别的准确性和上述三个平均聚合方法:联邦航空局,创新艺人经纪公司,FFAA。如表所示3HEIV数据集上,注意机制(情感识别精度增加5.43%,2.22%和4.94%,分别与美国联邦航空局相比,创新艺人经纪公司,FFAA。我们还要注意,功能融合(情感识别精度增加3.45%和5.18%,分别与脸的特性和环境特性平均聚合和特征融合(情感识别精度增加2.96%和7.9%,分别,而脸上特征和环境特征的注意机制。基于这些实验中,我们可以推断注意融合网络优于平均HEIV数据集总方法,和特性融合优于单一的脸或上下文功能HEIV数据集。

5.3。的可视化可以

为了可以使可视化,测试集的一些图像序列及其对应的情感得分图所示5。如图5,情感分数不同的图像不同,因为不同的面部姿态和上下文信息。一些人脸图像包含丰富的情感线索和上下文信息,如3所示^{理查德·道金斯}形象图5(b)和第五形象图5(f);因此,可以给这些图像情感得分更高。相反,一些人脸图像包含小情绪线索和上下文信息,如1所示^圣形象图5(一)和7^th形象图5(e),可以给这些图像情感的得分越低。

5.4。与国家的艺术

我们在最近的文献也比较先进的性能。可以使我们的方法的有效性验证,我们与以下HEIV数据集先进的方法。

5.4.1之前。引起网络

QAN [8)和关注集群(9)是两个引起网络。QAN是一种高质量的网络将作为输入的图像视频HEIV数据集,和关注集群是一个多通道的关注网络将作为输入fc6 HEIV脸和上下文的数据集层特性。

5.4.2。特征融合网络

最近文献[6,7,24,29日使用多通道特性融合网络。实现两种模式的脸和上下文HEIV数据集。

表4给(HEIV精度(%)的不同方法。如表所示4,我们的环境敏感注意融合网络性能达到2.22% HEIV数据集。我们也注意到,QAN只有采取作为输入视频帧的性能低于融合功能。注意机制,关注集群的性能(9)采取作为输入两种模式的脸和上下文是高于特性融合没有注意机制。注意,我们可以获得性能优越,有两个原因:首先,注意机制是健壮少帧包含情感信息,同时使用其他框架提供的丰富的情感线索。其次,我们的功能融合不仅共同利用特性和上下文信息,还保留了其独特的属性。基于这些实验,可以优于HEIV先进的结果数据集。的改善可以使网络证明可以处理视频的能力与不同的情感信息。

5.5。混淆矩阵

分析不同情感类别的识别精度,我们给的混淆矩阵识别准确性上使用可以HEIV表所示5。纵是正确的标签,水平是每个情感类别的识别精度。我们观察到,惊讶、恐惧和厌恶都承认,和愤怒,中性,和快乐有更多的假阳性。我们推断这是因为愤怒和快乐添加更多的强调心理活动,和他们的行为表达相对较低。我们还注意到,30.59%的快乐被认为是一个惊喜。我们推断这是因为一些人都欢乐和惊喜的感觉,,很难确定哪些情绪占主导地位。我们也观察到,幸福不是公认的厌恶和中立并非公认的悲伤。这是因为这两种情感类别的表情有很大的不同。

5.6。结果Ekman-6和VideoEmotion-8

在本节中,我们进行实验Ekman-6 [35]和VideoEmotion-8 [10]数据集进一步评估我们的方法的有效性。

Ekman-6数据集包含1637个视频,它使用一个训练集819年的视频和一组测试的818个视频。10这是手工注释的注释根据Ekman的理论(28)六种基本人类情感类别,每个类别至少221个视频。

VideoEmotion-8数据集包含1101个视频来自YouTube和Flickr。视频的平均持续时间是107秒。实验进行了10次根据(火车/测试将提供10]。

表6给(精度(%)的不同方法Ekman-6 VideoEmotion-8数据集。如表所示6,我们的环境敏感注意融合网络达到1.83%和1.68性能Ekman-6 VideoEmotion-8数据集,分别。结果表明,我们的方法实现最先进的结果Ekman-6和VideoEmotion-8数据集。

6。结论和未来的工作

在本文中,我们首先建立了一个视频数据集与7类别的人类情感,叫人类情感的视频(HEIV)。HEIV数据集,我们训练了一个上下文感知的关注网络(可以)认识到人类的情感。可以由三个模块组成。使用两个情感特征提取模块提取脸部和上下文特征,分别。注意融合网络融合这两个特性和生成一个情感得分为每个融合功能。然后,情感融合特性将聚合根据他们的情感得分,最后产生的情绪表示视频。可以使网络的性能评估和HEIV数据集可以取得优秀的成果。

虽然我们在视频情感识别方法获得一个有前途的性能,然而,由于人类的情感表达的多样性,人类的情感可以通过多个表示身体部位。在未来的工作中,我们将进一步结合人类语义部分更好的识别性能。

数据可用性

HEIV可以通过联系liuxiaodongxht@qq.com。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是支持的科技研究项目的河南省科学技术厅(182102310919)和他的基础教育委员会(a520006 21日)。

引用

1. k . Byoung”简要回顾面部情感识别基于视觉信息,“传感器,18卷,不。2、401 - 420年,2018页。视图:出版商的网站|谷歌学术搜索
2. W.-S。楚,f . De la Torre, j·f·科恩,“个性化的面部表情分析选择性传送机。”IEEE模式分析与机器智能,39卷,不。3、529 - 545年,2017页。视图:出版商的网站|谷歌学术搜索
3. 美国Eleftheriadis、o . Rudovic和m . Pantic“歧视共享高斯过程多视图和view-invariant面部表情识别,”IEEE图像处理,24卷,不。1,第204 - 189页,2015。视图:出版商的网站|谷歌学术搜索
4. c . Szegedy w·刘,y贾et al .,“要更深的曲线玲珑,”《IEEE计算机视觉与模式识别会议美国,页1 - 9,波士顿,MA, 2015年6月。视图:出版商的网站|谷歌学术搜索
5. l·f·巴雷特,b . Mesquita和m . Gendron”在情绪感知上下文心理科学当前的方向,20卷,不。5,286 - 290年,2011页。视图:出版商的网站|谷歌学术搜索
6. r·科斯j·m·阿尔瓦雷斯a Recasens et al .,“情绪识别上下文,”《IEEE计算机视觉与模式识别会议火奴鲁鲁,页1960 - 1968年,美国,2017年7月,你好。视图:出版商的网站|谷歌学术搜索
7. c·陈、吴z和y . g .江”情绪在上下文:深度视频情感语义特征融合识别,”ACM多媒体会议》16卷,第131 - 127页,2016年。视图:出版商的网站|谷歌学术搜索
8. j . y . Liu燕和w·欧阳,“质量意识到网络设置设置识别,”《IEEE计算机视觉与模式识别会议火奴鲁鲁,页4694 - 4703年,美国,2017年7月,你好。视图:出版商的网站|谷歌学术搜索
9. 长x, c·甘,g·d·梅洛et al .,“关注集群:纯粹基于注意力的地方特性集成视频分类,”《IEEE计算机视觉与模式识别会议火奴鲁鲁,页7834 - 7843年,美国,2017年7月,你好。视图:出版商的网站|谷歌学术搜索
10. Y.-G。江、b .徐和x天雪,“预测用户生成的视频,情绪”《28日AAAI有关人工智能的会议,页73 - 79,魁北克,加拿大,2014年7月。视图:谷歌学术搜索
11. 徐,y傅,Y.-G。江、李b和l . Sigal”视频情感识别与深功能编码,传输”学报2016 ACM国际会议多媒体检索,第15 - 22页,纽约,纽约,美国,2016年6月。视图:出版商的网站|谷歌学术搜索
12. 美国塔里克,j·杨和t . s .黄”多视点的面部表情识别分析通用稀疏编码特性,”《计算机视觉-大会2012。欧洲计算机视觉车间和示威活动,页578 - 588,佛罗伦萨,意大利,October2012。视图:出版商的网站|谷歌学术搜索
13. o . Rudovic、m . Pantic和佩特雷,“耦合的高斯过程pose-invariant面部表情识别,”IEEE模式分析与机器智能,35卷,不。6,1357 - 1369年,2013页。视图:出版商的网站|谷歌学术搜索
14. m·a·Nicolaou h .枪,m . Pantic”连续预测valence-arousal自发的从多个线索和模式影响的空间,“IEEE情感计算,卷2,不。2、92 - 105年,2011页。视图:出版商的网站|谷歌学术搜索
15. h·l . Wang和l . f .畅“情感理解电影,”IEEE电路&系统视频技术,16卷,不。6,689 - 704年,2006页。视图:出版商的网站|谷歌学术搜索
16. g .老大t . Satou小岛,t·山崎裕郎k Aizawa,“情感视听语言和潜在主题驾驶模型实现电影情感场景分类,“IEEE多媒体,12卷,不。6,523 - 535年,2010页。视图:出版商的网站|谷歌学术搜索
17. m .徐,徐,x, j·s·金,美国罗,和y .瑞,“分层在唤醒和价维度,情感内容分析”信号处理,卷93,不。8,2140 - 2150年,2014页。视图:出版商的网站|谷歌学术搜索
18. r·m·a .特谢拉t·山崎裕郎k Aizawa,“情感内容的确定视频剪辑的低级视听功能,“多媒体工具和应用程序,卷61,不。1,21-49,2012页。视图:出版商的网站|谷歌学术搜索
19. l·辛格,s·辛格和n . Aggarwal“改进的TOPSIS方法峰值框架选择视听传播的人类情感识别,”多媒体工具和应用程序,卷78,不。5,6277 - 6308年,2019页。视图:出版商的网站|谷歌学术搜索
20. l . m . x Wang Peng, h . Min, j . Chunhua和r .富士”两级注意面部表情识别与两级多任务学习,”杂志的视觉传达和图像表示,卷62,不。7,217 - 225年,2019页。视图:出版商的网站|谷歌学术搜索
21. 吴j . y . Wang, h . Keiichiro“Multi-attention融合视频情感识别网络”《2019年国际会议上多通道交互苏州,页595 - 601年,中国,2019年10月。视图:出版商的网站|谷歌学术搜索
22. 诉Vielzeuf、美国Pateux和f . Jurie“时间多通道融合视频情感分类在野外,”19 ACM国际会议的程序多通道交互,页569 - 576,纽约,纽约,美国,2017年11月。视图:出版商的网站|谷歌学术搜索
23. t . j .雪罗z, k Eguchi Takiguchi, t . Omoto,”贝叶斯非参数多通道数据建模框架视频情感识别”《IEEE国际会议多媒体和世博会,页601 - 606,香港,中国,2017年7月。视图:出版商的网站|谷歌学术搜索
24. s e . Kahou诉Michalski, k Konda et al .,“复发性情感识别的神经网络视频,”ACM国际会议的程序多通道交互,第474 - 467页,西雅图,佤邦,美国,2015年11月。视图:谷歌学术搜索
25. l .风扇和k . Yunjie“时空网络视频情感识别,”2017年,http://arxiv.org/abs/1704.00570。视图:谷歌学术搜索
26. h . Zhang和m .徐”认可的情绪与kernelized特性,用户生成的视频”IEEE多媒体,20卷,不。10日,2824 - 2835年,2018页。视图:出版商的网站|谷歌学术搜索
27. 徐,y郑,你们h . et al .,“选择”视频运动识别的概念,《IEEE国际会议多媒体和世博会,第411 - 406页,上海,中国,2019年7月。视图:谷歌学术搜索
28. p·埃克曼和w .诉弗”常量跨越文化面对和情感,“人格与社会心理学杂志》上,17卷,不。2、124 - 129年,1971页。视图:出版商的网站|谷歌学术搜索
29. 任,k .他r . Girshick et al .,“快R-CNN:对与地区建议网络实时目标检测,”学报》国际会议神经信息处理系统加拿大蒙特利尔,页91 - 99,,2015年12月。视图:出版商的网站|谷歌学术搜索
30. s .杨·罗c . l . Chen和x唐,“更广泛的脸:人脸检测基准,”《IEEE计算机视觉与模式识别会议拉斯维加斯,页5525 - 5533年,NV,美国,2016年6月。视图:出版商的网站|谷歌学术搜索
31. o . m . Parkhi a Vedaldi, a . Zisserman“深人脸识别,”《英国机器视觉会议英国斯旺西,页1 - 12,2015年9月。视图:出版商的网站|谷歌学术搜索
32. k . Simonyan和a . Zisserman”很深的卷积网络大规模图像识别,”2014年,http://arxiv.org/abs/1409.1556。视图:谷歌学术搜索
33. o . Russakovsky j .邓·h·苏et al .,“ImageNet大规模视觉识别的挑战。”国际计算机视觉杂志》上,卷115,不。3、211 - 252年,2014页。视图:出版商的网站|谷歌学术搜索
34. f·斯沃夫,d . Kalenichenko和p·詹姆斯,“Facenet:统一嵌入人脸识别和聚类”《IEEE计算机视觉与模式识别会议,页815 - 823,波士顿,MA,美国,2015年6月。视图:出版商的网站|谷歌学术搜索
35. 徐,y傅,Y.-G。江、李b和l . Sigal“异构知识转移在视频情感识别、归因和总结,“IEEE情感计算,9卷,不。2、255 - 270年,2018页。视图:出版商的网站|谷歌学术搜索

版权

版权©2020小东刘和苗王。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。