文摘

情感交流中起着重要的作用。人机交互,面部表情识别已经成为不可或缺的一部分。最近,深层神经网络(款)广泛应用于这一领域,克服传统方法的局限性。然而,款的应用非常有限由于过度硬件规格要求。考虑低硬件规格中使用的现实条件,以获得更好的结果没有款,在本文中,我们提出一个面向算法的组合的快速旋转短暂(ORB)特性和局部二值模式(LBP)特征提取面部表情。首先,每一个图像通过人脸检测算法提取更有效的功能。其次,为了提高计算速度,ORB和LBP特征提取的人脸区域;具体来说,区域分工是创新采用传统的ORB避免特性的浓度。的功能是不变的规模和灰度以及旋转变化。最后,结合支持向量机(SVM)进行分类的特性。 The proposed method is evaluated on several challenging databases such as Cohn-Kanade database (CK+), Japanese Female Facial Expressions database (JAFFE), and MMI database; experimental results of seven emotion state (neutral, joy, sadness, surprise, anger, fear, and disgust) show that the proposed framework is effective and accurate.

1。介绍

情感识别中扮演一个重要的角色在沟通和仍然是一个具有挑战性的研究领域。面部表情是情绪的风向标,提供有价值的情感信息的人类(1,2]。因此,人们可以立即认识到另一个人的情绪状态基于他/她的面部表情。因此,面部表情信息通常用于情感识别的自动系统。随着技术的发展,它已成为方便我们与自动系统来解决问题,如从面部图像识别一个人的情感。一台机器可以准确地与人类是否有能力认识到人类情感。现实世界的应用程序涉及这样的相互作用包括人机交互(HCI) [3,4),虚拟现实(VR) [5),增强现实(AR) [6),先进的司机助理系统(该)7,和娱乐8,9]。面部表情识别系统,面临检测并记录为2 d图像通过使用各种设备,如肌电描记器(emg)心电检测仪(ecg),脑电图仪(EEG),和照相机。

基于这些2 d图像,面部表情识别中有三个主要的研究方向。第一种方法将面部肌肉的运动定义为一个操作单元(AU),面部表情是由几个来自的运动。根据来自从输入图像的运动,相应的面部表情可以由解码检测到澳大利亚。然而,由于肌肉运动通常是轻微的,检测来自有准确的问题(10],严重限制了该方法的发展。第二种方法是基于功能的方法,包括三个步骤。在第一阶段,面对从输入图像检测,识别和地标区域。在第二阶段,特征提取的人脸区域利用直方图的面向梯度(猪),枸杞多糖,伽柏小波方法。在第三阶段,面部表情终于通过使用支持向量机等分类,识别和分类演算法,随机森林。第三个方法是DNN-based方法,在面部表情识别执行得很好。与传统方法不同,产生一个功能的输入图像地图通过卷积的过滤器收集层(11- - - - - -13]。

尽管DNN-based方法通常比传统的方法有更好的表现,他们有问题处理时间和内存消耗。考虑低硬件规格用于一些现实条件,以获得更好的结果没有款,我们的目标是识别七个基本情绪状态(中性、快乐、惊讶、悲伤、恐惧、愤怒和厌恶)基于面部表情使用第二个(基于特征)的方法。正如我们知道的,枸杞多糖是一种强大的功能结构表示。当面部表情出现,不同的纹理生成的操作相关的肌肉在脸上。出于这个原因,我们在研究中选择了枸杞多糖对面部表情识别。此外,达到实时的要求,通常忽略了在先前的研究中,我们将枸杞多糖和办公室,因为ORB已被证明有很高的计算速度。

然而,传统的ORB是更多集中在提取的特征点的分布。作为传统的ORB,丰富的特征点提取达到更高的精度,但过度密集的特征点是很不方便的功能描述。为了解决这个问题,我们创新工作区域部门传统的ORB。这种改进的ORB算法计算的数量从每个区域根据提取的特征点的总数数量的特征点提取和区域划分。在目前的研究中,我们不仅将枸杞多糖和ORB,但结合枸杞多糖和改善ORB解决了这个问题的特征点提取过程中重叠和冗余。此外,测试我们的改善枸杞多糖和ORB算法,我们进行了一些实验的面部表情在CK +数据库,贾菲数据库,和MMI数据库。

本文组织如下。部分2总结了前面的一些作品。部分3介绍了面部表情识别的算法框架。面临检测和提取使用Dlib库由于其处理速度快,分开提取枸杞多糖和改进的ORB功能区域。然后,Z得分方法用于融合这两种类型的特性。面部表情数据库给出了部分4,并给出了实验结果与最先进的方法和比较的部分5。最后,结论部分6。

2。相关工作

我们描述相关的面部表情识别系统,研究了日期。这些算法主要可以分为三个方向:几何特征提取方法,外观特征提取方法和基于深度学习的方法。的几何特征提取方法提取几何元素的面部结构和运动面部肌肉,相貌特征提取方法提取特征的整个面部的标准,和基于深度学习方法使用卷积神经网络(CNN)实现自动提取面部特征的学习。最近的一些涉及上述算法的算法描述下面。

几何特性的算法提取时间或动态变化的具有里程碑意义的脸。几何关系具有里程碑意义的点检测到从面临地区利用表达式表示。唐等人设计的几何特性基于心理学和生理学(14]。梁等人关注野生细粒度的面部表情识别和建立一个全新的基准FG-Emotions,原来的六类扩展到更复杂的33类,并提出了一种新的基于端到端多尺度行动单位- (AU)网络(MSAU-Net)面部表情识别15]。张等人提出了一个端到端的深度学习模型,允许合成同时面部图像和pose-invariant面部表情识别利用脸部图像的几何形状(16]。然而,当检测到里程碑点不正确,识别精度会下降。

外观特性提取面部图像强度来表示一个区别的结构模式。Mandal等人提取面部图像的自适应位置阈值;阈值参数在当地社区可以为不同的图像自适应调整;然后multidistance级特性进行编码。支持向量机作为分类器的面部表情识别(17]。蔡self-quotient Haar-like特性方法结合图像(SQI)过滤面部表情识别。角(ART)径向变换,离散余弦变换(DCT)和伽柏过滤器(GF)系统中同时使用。支持向量机是用于实现最好的结果(18]。陈等人用视觉形式(脸图像)和音频模式(演讲)面部表情识别。他们提出了一个描述符命名的柱状图的梯度从三个正交平面(HOG-TOP)从视频序列中提取动态纹理描述面部外观变化(19]。Ryu等人粗网格用于稳定代码(nonexpression高度相关),和一个更好的活动代码(高度相关的表达式)作为面部表情识别的特征(20.]。刘等人提取枸杞多糖和猪功能上定义面临的突出的区域;然后,主成分分析(PCA)是用来减少的尺寸特性融合枸杞多糖和猪21]。Ghimire等人将整个脸地区分成特定于域的局部地区;然后有针对性相貌特征和几何特征提取领域特定地区的面部表情识别(22]。尼噶的直方图检索等人的面向梯度(猪)功能在DWT域和一个支持向量机用于表达式识别(23]。Kamarol等人提出了时空的纹理贴图(STTM)捕捉微妙的面部表情的时空变化特征和较低的计算复杂度。和一个支持向量机用于分类(24]。图兰和林27日当地描述符而阶段执行量化(LPQ)和当地伽柏二进制模式直方图序列(LGBPHS)达到最好的结果25]。Bougourzi等人结合的梯度直方图,当地的相位量化和统计图像的关键特性从静态图像识别面部表情(26]。之一Meena等人图像信号处理以及曲波变换用于识别面部表情。不仅特征向量的维数减少,还识别面部表情的显著提高(27]。Ashir等人使用的压缩传感技术与统计分析提取压缩面部信号来表示一种更健壮的特性表现为每个单独的面部表情类(28]。

最近,深度学习被广泛使用在许多计算机视觉任务,包括面部表情识别和取得非凡的成功。面部表情特征是由卷积神经网络(CNN)自动学习。东等人介绍了致密连接在池执行功能共享在一个相对较浅的CNN结构有效的面部表情在有限的训练数据(29日]。谢等人嵌入式特征稀疏深陷特征学习提高卷积神经网络泛化能力的面部表情识别(30.]。玉等人设计了一个全球性的本土多任务学习框架表示的面部表情(31日]。温家宝等人设计了一种新的神经网络在域信息损失和动态目标学习;网络可以避免梯度消失和获得更高的语义特征32]。王等人提出了一个简单而有效的自我治愈网络(SCN),有效地抑制不确定性和阻止深层网络过度拟合确定面部图像(33]。虽然基于深度学习的方法可以达到较高的识别率,还需要更多的计算资源和数据。由于这些原因,我们的研究使用的是前一个框架。

3所示。方法

在本节中,详细介绍了提出方法。如图1枸杞多糖和ORB特征提取之前,应该输入图像预处理(人脸检测和提取)。枸杞多糖是一种精细的描述符,捕捉小结构的细节。本地空间不变性是通过本地池(例如,一个柱状图)。鉴于这种方法非常耐照明变化、枸杞多糖是一个不错的选择,编码面部外观信息的细节在粗尺度的范围。此外,ORB方法2数量级的速度比筛选方法,在许多情况下,他们执行。此外,我们改进了ORB避免在提取特征点的重叠和冗余处理。然后,特征融合的枸杞多糖和改进ORB进行。最后,使用支持向量机分类精度计算来评估我们的方法是否可以在面部表情识别取得优异的成绩。

3.1。人脸检测和提取

提出了许多算法对人脸检测,如哈雾级联算法,猪与支持向量机方法,和CNN模型。在本文中,我们使用Dlib库来检测面临着由于其处理速度快,如图2。Dlib库包含一个面部里程碑式探测器pretrained模型(34,35]。这个模型是68点在脸上,点指定区域的脸。下巴行突出显示使用点- 17,使用点在18到22岁的左眉毛突出,正确的眉毛是强调使用汽车出行,左眼区域突出显示使用点37-42,右眼地区使用点43-48突出显示,鼻突出显示的区域使用点几个,外唇区域是强调使用点49-60,内唇结构突出显示使用61 - 68点。在这种方法中,将创建一个回归树模型来找到这些面部里程碑点直接从像素强度没有特征提取;因此,检测过程可能快到足以克服与实时分析相关的准确性和质量问题。

通常,情绪主要是通过传达的眼睛,鼻子,眉毛,和一些面部区域,所以面临的其他部分,如耳朵和额头,可以排除在进一步分析。这人脸检测算法适合获得确切的面部区域,并指出1-27用于从原始图像中提取脸部区域。

3.2。融合与枸杞多糖和ORB功能

3.2.1之上。局部二进制模式(lbp)

枸杞多糖,由Ojala引入,可以有效地描述图像的纹理信息(36- - - - - -38]。LBP算子定义为3×3的社区,需要中央像素,每个像素和评估选择周围的8像素像素基于给定的阈值。结果binary-valued图像补丁形式本地图像描述符(39]。LBP算子采用以下形式:

8邻居的中心像素 , 和灰色的价值在哪里和 ,和是1,如果 和0。显示了一个原始LBP算子的人物3和4描述了面部表情的原始LBP特征。

如果一个LBP算子的最多包含一个0 - 1和1 - 0过渡二进制代码,然后存在一个统一的模式。统一的模式包含棱角的原始结构信息。这个信息可以用来降低特征向量的长度,实现一个简单的旋转不变描述符。在我们的研究中,相同式样枸杞多糖描述符应用于从面孔,获得特征和特征向量的长度为一个细胞可以减少从256年59的传统方法。面对区域的大小是130×130,和LBP的脸是128×128,分为小16×16补丁解决8×8。统一从每个小块和提取枸杞多糖特性映射到59-dimensional直方图。

3.2.2。面向快速旋转短暂(ORB)特性

快的特点被广泛使用,因为他们的计算特性。快速操作使用一个参数,强度阈值之间的中心像素,每个像素在圆环围绕中心,面向角落的简单而有效的措施。这个参数被称为强度重心。强度质心假定一个角落的强度是不同于一个像素中心,和这个向量可以用来确定一个方向40]。

(1)快速检测器。快速探测器首次提出Rosten广泛用于角点检测的计算机视觉由于其快速的操作和低计算复杂度比其他角落探测器。段测试标准是基于分析一个圆角落16像素的候选人 。最初的探测器分类如果一组作为一个角落相邻像素的强度比的候选人加上一个阈值还是比-存在于循环。值得注意的是,选为12,因为它产生了一个高速测试,可用于排除大量的noncorners。提出了快速检测器的表达如下: 在哪里的强度 , 是16个像素的强度在拐角处,然后呢是一个门槛。如果等于 ,像素属于暗组;如果等于 ,像素属于类似的组织。如果等于 ,像素属于光明集团。如果12连续像素属于黑暗或光明集团存在,被认为是一个角落。

决心当所有角落的图像像素是使用上述过程进行了测试。在一些地区角落会收敛。找到最健壮的角落,nonmaximal抑制方法采用基于得分函数。得分值计算每个检测到的角落,角落和低分值删除。得分值高的角落一直使用nonmaximal抑制方法。有几个直观定义分数值:(1)的最大价值的仍然是一个角落,(2)的最小值的仍然是一个角落,(3)像素之间的绝对差的和连续的弧和中心像素。

定义(1)和(2)是高度可量化的措施,和许多像素共享这些相同的值。提高计算速度,稍微修改版本的使用(3)。得分值计算如下: 在哪里的强度 , 是16个像素的强度在拐角处,然后呢t是一个门槛。

(2)简要描述符。简短的描述符首次提出通过采用m . Calonder描述发现角落。简短的描述符的形式由“1”和“0”值,和简短的描述符的长度通常定义为128位,256位或512位。以下公式清晰显示简短的描述符的定义: 在哪里 和 像素的强度吗 和 ,分别。如果 小于 ,然后 ;否则, 。的长度被指定为256位。

在一个点的描述子图象的大小35列×35行(在这里,定义在以下情况是相同的)。因为简短描述符对噪声很敏感,每个补丁的强度值对计算使用平滑滤波器的5×5好子窗口居中 ,在哪里 。为了减少图像边界的影响,图像的强度值边界的计算;因此,子图象的实际大小是减少到31日×31。接下来, 被定义为一个补丁对一对点,总共有256个补丁对子图象。的位置 256点对是由高斯分布,在哪里 。此外,高斯 价值观是决定从一个各向同性高斯分布,是一个补丁的大小。关于如何确定细节的位置可以找到256个补丁对(40]。图5描绘了ORB面部表情的特征。

3.2.3。提出球

传统的ORB更集中在提取的特征点的分布。在传统的ORB,丰富的特征点提取达到更高的精度,但过度密集的特征点为特征的描述很不方便。为了解决这个问题,我们创新工作区域部门传统的ORB。这种改进的ORB算法计算特征点的数量为每个区域根据提取的特征点的总数中提取和区域划分。描述的步骤如下。步骤1。均匀地将图像分成 区域的大小相同。是行和是列的部门。特征点随机分布在划分区域,和区域测序 。步骤2。设定一个阈值 在哪里是特征点的数量。步骤3。检测到的特征点在每个地区;如果不小于的数量特征 ,我们选择随着特征数量。如果小于的数量特征 ,阈值应该更小,重复这个步骤。步骤4。当特征点的数量大于 ,nonmaximal抑制方法是用于选择最好的特征点。步骤5。所有区域遍历到的特征点数量满足条件。

3.2.4。特征融合方案

功能正常化是用来增加功能融合前的识别率。在这篇文章中,LBP特征归一化到0 - 1的范围,下面的公式应用于正常枸杞多糖和ORB功能: 在哪里的值是一个功能。

特征融合通常因为一种功能无法进行描述每一个图像特征。在这篇文章中,融合了枸杞多糖和ORB描述符使用Z得分方法。 在哪里是一个枸杞多糖的特性或ORB功能融合后的特征数据。乘以一个因素吗 ,和100年以下的实验。

4所示。数据库的面部表情

4.1。日本女性的面部表情(JAFFE)数据库

JAFFE数据库包含213张图片来自十个不同的日本女性主题,每个主题都有3或4的例子7面部情绪(六种基本的面部情绪和中性情绪)。图像是灰度分辨率为256×256 (41]。在我们的实验中,总213图像(愤怒:30图像;厌恶:29图像;恐惧:32图像;幸福:31图像;中性:30图像;悲伤:31图像;和惊喜:30图像)是用来评估算法。一些图像从JAFFE数据库如图所示6。

4.2。数据库扩展Cohn-Kanade (CK +)

CK +数据库包含593序列从123例18到30岁。总的来说,327年序列用愤怒标记(45),蔑视(18),厌恶(59),恐惧(25),幸福(69),悲伤(28),和惊喜(83)。不同的面部表情有不同的数字对应的序列,每个表达式包含图像从中性表达高峰。中性和三峰从每个序列帧取样不被认为是用于测试而蔑视。在我们的实验中,我们选择309个序列标签的六种基本的面部表情不含轻蔑。我们选择了三个最后一帧序列,所以有927图片愤怒,厌恶,恐惧,快乐,悲伤和惊奇。此外,我们的第一帧序列定义为中性的面部表情(309张照片)。综上所述,1236年从CK图像+数据库被用于我们的实验。图像分辨率为640×490或640×480 (42,43]。

4.3。MMI数据库

MMI面部表情数据库(44,45)包括208个视频两性从19岁到62岁。每个序列标签的六种基本情绪,开始与中性的表达和结束,而表达式是在中间。在我们的实验中,我们近似的三峰从中间帧序列。因此,我们得到624彩色图像分辨率720×576像素。MMI数据库更具挑战性的条件包括照明,性别,年龄,种族,和不足数量的科目,其中许多磨损配件(例如,眼镜,胡子)。图7显示了一些图像从MMI数据库。

集合中的静态图像的序列,最常用的方法是选择第一帧(中性表情)和three-peak帧在每一个序列。另外,十倍人组成的独立进行交叉验证的实验。

5。实验

本节给出实验的细节。两个实验涉及贾菲,CK +和MMI数据库进行验证拟议中的面部表情识别方法的有效性。在第一个实验中,研究对象用于培训测试集的一部分。在第二个实验中,研究对象用于培训没有用于测试。这意味着subject-dependent (SD)和subject-independent (SI)和交叉验证方案在实验1和实验2中,分别。subject-independent实验计划在过去的几年中被广泛研究,因为它是真正的应用程序更合理,这需要从新的识别面部表情的人。支持向量机是在实验中,使用的基本分类器和10倍交叉验证过程中使用所有的实验。

5.1。实验基于JAFFE数据库

所有的面部区域图像大小为128×128像素,和分类器训练使用LibSVM [46]。定义的参数通过一个网格搜索和10倍交叉验证被用来提高算法性能。每个实验重复10次,结果报告为这10个复制的平均值。被用于该算法融合特性,并输入数据融合了枸杞多糖和ORB功能。

实验的准确性具有不同特性如表所示1。枸杞多糖+ ORB的结果比LBP / ORB的实验结果1(枸杞多糖+ ORB: 92.4%;枸杞多糖:86.7%;和ORB: 89.2%)和实验2(枸杞多糖+ ORB: 88.5%;枸杞多糖:65.4%;和ORB: 73.1%)。

比较我们的结果与其他方法的文献如表所示2。识别率基于JAFFE数据集提出该方法获得了更高的精度(88.5%)比最近的方法(73.24%、55.71%和87.6%)。

5.2。实验基于CK +数据库

实验的过程基于CK +数据库JAFFE数据库一样。所有的面部表情图像从视频序列中提取。实验的准确性具有不同特性如表所示3。枸杞多糖+ ORB的结果比LBP / ORB的实验结果1(枸杞多糖+ ORB: 99.2%;枸杞多糖:97.3%;和ORB: 98.5%)和实验2(枸杞多糖+ ORB: 93.2%;枸杞多糖:86.7%;和ORB: 88.4%)。

比较我们的结果与其他方法的文献如表所示4。识别率基于CK +数据集提出该方法获得的准确性(93.2%)高于最近的一个方法(84.6%),但低于三个最近的方法(95.96%、94.5%和95.1%)。

5.3。实验基于MMI数据库

实验基于MMI数据库的过程是一样的,杰夫数据库和CK +数据库。所有的面部表情图像从视频序列中提取。实验的准确性具有不同特性如表所示5。枸杞多糖+ ORB的结果比LBP / ORB的实验结果1(枸杞多糖+ ORB: 84.2%;枸杞多糖:73.3%;和ORB: 78.5%)和实验2(枸杞多糖+ ORB: 79.8%;枸杞多糖:69.9%;和ORB: 73.3%)。

比较我们的结果与其他方法的文献如表所示6。该方法获得的准确性(79.8%)高于所有最近的四个方法(73.57%,70.63%,76.3%,58.98%)。值得注意的是,该方法比其他方法执行基于MMI数据集。

5.4。讨论

基于我们的实验的结果,很明显,我们提出的方法能有效地解决面部表情识别。在本文中,我们提出一个新的框架的情感识别系统从静态图像采用基于特征的方法。我们结合枸杞多糖提取的和改进的ORB功能描述符具有不同的性质。最近,大量研究报道,DNN-based表现在面部表情识别方法。然而,DNN-based方法需要过多的硬件规格要求。考虑低硬件规格中使用的现实条件,以获得更好的结果没有款,在本文中,我们提出了一个算法相结合的改进的ORB功能和LBP特征提取面部表情。

与其他方法相比,枸杞多糖更有效提取面部表情。然而,有效的面部表情识别的速度也很重要。而不是使用枸杞多糖,ORB也用于面部表情识别ORB以来,我们的系统已经被证明可以有很高的计算速度。值得注意的是,相比之下,LBP / ORB,实验结果基于贾菲,CK +和MMI数据库显示,我们的方法可以增强面部表情识别的准确性,换句话说,可以提高辨别能力。同时,基于贾菲,CK +和MMI数据库,我们发现我们的方法通常比最近的面部表情识别的研究。我们的方法改善面部表情识别的准确性基于JAFFE数据库;识别率基于CK +数据库的结果表明,我们的方法是不如以前的方法但表现(17使用类似的实验。识别率MMI数据库基础上提出该方法取得了优越的识别精度比所有四个最先进的方法。考虑到面部表情的特点和实时的要求,我们结合枸杞多糖和改进OBR面部表情来提高识别性能的特点,但还有更多的挑战。在未来的研究中,我们将关注如何提高精度和提高速度。

6。结论

本文提出了一个框架,面部表情识别与熔融特性。枸杞多糖和改进ORB描述符用于特征提取和支持向量机分类进行面部表情识别。实验结果表明,该框架表现好于一些广泛使用的方法基于JAFFE数据库,CK +数据库,MMI数据库。

本文主要侧重于从静态图像的面部表情。在未来的工作中,面部表情从视频序列将进一步认为,作为嵌入式系统将计算时间。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者在合理的请求。

的利益冲突

作者宣称他们没有利益冲突有关的出版。

确认

这项工作是支持的高级人才金陵科技学院(没有的基础。jit - b - 201704)和中国国家自然科学基金(31700993号和U1733122)。