文摘
情感识别与加权特征基于面部表情是一项具有挑战性的研究课题,并在过去的几年中引起了极大关注。本文提出一种新方法,利用次区域识别率体重内核函数。首先,我们把面部表情图像分成一些统一的条件和计算相应的识别率和重量。然后,我们得到一个加权特性高斯核函数,构造一个基于支持向量机(SVM)分类器。最后,实验结果表明,该方法基于加权特征高斯核函数具有良好的性能在情感识别正确的速度。上的实验扩展Cohn-Kanade (CK +)数据表明,我们的方法取得了令人鼓舞的识别结果比较先进的方法。
1。介绍
情感识别必要的应用程序在现实世界中。它的应用范围包括但不限于人工智能和人机交互。它仍然是一个具有挑战性的和有吸引力的话题。有很多方法,提出了处理情感识别的问题。演讲(1,2],生理[3- - - - - -5),探讨了情感识别和视觉信号。语音信号不连续信号,因为他们只能捕捉到当人们说话。生理信号的获取需要一些特殊的生理传感器。视觉信号的最佳选择情感识别基于上述原因。虽然提供的视觉信息是有用的,有关于如何利用这些信息可靠和强劲的挑战。根据Albert Mehrabian 7% -38% -55%规则,面部表情是一个重要的意思是检测的情绪[6]。
进一步的研究一直在进行情感识别面部表情图像的问题在过去的十年里(7,8]。给定一个面部表情图像,估计正确的情绪状态,如愤怒,快乐,悲伤和惊奇都会行之于色,。一般的过程有两个步骤:特征提取和分类。特征提取、几何特征、纹理特征、运动特征,常用的统计特性。基于机器学习算法的分类,方法是经常使用的。根据专业的特点,应用加权功能机器学习算法已经成为一个活跃的研究课题。
近年来,情感与加权特性基于面部表情识别已经成为一个新的研究课题,受到越来越多的关注9,10]。目的是估计情感类型从面部表情图像捕获在物理面部表情主题的过程。但从面部表情图像捕获的情感特性密切相关,而不是整张脸一些特定区域的脸。例如,眉毛,眼睛,鼻子,嘴巴区域是面部表情(密切相关11]。此外,每个特征对识别结果的影响是不同的。为了使最好的特性,使用特征加权技术可以进一步提高识别性能。虽然有几种方法确认重量,但它仍然是一个悬而未决的问题如何选择有效的特性和计算相应的重量。
在本文中,一种新的情感识别方法提出了基于加权特征的面部表情。是出于情感的事实可以通过面部表情和描述每一个面部表情特征对识别结果有不同的影响。不同于以前的作品直接通过计算重量的每个特性,该方法认为功能通过计算subrecognition率的影响。我们的方法包含两个阶段:重量计算阶段和识别阶段。重量计算阶段,我们首先把脸分成4个区域根据面部行为变化的程度。然后,我们使用每个区域的特性来计算相应的识别率。最后,我们计算重量每个区域的功能根据大小的识别率。在识别阶段,我们首先使用上面的重量结果来计算加权核函数。然后,我们得到一个新的基于支持向量机的识别模型和加权核函数。
该方法,有三个主要贡献和差异比较的初步工作。()一个更高级的重量特性的方法。在以前的方法,分别计算每个特性的重量没有实际的验证。为了克服这个不足,我们组的特性和计算相应subrecognition率。然后我们计算重量的功能组根据各自subrecognition率。()在识别阶段,使用前面的方法直接的重量特性。在本文中,我们使用的重量特性组体重内核函数。然后我们使用新的加权核函数在机器学习模型。()该方法评估数据库中含有7种情绪。此外,比较结果一直在仔细分析和研究是否使用加权核函数。剩下的纸是组织如下:部分2概述相关的作品在面部表情特征提取,计算重量的特性,和分类的情感。部分3该方法描述了定理和证明。部分4通过实验验证该方法并分析实验结果。部分5总结了纸。
2。相关工作
基于运动方法的识别性能高度依赖特征提取方法。许多新方法提出了基于面部表情特征提取。他们可以大致分为两类:外貌的方法和geometric-based方法。外貌的方法提取强度或其他从面部表情图像纹理特征。特征提取的常用方法包括局部二进制模式(LBP) (12,13),面向的柱状图的梯度(猪)14,15),伽柏小波(16,17),和尺度不变特征变换(SIFT) [18,19]。这些特性可以用来提取操作单元(AU)特性和识别面部表情。geometric-based方法描述面部组件形状基于关键点的面部检测图像,如眉毛,眼睛,鼻子,嘴和轮廓线。这些要点的运动可用于指导面部表情识别的过程。例如,活动外观模型(AAM) [20.]或主动形状模型(ASM) (21,22)和约束地方模型(CLM) (23)被广泛用于检测和跟踪这些要点脸来记录他们的位移。然而,ASM的定位精度和麦依赖于它们的几何模型。和模型训练阶段有时需要进行手动工作,通常是费时的。
识别分类算法获得的结果受到所有功能的影响。所以重量的引入可以区分不同的功能和提高分类性能的贡献。提出了各种方法来计算每个特性的重量。文献[24]介绍了欧几里得度量的标准扩展到闵可夫斯基度规直接计算重量的每个特性。一些方法将面部图像分成一些统一的条件,计算每个子区域的重量。文献[25]介绍了信息熵来区分不同的分区的贡献的脸。文献[26)估计的重量每一次区域采用当地的方差。特征加权以不同的方式、特征选择和重量计算可能被认为是一个潜在的问题。解决这个问题的一种有效方法是执行功能权重的基础上,获得反馈。一些方法(27,28]面部图像分成一些统一的条件和特征加权的次区域结果返回。没有限制每个特性,它提供了自由的特性表征的结构。
许多机器学习方法提出了分类的面部表情,如支持向量机(29日),随机森林(RF) (30.),神经网络(NN) [31日),而最近邻(NN) [32]。文献[33]介绍了射频性能和支持向量机的人脸识别分类。文献[34)提高技术用于神经网络的建设和最终的预测是由朴素贝叶斯分类器(NB)。文献[35)该地区划分为不同类型和组合特征的模糊支持向量机(FSVM)神经网络,不同类型的分类方法。研究表明,这些方法非常适合面部表情分类。
3所示。支持向量机
3.1。线性支持向量机
支持向量机是一种新的监督学习模型与相关学习算法的数据分类问题的最终目的是找到最优分离超平面。支持向量机的数学模型如下所示。
给定一个训练集,在那里是输入和相应的输出,如果有一个超平面,可以把所有的点吗正确地分成两组,我们的目标是找到“最大边际超平面”,超平面之间的距离和最近的点从两组最大化。通过引入惩罚参数和松弛变量最优超平面可以通过解决约束优化问题如下: 基于拉格朗日乘数法,问题转换为对偶问题如下: 在哪里拉格朗日乘数法的样品吗。只有少数是删除的部分问题的解决方案,这样我们就可以得到分类决策函数如下:
3.2。非线性支持向量机
线性不可分的问题,我们首先将数据映射到其他高维空间我们称之为,用一个非线性映射。然后我们使用线性模型来实现分类的新空间。通过定义“核函数”,(2)转换如下: 和相应的分类决策函数转换如下:
核函数的选择目标是取代基函数的内积。普通的内核函数研究了线性不可分的问题如下:(1) h-degree多项式核函数 (2)径向基核函数(高斯) (3)乙状结肠核函数
3.3。加权SVM特性
加权特性的支持向量机是基于加权支持向量机的核函数,它被定义为定义1。
定义1。让是一个核函数中定义,。是一个线性变换方阵的秩序给定的输入空间的输入空间的维数。核函数加权特性被定义为 在哪里被称为加权特征矩阵。不同的选择导致不同的体重情况:(1) 是一个单位矩阵的顺序,这是没有重量的情况。(2) 是一个对角矩阵的顺序,在那里的重量是并不是所有th特性等于别人吗 (3) 任意矩阵的顺序吗,这是完整的体重情况
我们只考虑是一个对角矩阵的顺序在这篇文章中。
定义2。普通核函数加权特性可以通过(9),流程如下所示:(1)多项式核函数加权特性 (2)(高斯)径向基核函数加权特性 (3)乙状结肠核函数加权特性
引入核函数的动机是搜索新功能空间中的非线性模型通过使用非线性映射。矩阵似乎并没有相关的动机,因为它作为线性映射。然而,它可能是有用的在实践中,因为它可以改变输入空间的几何形状和特征空间,从而改变体重特征空间的不同功能。和加权特性高斯核函数基础仍然是一个非线性模型在使用线性变换。结论可以通过定理证明3。
定理3。让是一个核函数中定义,。是一个从输入空间映射到特征空间。是一个线性变换方阵和。然后推导出。
证明。 ,作为任何三个普通内核函数的定义1;然后推导出
定理4。当有,th的特征样本数据与计算无关的内核函数和分类器的输出。此外,小的价值的影响,计算内核函数和分类器的输出。
证明。从核函数加权特性的定义和分类决策函数(5),结论很简单。
定理3表明变化点和点之间的位置关系导致变化的几何形状特征空间的线性变换。,可能会有更好的新功能空间中线性分离超平面来提高支持向量机的分类性能。定理4表明,加权核函数可以减少弱相关的影响和没有关联特性,和我们期待更好的分类结果。实验结果在本文的下一节中证明这个结论。
3.4。重量估算的特性
特征加权技术基于某些原理给出了各种数据特性,计算重量是关键元素。面部表情的变化导致个人面部肌肉轻微不同的即时变化的面部外观。根据面部肌肉的运动范围,整张脸可以分为三种区域:刚性区域(鼻子),半刚性的地区(眼睛、额头和脸颊),和严格的地区(嘴)。根据以上原则,我们将脸分成几个区域,找出识别率所有领域的认可率越高,影响越大。否则,识别率越低,越小的影响。把重量确定的价值为基础计算重量,并给出了计算公式如下: 这种方法使得。
的面积重量的最高价值最高的分化的脸,虽然它也是最大的贡献者分类结果。因此,测量体重的价值相关性越高指数的相关性越强。加权SVM特性的四个构造步骤如下:(1)收集起源面部表情图像数据集和提取特征数据集,在那里是特征向量的面部表情,特征向量的吗th的脸,是相应的类标签的面部表情(2)计算识别利率的重量和相应的价值每个区域。构造特征权向量和线性变换方阵,在那里(3)更换标准内核函数公式与核函数加权特性公式(12)- (14),并构建一个基于样本数据集的分类器(4)评估实现了分类器的性能
4所示。实验
上的实验扩展Cohn-Kanade (CK +)数据集显示了该方法的有效性。在我们的实验中,我们使用基于LIBSVM python程序软件包,以及数据处理的平台是计算机与Windows 7,英特尔®核心™i3 - 2120 CPU (3.30 GHz)、4.00 GB RAM。
4.1。扩展Cohn-Kanade数据集
Lucey et al。36]介绍了CK +数据集包含593序列从123年的主题。每个序列包含的图像出现峰值(中性帧)表达式(最后一帧)。,但只有327的593序列被发现来满足标准的七个离散的情绪。,327年的峰值帧被选择和标签一起组成起源面部表情图像数据集。每个离散图像情感的详细数量如表所示1。
4.2。面部特征提取
在本文中,我们使用面部关键点每个图像的特征点对情感识别基于面部表情。每个特征点表示为一个二维坐标如下:。每个图像的分辨率数据集是,,或。为了统一坐标系统的标准,图像预处理是用来改变每个图像的分辨率。文献[11]提出了情绪的产生,带来了面部行为变化密切相关,而不是整张脸但某些特定领域,如眉毛,眼睛,嘴巴,鼻子,组织纹理。此外,面对不同地区有不同的坚硬。根据上述原则,本文将面临划分为4个区域,如图1和相应的特征向量列出如下。
( )眉毛区域。选择8个重点从每个眉;他们的二维坐标,共同形成一个32-dimensional特征向量。
( )的眼睛。从每只眼睛选择8要点;他们的二维坐标,共同形成一个32-dimensional特征向量。
( )鼻子。选择10个重点从鼻子;他们的二维坐标,工作在一起,形成一个20维的特征向量。
( 口)。从口选择17个重点;他们的二维坐标,共同形成一个34-dimensional特征向量。
最重要的是,我们选择59关键点的眉毛,眼睛,鼻子,嘴巴。因此,118 -维面部特征向量可以从每一帧在哪里。
4.3。实验与不同的特性
样本集包含327个七的面部图像特征向量离散的情绪。我们使用分层抽样的方法训练集和测试集。首先,我们把样本集出7层的特定情绪的基础。然后,我们选择一个固定数量的功能从每个层独立随机向量。的数量是由最小的大小7面部表情样本集,这是70%的蔑视本文样本集的大小。最后,所有这些选择特征向量聚在一起构成训练集,其余的特征向量聚在一起组成测试集。每个情感的详细特征向量的数量如表所示1。
选择组件的特征向量构成训练集和测试集。因此我们在不同实验四次面部区域特性,分别。每个面部区域特性的详细识别精度如表所示2。根据实验结果分析在四个功能区域,三种类型的地区特性的影响是不同的。非刚性的地区影响最大;刚性区域最小而半刚性的区域有影响在一个公平的水平。
4.4。实验与不同的核函数
我们使用前面的实验结果和(10)和(16)获得的重量每个区域和相应的线性变换方阵如下:
标准高斯核函数高斯核函数和加权特性可以通过(7)和(13)118 -维面部特征向量
因此我们在训练集实验两次和测试集分别用不同的核函数。正确识别面部表情的数量在两个内核函数如表所示3。
最后,我们比较我们的结果与两个内核的实验功能,这些都是基于图像的CK +框架和测试数据集。的平均精度WF-SVM使用高斯核函数加权特性是93%,这比支持向量机使用标准的高斯核函数的平均精度为83%,如表所示3。和识别率比前面的方法七的情绪。这些证实了我们方法的有效性。调查的原因之后,我们发现它可以解释从机器学习算法的鲁棒性。这种方法减少了弱相关特性通过加权特性的影响,从而提高算法的鲁棒性。
5。结论和未来的工作
在本文中,我们提出一个方法基于面部表情的情感识别。在我们的方法中,我们提出一个特征加权技术,因为每个特征对识别结果的影响是不同的。不同于以前的作品直接通过计算每个特性的重量,面部表情图像分为一些统一的条件和次区域的重量特性计算基于各自subrecognition率。实验结果表明,该方法基于加权特征高斯核函数具有良好的性能在情感识别正确的速度。但是我们的方法显示了数据集很好的性能有限的头部运动。基于面部表情的情感识别在未来仍然充满挑战。
相互竞争的利益
作者宣称没有利益冲突有关的出版。
确认
这项工作是由中国国家自然科学基金(没有。61573066)。