WCMCgydF4y2Ba 无线通信和移动计算gydF4y2Ba 1530 - 8677gydF4y2Ba 1530 - 8669gydF4y2Ba HindawigydF4y2Ba 10.1155 / 2021/5763626gydF4y2Ba 5763626gydF4y2Ba 研究文章gydF4y2Ba 面部表情识别基于卷积神经网络融合筛选功能的移动虚拟现实gydF4y2Ba https://orcid.org/0000 - 0002 - 7292 - 2990gydF4y2Ba 姚gydF4y2Ba FuguanggydF4y2Ba 1gydF4y2Ba 邱gydF4y2Ba 刘东gydF4y2Ba 2gydF4y2Ba NagarajgydF4y2Ba 巴拉科瑞斯南gydF4y2Ba 1gydF4y2Ba 重庆大学的教育gydF4y2Ba 重庆400065gydF4y2Ba 中国gydF4y2Ba cqu.edu.cngydF4y2Ba 2gydF4y2Ba 重庆工业理工学院gydF4y2Ba 重庆401120gydF4y2Ba 中国gydF4y2Ba cqipc.netgydF4y2Ba 2021年gydF4y2Ba 14gydF4y2Ba 10gydF4y2Ba 2021年gydF4y2Ba 2021年gydF4y2Ba 22gydF4y2Ba 8gydF4y2Ba 2021年gydF4y2Ba 25gydF4y2Ba 9gydF4y2Ba 2021年gydF4y2Ba 14gydF4y2Ba 10gydF4y2Ba 2021年gydF4y2Ba 2021年gydF4y2Ba 版权©2021 Fuguang姚明和刘东秋。gydF4y2Ba 这是一个开放的文章在知识共享归属许可下发布的,它允许无限制的使用,分布和繁殖在任何媒介,提供最初的工作是正确的引用。gydF4y2Ba

面部表情识别计算机技术可以获得通过的表达人的情感信息来判断状态和意图的人的人。文章提出了一种混合模型,结合了卷积神经网络(CNN)和密集的筛选功能。该模型用于面部表情识别。首先,本文构建了一个CNN模型和学习的地方特色的眼睛,眉毛,嘴巴。然后,本文特征被发送到支持向量机(SVM) multiclassifier获得后验概率的各种特性。最后,模型的输出结果是决定和融合得到最终的识别结果。实验结果表明,改进的卷积神经网络结构ER2013和CK +数据集的面部表情识别率提高了0.06%和2.25%,分别。gydF4y2Ba

 重庆人文和社会科学的重要研究基地gydF4y2Ba 18 jdzdwt04gydF4y2Ba 中国国家教育中心发展计划gydF4y2Ba CSDP18FC3204gydF4y2Ba 重庆大学的教育gydF4y2Ba 2017年xjpt07gydF4y2Ba 1。介绍gydF4y2Ba

面部表情识别计算机技术可以获得通过的表达人的情感信息来判断状态和意图的人的人。具有重要意义在人机交互、安全驾驶、智能广告系统。CK +数据集是一个典型的面部表情库,其中包含表达图像的愤怒,厌恶,恐惧,快乐,悲伤,惊讶的是,和轻视。表达式是视频序列(gydF4y2Ba 1gydF4y2Ba]。它包含一系列的图像相同的表达式从平静到暴力。我们可以提取中性表情图片。gydF4y2Ba

受到距离等因素的影响,图像会有模糊的面孔和更少的脸像素的问题。low-pixel人脸图像的表情识别是识别面部图像质量较低和不显眼的面部特征(gydF4y2Ba 2gydF4y2Ba]。通过抽样获得的图像大小gydF4y2Ba 32gydF4y2Ba 像素gydF4y2Ba ×gydF4y2Ba 32gydF4y2Ba 像素gydF4y2Ba ,这是符合low-pixel特征。面部表情图像的复杂性高。当面部特征不明显,我们很难以识别,提取特定的特征信息。面部表情图像的大小gydF4y2Ba 32gydF4y2Ba 像素gydF4y2Ba ×gydF4y2Ba 32gydF4y2Ba 像素gydF4y2Ba ,有些学者提出了一个面部表情识别方法的基础上,改进LeNetG5卷积神经网络(CNN)。有些学者提出了一个CNN的面部表情识别方法基于局部二进制模式(LBP)。研究表明,美国有线电视新闻网有更好的效果在low-pixel面部表情识别图像。本文在此基础上提高了CNN模型。我们提出一个表达式low-pixel面部图像识别方法,与其他方法进行比较。结果表明,该方法有更好的识别效果。gydF4y2Ba

 2。表达Low-Pixel面部图像的识别方法gydF4y2Ba 2.1。面部表情图像后处理gydF4y2Ba

一般表达式识别方法包括图像后处理,面部特征提取、识别和表达。图像表情识别的后处理阶段执行人脸检测获取面部区域图像(gydF4y2Ba 3gydF4y2Ba]。在low-pixel面部表情图像的识别还需要图像增强或图像后处理中超限分辨。图像增强是提高图像的现有信息通过改变像素的分布,和图像超限分辨是通过添加像素恢复一些缺失的像素信息。gydF4y2Ba

该方法的图像后处理包括人脸检测和裁剪,灰色处理,将采样数据增强和图像增强。人脸检测的目的是精确校准的位置和大小的脸的图像。我们使用人脸检测的D-lib模型。D-lib模型可以自动估计图像的面部特征点的坐标和过程OpenCV库中的数据。我们使用这种作物图像,图像的特征集中在脸上。灰度处理的过程中,将彩色图像转换为灰度图像。将采样的图像大小是标准化输入CNN模型。我们使用双线性插值,以确保面临重新取样的位置图像与原始图像相同。我们使用图像识别的CNN。训练数据的数量直接影响最终的识别效果。 The larger the amount of data, the better the effect [ 4gydF4y2Ba]。常用的数据增强方法包括镜像、旋转,增加噪音。这些方法反映了原始数据和旋转不同的角度和方向,提高数据原始数据的13倍。然后我们添加不同的噪声系数(椒盐噪声、高斯噪声、泊松噪声,和散斑噪声)现有的数据,和最终的数据是原始数据增强了130倍。我们进行直方图均衡化图像和使用局部二进制模式获得增强的图像。其中,直方图均衡化也称为直方图压扁。这种方法的本质是非线性拉伸图像,重新分配图像像素值。这样,某灰度的像素值范围是大致相等的。局部二进制模式是一个操作符,描述图像的局部纹理特征。它具有旋转和灰色的不变性。 It can be used to extract local texture features of the image. The specific reprocessing process is shown in Figure 1gydF4y2Ba。gydF4y2Ba

面部表情加工的过程。gydF4y2Ba

 2.2。提高卷积神经网络模型gydF4y2Ba

随着计算机处理能力的发展,CNN在图像识别取得了惊人的成果。CNN-based图像识别方法的效率也在不断提高,已逐渐取代了传统的面部表情图像识别方法。在2012 ImageNet面向对象识别的挑战(ILSVRC),一些学者利用CNN模型Alex净赢得冠军。在2014年ILSVRC竞争,CNN模型谷歌网络架构分类中赢得第一名。一些学者提出CNN-VGG网。分类组的第二名和第一名项目组定位。VGG-Net深化网络层的数量,同时避免太多的参数,所有层使用gydF4y2Ba 3gydF4y2Ba ×gydF4y2Ba 3gydF4y2Ba 小内核卷积,卷积层步长设置为1。多重卷积和非线性激活层的交替结构使得提取更深更好的比一个卷积层结构特性。在ResNet ILSVRC2015竞争,学者提出的,赢得冠军gydF4y2Ba 5gydF4y2Ba]。名为捷径的连接方法连接ResNet理论上可以使网络处于最佳状态在网络层不断深化。有足够的面部表情的特征信息来优化模型参数以获得良好的识别效果。Low-pixel脸图像需要充分利用不显眼的功能信息。在此基础上,本文提出了一个CNN low-pixel面部表情识别模型图像提取面部特征更好。gydF4y2Ba

输入的图像大小CNN模型gydF4y2Ba 32gydF4y2Ba 像素gydF4y2Ba ×gydF4y2Ba 32gydF4y2Ba 像素gydF4y2Ba 。我们增加数量的CNN层增加网络的非线性模型。这使得决策函数的识别能力更强。避免梯度消失和梯度爆炸引起的深化网络层的数量,需要一个更复杂的网络结构(gydF4y2Ba 6gydF4y2Ba]。有些学者提出了一个网络连接结构的高速公路网络。在这个结构的一些特性可以通过某些网络层直接处理,这使得更容易优化结构。结合这个结构和捷径连接,一个简短的方法避免了梯度消失和梯度爆炸问题在使用更深层次的网络。实验使用的CNN模型图所示gydF4y2Ba 2gydF4y2Ba。@之前数量特征图的数量,和@后的大小特征映射(gydF4y2Ba 像素gydF4y2Ba ×gydF4y2Ba 像素gydF4y2Ba )。gydF4y2Ba

CNN模型。gydF4y2Ba

我们输入的大小特征地图,内核的卷积和的大小池操作,步长,输出特性图的大小在卷积运算和池操作。它的数学关系gydF4y2Ba (1)gydF4y2Ba ωgydF4y2Ba 2gydF4y2Ba =gydF4y2Ba ωgydF4y2Ba 1gydF4y2Ba −gydF4y2Ba fgydF4y2Ba +gydF4y2Ba 2gydF4y2Ba pgydF4y2Ba 年代gydF4y2Ba +gydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba

在哪里gydF4y2Ba ωgydF4y2Ba 2gydF4y2Ba 是特征地图大小卷积或池操作后,gydF4y2Ba ωgydF4y2Ba 1gydF4y2Ba 的大小特征映射在卷积或池之前,gydF4y2Ba fgydF4y2Ba 是内核为卷积和的大小池操作,gydF4y2Ba pgydF4y2Ba 是像素的数量满是零,gydF4y2Ba 年代gydF4y2Ba 步长。我们添加的输出张量模型的第三层和第五层获得128的输出张量特征图的大小gydF4y2Ba 14gydF4y2Ba 像素gydF4y2Ba ×gydF4y2Ba 14gydF4y2Ba 像素gydF4y2Ba 。然后,我们通过ReLU第六层的激活函数作为输入。文章补充说第七和第九层的输出张量模型的获取256特征图的大小gydF4y2Ba 6gydF4y2Ba 像素gydF4y2Ba ×gydF4y2Ba 6gydF4y2Ba 像素gydF4y2Ba 。然后,我们通过ReLU第十层的激活函数作为输入。第十二层是完全连接。我们把第十和第十一层的输出通过ReLU激活函数,然后将获得的张量作为输入的第12层。输出是160个神经元(gydF4y2Ba 7gydF4y2Ba]。最后一层是将SoftMax分类器。输出是八个网络节点,代表输入图像的概率表达式州漠不关心。表gydF4y2Ba 1gydF4y2Ba是模型的具体描述。内容包括模型的每一层的类型,相应的内核大小和步长,每一层的输出特性图的大小。CNN包括三个基本操作:卷积、池、和全连接。其中,卷积卷积也分为内部和外部卷积。换句话说,它是卷积没有0填充和卷积与0填充。本文假设输入矩阵gydF4y2Ba 一个gydF4y2Ba 的gydF4y2Ba 米gydF4y2Ba ×gydF4y2Ba NgydF4y2Ba 。卷积内核的时刻gydF4y2Ba BgydF4y2Ba ,gydF4y2Ba 米gydF4y2Ba ≥gydF4y2Ba 米gydF4y2Ba ,gydF4y2Ba NgydF4y2Ba ≥gydF4y2Ba ngydF4y2Ba 的gydF4y2Ba 米gydF4y2Ba ×gydF4y2Ba ngydF4y2Ba ;然后,内部的输出卷积操作gydF4y2Ba CgydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba ∗gydF4y2Ba BgydF4y2Ba 。像素gydF4y2Ba cgydF4y2Ba 我gydF4y2Ba jgydF4y2Ba 在相应的位置可以表示为gydF4y2Ba (2)gydF4y2Ba cgydF4y2Ba 我gydF4y2Ba jgydF4y2Ba =gydF4y2Ba ∑gydF4y2Ba 年代gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba 米gydF4y2Ba ∑gydF4y2Ba tgydF4y2Ba =gydF4y2Ba 1gydF4y2Ba ngydF4y2Ba 一个gydF4y2Ba 我gydF4y2Ba +gydF4y2Ba 米gydF4y2Ba −gydF4y2Ba 年代gydF4y2Ba ,gydF4y2Ba jgydF4y2Ba +gydF4y2Ba ngydF4y2Ba −gydF4y2Ba tgydF4y2Ba ×gydF4y2Ba bgydF4y2Ba 年代gydF4y2Ba tgydF4y2Ba 。gydF4y2Ba

卷积网络参数。gydF4y2Ba

层gydF4y2Ba 类型gydF4y2Ba 内核大小(gydF4y2Ba 像素gydF4y2Ba ×gydF4y2Ba 像素gydF4y2Ba )gydF4y2Ba 步gydF4y2Ba 输出数量gydF4y2Ba 输出的大小(gydF4y2Ba 像素gydF4y2Ba ×gydF4y2Ba 像素gydF4y2Ba )gydF4y2Ba
Layer1gydF4y2Ba 卷积gydF4y2Ba 3gydF4y2Ba ×gydF4y2Ba 3gydF4y2Ba 1gydF4y2Ba 64年gydF4y2Ba 30.gydF4y2Ba ×gydF4y2Ba 30.gydF4y2Ba
Layer2gydF4y2Ba 卷积gydF4y2Ba 3gydF4y2Ba ×gydF4y2Ba 3gydF4y2Ba 1gydF4y2Ba 128年gydF4y2Ba 28gydF4y2Ba ×gydF4y2Ba 28gydF4y2Ba
Layer3gydF4y2Ba 马克斯池gydF4y2Ba 2gydF4y2Ba ×gydF4y2Ba 2gydF4y2Ba 2gydF4y2Ba 128年gydF4y2Ba 14gydF4y2Ba ×gydF4y2Ba 14gydF4y2Ba
Layer4gydF4y2Ba 卷积gydF4y2Ba 3gydF4y2Ba ×gydF4y2Ba 3gydF4y2Ba 1gydF4y2Ba 128年gydF4y2Ba 14gydF4y2Ba ×gydF4y2Ba 14gydF4y2Ba
Layer5gydF4y2Ba 卷积gydF4y2Ba 3gydF4y2Ba ×gydF4y2Ba 3gydF4y2Ba 1gydF4y2Ba 128年gydF4y2Ba 14gydF4y2Ba ×gydF4y2Ba 14gydF4y2Ba
Layer6gydF4y2Ba 卷积gydF4y2Ba 3gydF4y2Ba ×gydF4y2Ba 3gydF4y2Ba 1gydF4y2Ba 256年gydF4y2Ba 12gydF4y2Ba ×gydF4y2Ba 12gydF4y2Ba
Layer7gydF4y2Ba 马克斯池gydF4y2Ba 2gydF4y2Ba ×gydF4y2Ba 2gydF4y2Ba 2gydF4y2Ba 256年gydF4y2Ba 6gydF4y2Ba ×gydF4y2Ba 6gydF4y2Ba
Layer8gydF4y2Ba 卷积gydF4y2Ba 3gydF4y2Ba ×gydF4y2Ba 3gydF4y2Ba 1gydF4y2Ba 256年gydF4y2Ba 6gydF4y2Ba ×gydF4y2Ba 6gydF4y2Ba
Layer9gydF4y2Ba 卷积gydF4y2Ba 3gydF4y2Ba ×gydF4y2Ba 3gydF4y2Ba 1gydF4y2Ba 256年gydF4y2Ba 6gydF4y2Ba ×gydF4y2Ba 6gydF4y2Ba
Layer10gydF4y2Ba 平均分担gydF4y2Ba 3gydF4y2Ba ×gydF4y2Ba 3gydF4y2Ba 3gydF4y2Ba 256年gydF4y2Ba 2gydF4y2Ba ×gydF4y2Ba 2gydF4y2Ba
Layer11gydF4y2Ba 卷积gydF4y2Ba 2gydF4y2Ba ×gydF4y2Ba 2gydF4y2Ba 1gydF4y2Ba 512年gydF4y2Ba 1gydF4y2Ba ×gydF4y2Ba 1gydF4y2Ba
Layer12gydF4y2Ba 完全连接gydF4y2Ba - - - - - -gydF4y2Ba - - - - - -gydF4y2Ba - - - - - -gydF4y2Ba 160年gydF4y2Ba ×gydF4y2Ba 1gydF4y2Ba
输出gydF4y2Ba SoftMaxgydF4y2Ba - - - - - -gydF4y2Ba - - - - - -gydF4y2Ba - - - - - -gydF4y2Ba 8gydF4y2Ba ×gydF4y2Ba 1gydF4y2Ba

1gydF4y2Ba ≤gydF4y2Ba 我gydF4y2Ba ≤gydF4y2Ba 米gydF4y2Ba −gydF4y2Ba 米gydF4y2Ba +gydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba 1gydF4y2Ba ≤gydF4y2Ba jgydF4y2Ba ≤gydF4y2Ba NgydF4y2Ba −gydF4y2Ba ngydF4y2Ba +gydF4y2Ba 1gydF4y2Ba 是相应的乘法和矩阵的行和列gydF4y2Ba 一个gydF4y2Ba 。假设像素矩阵的相应位置gydF4y2Ba BgydF4y2Ba 是gydF4y2Ba bgydF4y2Ba 年代gydF4y2Ba tgydF4y2Ba ,相应位置的像素矩阵gydF4y2Ba 一个gydF4y2Ba 是gydF4y2Ba 一个gydF4y2Ba 我gydF4y2Ba +gydF4y2Ba 米gydF4y2Ba −gydF4y2Ba 年代gydF4y2Ba ,gydF4y2Ba jgydF4y2Ba +gydF4y2Ba ngydF4y2Ba −gydF4y2Ba tgydF4y2Ba 。外卷积的定义是馅gydF4y2Ba 一个gydF4y2Ba 0,和填充矩阵的行和列相关的行和列的数量gydF4y2Ba BgydF4y2Ba 矩阵。这篇文章是一个gydF4y2Ba 米gydF4y2Ba +gydF4y2Ba 2gydF4y2Ba 米gydF4y2Ba −gydF4y2Ba 2gydF4y2Ba ×gydF4y2Ba NgydF4y2Ba +gydF4y2Ba 2gydF4y2Ba ngydF4y2Ba −gydF4y2Ba 2gydF4y2Ba 卷积矩阵,然后执行内部gydF4y2Ba BgydF4y2Ba 。这个公式可以表示为gydF4y2Ba (3)gydF4y2Ba 一个gydF4y2Ba ∗gydF4y2Ba ∩gydF4y2Ba BgydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba ∩gydF4y2Ba BgydF4y2Ba ∗gydF4y2Ba ∪gydF4y2Ba BgydF4y2Ba 。gydF4y2Ba

我们池矩阵gydF4y2Ba 一个gydF4y2Ba 。假设它分为不重叠的块,每个块的大小gydF4y2Ba λgydF4y2Ba ×gydF4y2Ba τgydF4y2Ba 。矩阵gydF4y2Ba GgydF4y2Ba λgydF4y2Ba ,gydF4y2Ba τgydF4y2Ba 一个gydF4y2Ba 我gydF4y2Ba jgydF4y2Ba 块gydF4y2Ba 我gydF4y2Ba jgydF4y2Ba 可以表示为gydF4y2Ba (4)gydF4y2Ba GgydF4y2Ba λgydF4y2Ba ,gydF4y2Ba τgydF4y2Ba 一个gydF4y2Ba 我gydF4y2Ba ,gydF4y2Ba jgydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba 年代gydF4y2Ba tgydF4y2Ba λgydF4y2Ba ×gydF4y2Ba τgydF4y2Ba ,gydF4y2Ba

在哪里gydF4y2Ba 一个gydF4y2Ba 年代gydF4y2Ba tgydF4y2Ba 元素的行吗gydF4y2Ba 年代gydF4y2Ba 和列gydF4y2Ba tgydF4y2Ba 在矩阵gydF4y2Ba 一个gydF4y2Ba ,gydF4y2Ba 一个gydF4y2Ba 年代gydF4y2Ba tgydF4y2Ba λgydF4y2Ba ×gydF4y2Ba τgydF4y2Ba 是一个矩阵块组成的吗gydF4y2Ba λgydF4y2Ba ×gydF4y2Ba τgydF4y2Ba 矩阵的元素gydF4y2Ba 一个gydF4y2Ba ,gydF4y2Ba 我gydF4y2Ba −gydF4y2Ba 1gydF4y2Ba ×gydF4y2Ba λgydF4y2Ba +gydF4y2Ba 1gydF4y2Ba ≤gydF4y2Ba 年代gydF4y2Ba ≤gydF4y2Ba 我gydF4y2Ba ×gydF4y2Ba λgydF4y2Ba ,gydF4y2Ba jgydF4y2Ba −gydF4y2Ba 1gydF4y2Ba ×gydF4y2Ba τgydF4y2Ba +gydF4y2Ba 1gydF4y2Ba ≤gydF4y2Ba tgydF4y2Ba ≤gydF4y2Ba jgydF4y2Ba ×gydF4y2Ba τgydF4y2Ba 。最大池被定义为gydF4y2Ba (5)gydF4y2Ba dgydF4y2Ba GgydF4y2Ba λgydF4y2Ba ,gydF4y2Ba τgydF4y2Ba 一个gydF4y2Ba 我gydF4y2Ba ,gydF4y2Ba jgydF4y2Ba =gydF4y2Ba 马克斯gydF4y2Ba ∑gydF4y2Ba 年代gydF4y2Ba =gydF4y2Ba 我gydF4y2Ba −gydF4y2Ba 1gydF4y2Ba ×gydF4y2Ba λgydF4y2Ba +gydF4y2Ba 1gydF4y2Ba 我gydF4y2Ba ×gydF4y2Ba λgydF4y2Ba ∑gydF4y2Ba tgydF4y2Ba =gydF4y2Ba jgydF4y2Ba −gydF4y2Ba 1gydF4y2Ba ×gydF4y2Ba τgydF4y2Ba +gydF4y2Ba 1gydF4y2Ba jgydF4y2Ba ×gydF4y2Ba τgydF4y2Ba 一个gydF4y2Ba 年代gydF4y2Ba tgydF4y2Ba 。gydF4y2Ba

平均池被定义为gydF4y2Ba (6)gydF4y2Ba 一个gydF4y2Ba GgydF4y2Ba λgydF4y2Ba ,gydF4y2Ba τgydF4y2Ba 一个gydF4y2Ba 我gydF4y2Ba ,gydF4y2Ba jgydF4y2Ba =gydF4y2Ba 1gydF4y2Ba λgydF4y2Ba ×gydF4y2Ba τgydF4y2Ba ∑gydF4y2Ba ∑gydF4y2Ba 年代gydF4y2Ba =gydF4y2Ba 我gydF4y2Ba −gydF4y2Ba 1gydF4y2Ba ×gydF4y2Ba λgydF4y2Ba +gydF4y2Ba 1gydF4y2Ba 我gydF4y2Ba ×gydF4y2Ba λgydF4y2Ba ∑gydF4y2Ba tgydF4y2Ba =gydF4y2Ba jgydF4y2Ba −gydF4y2Ba 1gydF4y2Ba ×gydF4y2Ba τgydF4y2Ba +gydF4y2Ba 1gydF4y2Ba jgydF4y2Ba ×gydF4y2Ba τgydF4y2Ba 一个gydF4y2Ba 年代gydF4y2Ba tgydF4y2Ba 。gydF4y2Ba

我们使用重叠块的大小gydF4y2Ba λgydF4y2Ba ×gydF4y2Ba τgydF4y2Ba downsample最大池gydF4y2Ba 一个gydF4y2Ba 马克斯gydF4y2Ba 和平均汇集gydF4y2Ba 一个gydF4y2Ba 米gydF4y2Ba egydF4y2Ba 一个gydF4y2Ba ngydF4y2Ba ,分别。这个公式可以表示为gydF4y2Ba (7)gydF4y2Ba DgydF4y2Ba λgydF4y2Ba ,gydF4y2Ba τgydF4y2Ba 一个gydF4y2Ba 马克斯gydF4y2Ba =gydF4y2Ba dgydF4y2Ba GgydF4y2Ba λgydF4y2Ba ,gydF4y2Ba τgydF4y2Ba 一个gydF4y2Ba 我gydF4y2Ba ,gydF4y2Ba jgydF4y2Ba ,gydF4y2Ba DgydF4y2Ba λgydF4y2Ba ,gydF4y2Ba τgydF4y2Ba 一个gydF4y2Ba 的意思是gydF4y2Ba =gydF4y2Ba 一个gydF4y2Ba GgydF4y2Ba λgydF4y2Ba ,gydF4y2Ba τgydF4y2Ba 一个gydF4y2Ba 我gydF4y2Ba ,gydF4y2Ba jgydF4y2Ba 。gydF4y2Ba

每个输出gydF4y2Ba 一个gydF4y2Ba 完全的层可以看作是连接gydF4y2Ba rgydF4y2Ba 节点gydF4y2Ba 一个gydF4y2Ba rgydF4y2Ba 在前面的层乘以其权重系数gydF4y2Ba ωgydF4y2Ba rgydF4y2Ba ,再加上一个偏差值gydF4y2Ba bgydF4y2Ba hgydF4y2Ba 。例如,完全连接层的输入gydF4y2Ba 256年gydF4y2Ba ×gydF4y2Ba 2gydF4y2Ba ×gydF4y2Ba 2gydF4y2Ba 节点。即输入特征地图是256 @gydF4y2Ba 2gydF4y2Ba ×gydF4y2Ba 2gydF4y2Ba ,有80个节点的输出。总共gydF4y2Ba 256年gydF4y2Ba ×gydF4y2Ba 2gydF4y2Ba ×gydF4y2Ba 2gydF4y2Ba ×gydF4y2Ba 80年gydF4y2Ba =gydF4y2Ba 81920gydF4y2Ba 权重系数和80年偏移量参数是必需的。然后,一个元素gydF4y2Ba dgydF4y2Ba hgydF4y2Ba 在它的输出向量gydF4y2Ba DgydF4y2Ba 可以表示为gydF4y2Ba (8)gydF4y2Ba dgydF4y2Ba hgydF4y2Ba =gydF4y2Ba ∑gydF4y2Ba rgydF4y2Ba =gydF4y2Ba 1gydF4y2Ba kgydF4y2Ba ωgydF4y2Ba rgydF4y2Ba ×gydF4y2Ba 一个gydF4y2Ba rgydF4y2Ba +gydF4y2Ba bgydF4y2Ba hgydF4y2Ba 。gydF4y2Ba

的公式,gydF4y2Ba kgydF4y2Ba 是输入的数量特征图。gydF4y2Ba

 3所示。Low-Pixel面部表情识别的实验图像gydF4y2Ba 3.1。数据集的准备gydF4y2Ba

实验使用CK +数据集,这些数据集是用来评估面部表情识别系统(带),也是一个相对常见的面部表情识别的数据集。从123年主题内容包含593个视频序列。时间范围从10到60帧(gydF4y2Ba 8gydF4y2Ba]。数据集显示了一系列的图像从平静到暴力。原始图像的数量在不同的表达分布是不均匀的。中性表情图像是图像在表达式的开始或者结束。根据原来的数量分布,我们选择每个表达式的最后1 ~ 3的表情图像序列。总共有686张图片用于建模。80%作为训练集,20%作为测试集。峰值的图像同样的人同样的表达不会出现同时在训练集和测试集。gydF4y2Ba

本文将数据添加到训练集,我们将测试数据获得和ungained测试集相同的训练模式。由于研究发现,识别精度的差异很小,没有数据获取处理在测试集上。最终的图像训练集的大小是71370,和测试集的图像大小是137。我们执行在所有图像直方图均衡化和局部二进制模式获得三个相同大小的数据集,包括原始图像(gydF4y2Ba 9gydF4y2Ba]。表gydF4y2Ba 2gydF4y2Ba8表达式的显示图像的数量在每一个测试集和训练集。八个表情,原始图像的直方图均衡化后的图像,图像的局部二进制模式如图gydF4y2Ba 3gydF4y2Ba。gydF4y2Ba

面部表情数据库。gydF4y2Ba

类别gydF4y2Ba 培训数据库gydF4y2Ba 测试数据库gydF4y2Ba
愤怒的gydF4y2Ba 14040年gydF4y2Ba 27gydF4y2Ba
厌恶gydF4y2Ba 12220年gydF4y2Ba 24gydF4y2Ba
可怕的gydF4y2Ba 7800年gydF4y2Ba 15gydF4y2Ba
快乐gydF4y2Ba 14300年gydF4y2Ba 28gydF4y2Ba
悲伤的gydF4y2Ba 8970年gydF4y2Ba 15gydF4y2Ba
惊讶gydF4y2Ba 8580年gydF4y2Ba 16gydF4y2Ba
嘲笑gydF4y2Ba 5460年gydF4y2Ba 12gydF4y2Ba
中性gydF4y2Ba 8970年gydF4y2Ba 15gydF4y2Ba

示例8表情符号的图像。gydF4y2Ba

 3.2。评估标准gydF4y2Ba

面部表情识别的主要评估标准方法识别的准确性和识别速度。正确识别准确率的比例是公认的表达式在测试集样本在所有测试集样本的数量。识别速度后,需要认识到每一个测试集样本建立了识别模型。的时间所花费的时间的比率确定测试组测试集样本的数量。gydF4y2Ba (9)gydF4y2Ba 一个gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba pgydF4y2Ba ∑gydF4y2Ba 1gydF4y2Ba pgydF4y2Ba ggydF4y2Ba fgydF4y2Ba xgydF4y2Ba bgydF4y2Ba =gydF4y2Ba ygydF4y2Ba bgydF4y2Ba ,gydF4y2Ba tgydF4y2Ba dgydF4y2Ba =gydF4y2Ba TgydF4y2Ba pgydF4y2Ba ,gydF4y2Ba

在哪里gydF4y2Ba 一个gydF4y2Ba 识别准确率,gydF4y2Ba pgydF4y2Ba 在测试集样本的总数,gydF4y2Ba ggydF4y2Ba 指标函数,gydF4y2Ba xgydF4y2Ba bgydF4y2Ba 是给定的样本,gydF4y2Ba fgydF4y2Ba xgydF4y2Ba bgydF4y2Ba 样品通过后的输出模型,gydF4y2Ba ygydF4y2Ba bgydF4y2Ba 是一个给定的标签样本,gydF4y2Ba tgydF4y2Ba dgydF4y2Ba 识别速度(gydF4y2Ba 10gydF4y2Ba),而gydF4y2Ba TgydF4y2Ba 所花费的总时间。我们可以通过时间减去第一个测试样本被时间后测试样品是公认的。gydF4y2Ba

 3.3。实验过程gydF4y2Ba

因为输入CNN图像像素很低,输出识别效果略有波动,所以我们引入了决策融合和最终的图像识别。在测试阶段,我们使用五个训练网络模型来判断测试集数据,分别。然后,我们使用将SoftMax平均投票(干腊肠)方法融合判决这5个模型的结果。最后,我们得到最终结果,提高识别效果。测试步骤如图gydF4y2Ba 4gydF4y2Ba。gydF4y2Ba

原理图SoftMax平均投票。gydF4y2Ba

它可以看到从一节gydF4y2Ba 2.2gydF4y2BaCNN的输出是一个维向量。向量中每个元素的值的概率是图像可能是一个特定的类别。SoftMax平均投票是平均五个训练有素的cnn的输出结果。把三个实验的平均值从年底的最可能的结果。显卡是940 mx NVIDAGe力量。主频率为1122 MHz,和2.00 GB的内存。的操作系统是Linux Ubuntu 16.04。该软件是Python 3.6, NVIDIA CUDA和cuDNN库。我们采用了培训策略来提高识别精度是添加批量标准化(BN)和ReLU激活函数每次卷积和汇聚层。这可以克服梯度的消失和加快训练速度。gydF4y2Ba

我们选择性地添加L2正规化和辍学缓解过度拟合。采用学习速率衰减策略。我们选择一个更大的值开始学习速率。后gydF4y2Ba NgydF4y2Ba 轮迭代中,最初的学习速率的衰减是1/10gydF4y2Ba 11gydF4y2Ba]。我们使用亚当优化算法在优化过程中,使网络快速找到全球最好的优势。数据集是原始图像,图像的直方图增强、和当地两个。CNN模型训练特征地图使用价值模式,同时,我们网络的参数调整。gydF4y2Ba

根据测试的准确性,我们首先确定我们是否需要添加的L2正规化和辍学一层一层,然后确定哪些地方。我们确定学习速率的近似范围根据损失在训练,训练,和测试精度。两个二分法获得学习速率。gydF4y2Ba

 3.4。结果分析gydF4y2Ba

找到最优的面部表情识别系统,我们输入的原始图像数据集,本地二进制模式特征映射的数据集,CNN的直方图均衡数据集模型。平均识别精度和速度得到结果如表所示gydF4y2Ba 3gydF4y2Ba。这个实验是三个实验的平均值。gydF4y2Ba

比较识别精度和时间。gydF4y2Ba

模型gydF4y2Ba 原始数据库gydF4y2Ba 本地二进制模式数据库gydF4y2Ba 直方图均衡化的数据库gydF4y2Ba
精度(%)gydF4y2Ba 89.5gydF4y2Ba 86.9gydF4y2Ba 90.5gydF4y2Ba
时间(年代)gydF4y2Ba 1.54gydF4y2Ba 1.27gydF4y2Ba 1.56gydF4y2Ba

它可以发现,直方图均衡化后的输入数据集的准确性比原始图像的数据集。数据输入的准确性作为局部二进制模式特性映射是最差的。有三个之间的速度差异不明显。数据的识别速度设置输入本地二进制模式特征映射稍快,但是0.29秒的速度有一个小的优点相比,3.6%的准确性。分析不同的数据集在图gydF4y2Ba 3gydF4y2Ba,我们认为某些数据的增强将加强图像信息,提高识别精度。因为数据的原始像素太低,我们直接提取特征映射的局部二进制模式,这将增强纹理信息而失去更多的信息(gydF4y2Ba 12gydF4y2Ba]。因此,速度是最快的,当精度最低。实验最后选择数据集通过直方图均衡化增强输入CNN模型。我们添加L2正规化和辍学后第12层。辍学参数为0.7,和学习速率的初始值是0.0001。1000次迭代之后,它1/10的初始学习速率衰减。表gydF4y2Ba 4gydF4y2Ba的三个实验结果显示改进CNN模型CK + eight-expression识别的数据集。gydF4y2Ba

改进的CNN模型的识别精度。gydF4y2Ba

分类精度gydF4y2Ba 第一个实验gydF4y2Ba 第二个实验gydF4y2Ba 第三个实验gydF4y2Ba 总gydF4y2Ba
愤怒的gydF4y2Ba 96.3gydF4y2Ba 88.9gydF4y2Ba 96.3gydF4y2Ba 93.8gydF4y2Ba
厌恶gydF4y2Ba 91.7gydF4y2Ba 91.7gydF4y2Ba 95.8gydF4y2Ba 93.1gydF4y2Ba
可怕的gydF4y2Ba 60gydF4y2Ba 86.7gydF4y2Ba 60gydF4y2Ba 68.9gydF4y2Ba
快乐gydF4y2Ba One hundred.gydF4y2Ba One hundred.gydF4y2Ba One hundred.gydF4y2Ba One hundred.gydF4y2Ba
悲伤的gydF4y2Ba 86.7gydF4y2Ba 80年gydF4y2Ba 86.7gydF4y2Ba 84.5gydF4y2Ba
惊讶gydF4y2Ba One hundred.gydF4y2Ba One hundred.gydF4y2Ba 93.8gydF4y2Ba 97.9gydF4y2Ba
嘲笑gydF4y2Ba 83.3gydF4y2Ba 83.3gydF4y2Ba 75年gydF4y2Ba 80.5gydF4y2Ba
中性gydF4y2Ba 93.3gydF4y2Ba 93.3gydF4y2Ba 93.3gydF4y2Ba 93.3gydF4y2Ba
总gydF4y2Ba 90.5gydF4y2Ba 91.2gydF4y2Ba 89.8gydF4y2Ba 90.5gydF4y2Ba

从表可以看出gydF4y2Ba 4gydF4y2Ba高兴和惊讶表情的识别率更高。可怕的识别率很低,波动很大。一方面,它可能是第一个两个特征更明显,而害怕和悲伤在某种程度上也有类似的特征。另一方面,CK +数据集,前两个表达式的原始数据量雄厚,和可怕的数据的数量很小。共有15个图片是可怕的测试集。只有五个不同的表情图像原始数据。这导致不平等的培训时间。验证的影响建立识别模型,我们输入JAFFE数据集作为测试集来确定其他表达式除了轻蔑的表情。三个结果的平均识别精度为82.4%。gydF4y2Ba

证明该方法和决策融合方法相关low-pixel面部表情识别的图片,我们在两种情况下进行实验,分别为(gydF4y2Ba 13gydF4y2Ba]。一个是替换改进CNN模型与经典的浅LeNetG5卷积神经网络。第二个是尝试不使用决策融合。表gydF4y2Ba 5gydF4y2Ba显示的平均识别准确性和比较三个实验在上面的两种情况。gydF4y2Ba

比较两个模型之间的识别精度和时间。gydF4y2Ba

模型gydF4y2Ba LeNet-5gydF4y2Ba 没有决策水平gydF4y2Ba
精度(%)gydF4y2Ba 74.6gydF4y2Ba 87.9gydF4y2Ba
时间(年代)gydF4y2Ba 0.59gydF4y2Ba 0.31gydF4y2Ba

从表可以看出gydF4y2Ba 3gydF4y2Ba改进的CNN模型增加了15.9%相比LeNetG5网络识别精度。这证明该方法更适合表达承认low-pixel脸图像(gydF4y2Ba 14gydF4y2Ba]。决策融合后的识别精度高于2.6的网络没有决策融合。主要原因是实验效果不稳定,三个实验中,两个实验的识别精度约为90.0%。一个实验的结果是83.9%。然而,每个实验结果的方法获得的平均五个训练网络模型,及其整体稳定性相对较高。这证明这种方法在实践中是有效的和可行的。gydF4y2Ba

近年来,面部表情识别的方法面对图像的大小gydF4y2Ba 32gydF4y2Ba 像素gydF4y2Ba ×gydF4y2Ba 32gydF4y2Ba 像素gydF4y2Ba 提出了一个接一个。CK +数据集,有些学者提出了一个交叉连接LeNetG5 CNN。我们执行的七个分类不包括中性表情的图像,识别准确率是83.74%。有些学者提出了一个浅CNN达到7大类识别精度为97.38%。这是高于该方法的识别精度。gydF4y2Ba

 4所示。结论gydF4y2Ba

针对low-pixel脸上的表情识别图像,提出了一种改进的CNN表情识别方法。这篇文章增加网络的非线性模型通过添加一个回旋的层。我们可以学习更层和反映图像信息提取图像特征。gydF4y2Ba

 数据可用性gydF4y2Ba

使用的数据来支持本研究的发现可以从相应的作者。gydF4y2Ba

 的利益冲突gydF4y2Ba

作者宣称没有利益冲突。gydF4y2Ba

 确认gydF4y2Ba

这项工作是由重庆大学教育的科学研究平台,大数据体育与健康实践平台基于校园物联网,2017号xjpt07;未来的学校(幼儿教育)的国家教育中心中国发展计划,研究基于物联网智能幼儿园的建设,没有。CSDP18FC3204;和重庆人文社会科学重点研究基地“重庆城乡教师教育研究中心整体发展,“18 jdzdwt04。gydF4y2Ba

 香港gydF4y2Ba F。gydF4y2Ba 面部表情识别方法基于卷积神经网络结合改进的枸杞多糖功能gydF4y2Ba 个人和无处不在的计算gydF4y2Ba 2019年gydF4y2Ba 23gydF4y2Ba 3 - 4gydF4y2Ba 531年gydF4y2Ba 539年gydF4y2Ba 10.1007 / s00779 - 019 - 01238 - 9gydF4y2Ba 2 - s2.0 - 85067233741gydF4y2Ba 赛义德gydF4y2Ba J。gydF4y2Ba AbdulazeezgydF4y2Ba a . M。gydF4y2Ba 面部美容预测和分析基于深卷积神经网络:一个回顾gydF4y2Ba 杂志的软计算和数据挖掘gydF4y2Ba 2021年gydF4y2Ba 2gydF4y2Ba 1gydF4y2Ba 1gydF4y2Ba 12gydF4y2Ba 10.30880 / jscdm.2021.02.01.001gydF4y2Ba 周gydF4y2Ba X。gydF4y2Ba 视频的表情识别方法基于递归神经网络和时空特征融合gydF4y2Ba 杂志的信息处理系统gydF4y2Ba 2021年gydF4y2Ba 17gydF4y2Ba 2gydF4y2Ba 337年gydF4y2Ba 351年gydF4y2Ba 10.3745 / JIPS.01.0067gydF4y2Ba 刘gydF4y2Ba X。gydF4y2Ba 夏gydF4y2Ba Y。gydF4y2Ba 余gydF4y2Ba H。gydF4y2Ba 越南盾gydF4y2Ba J。gydF4y2Ba 剑gydF4y2Ba M。gydF4y2Ba 范教授gydF4y2Ba t D。gydF4y2Ba 地区基于并行卷积神经网络自动面部神经麻痹评估gydF4y2Ba IEEE神经系统和康复工程gydF4y2Ba 2020年gydF4y2Ba 28gydF4y2Ba 10gydF4y2Ba 2325年gydF4y2Ba 2332年gydF4y2Ba 10.1109 / TNSRE.2020.3021410gydF4y2Ba YolcugydF4y2Ba G。gydF4y2Ba OztelgydF4y2Ba 我。gydF4y2Ba 喀山gydF4y2Ba 年代。gydF4y2Ba 盎司gydF4y2Ba C。gydF4y2Ba 印度gydF4y2Ba K。gydF4y2Ba 杆gydF4y2Ba t E。gydF4y2Ba BunyakgydF4y2Ba F。gydF4y2Ba 面部表情识别监控基于卷积神经网络的神经系统疾病gydF4y2Ba 多媒体工具和应用程序gydF4y2Ba 2019年gydF4y2Ba 78年gydF4y2Ba 22gydF4y2Ba 31581年gydF4y2Ba 31603年gydF4y2Ba 10.1007 / s11042 - 019 - 07959 - 6gydF4y2Ba 2 - s2.0 - 85069521147gydF4y2Ba LifkooeegydF4y2Ba m Z。gydF4y2Ba 党的gydF4y2Ba O。M。gydF4y2Ba SekeroglugydF4y2Ba K。gydF4y2Ba 视频挖掘面部动作单元分类使用统计时空特征图像和日志深卷积神经网络gydF4y2Ba 机器视觉和应用程序gydF4y2Ba 2019年gydF4y2Ba 30.gydF4y2Ba 1gydF4y2Ba 41gydF4y2Ba 57gydF4y2Ba 10.1007 / s00138 - 018 - 0967 - 2gydF4y2Ba 2 - s2.0 - 85051654669gydF4y2Ba 公园gydF4y2Ba j·K。gydF4y2Ba 康gydF4y2Ba d . J。gydF4y2Ba 统一的卷积神经网络直接面部关键点检测gydF4y2Ba 计算机视觉gydF4y2Ba 2019年gydF4y2Ba 35gydF4y2Ba 11gydF4y2Ba 1615年gydF4y2Ba 1626年gydF4y2Ba 10.1007 / s00371 - 018 - 1561 - 3gydF4y2Ba 2 - s2.0 - 85047663929gydF4y2Ba 尹gydF4y2Ba k . S。gydF4y2Ba 崔gydF4y2Ba j . Y。gydF4y2Ba 压缩的深卷积神经网络与全球和当地的面部特征提高人脸识别gydF4y2Ba 朝鲜日报》多媒体的社会gydF4y2Ba 2020年gydF4y2Ba 23gydF4y2Ba 8gydF4y2Ba 1019年gydF4y2Ba 1029年gydF4y2Ba 10.9717 / kmms.2020.23.8.1019gydF4y2Ba 锅gydF4y2Ba X。gydF4y2Ba 猪和卷积神经网络融合视频面部表情识别时空特性gydF4y2Ba 专业图像处理gydF4y2Ba 2020年gydF4y2Ba 14gydF4y2Ba 1gydF4y2Ba 176年gydF4y2Ba 182年gydF4y2Ba 10.1049 / iet-ipr.2019.0293gydF4y2Ba MehendalegydF4y2Ba N。gydF4y2Ba 面部表情识别使用卷积神经网络(FERC)gydF4y2Ba SN应用科学gydF4y2Ba 2020年gydF4y2Ba 2gydF4y2Ba 3gydF4y2Ba 1gydF4y2Ba 8gydF4y2Ba 10.1007 / s42452 - 020 - 2234 - 1gydF4y2Ba 足立gydF4y2Ba H。gydF4y2Ba OiwagydF4y2Ba K。gydF4y2Ba NozawagydF4y2Ba 一个。gydF4y2Ba 嗜睡水平建模基于面部皮肤使用卷积神经网络温度分布gydF4y2Ba 电气和电子工程IEEJ事务gydF4y2Ba 2019年gydF4y2Ba 14gydF4y2Ba 6gydF4y2Ba 870年gydF4y2Ba 876年gydF4y2Ba 10.1002 / tee.22876gydF4y2Ba 2 - s2.0 - 85062955896gydF4y2Ba 巴罗斯gydF4y2Ba P。gydF4y2Ba ChuramanigydF4y2Ba N。gydF4y2Ba SciuttigydF4y2Ba 一个。gydF4y2Ba facechannel:速度与激情深面部表情识别的神经网络gydF4y2Ba SN计算机科学gydF4y2Ba 2020年gydF4y2Ba 1gydF4y2Ba 6gydF4y2Ba 1gydF4y2Ba 10gydF4y2Ba 10.1007 / s42979 - 020 - 00325 - 6gydF4y2Ba 廖gydF4y2Ba H。gydF4y2Ba 温gydF4y2Ba G。gydF4y2Ba 胡gydF4y2Ba Y。gydF4y2Ba 王gydF4y2Ba C。gydF4y2Ba 脑回的草药处方从多尺度的面部特征构建方法gydF4y2Ba 多媒体工具和应用程序gydF4y2Ba 2019年gydF4y2Ba 78年gydF4y2Ba 24gydF4y2Ba 35665年gydF4y2Ba 35688年gydF4y2Ba 10.1007 / s11042 - 019 - 08118 - 7gydF4y2Ba SatapathygydF4y2Ba 一个。gydF4y2Ba 利文斯顿gydF4y2Ba l . J。gydF4y2Ba lite卷积神经网络建立在交换Xceptio-inception和Xceptio-reduction模块基于纹理面部活性识别gydF4y2Ba 多媒体工具和应用程序gydF4y2Ba 2021年gydF4y2Ba 80年gydF4y2Ba 7gydF4y2Ba 10441年gydF4y2Ba 10472年gydF4y2Ba 10.1007 / s11042 - 020 - 10181 - 4gydF4y2Ba