文摘

微表情识别被广泛的研究由于其许多潜在的应用,如业务谈判和测谎。跨数据库微表情识别比正常的微表情识别更具挑战性和吸引力,因为训练和测试样本来自不同的数据库。接下来的挑战是,训练和测试样本之间的特征分布不同的太多了。因此,当前的性能良好的微表情识别方法往往达不到预期的效果。在本文中,我们解决这个问题通过引入子空间学习和联合分布适应(SLJDA)源和目标域投射到子空间,后来减少它们之间的距离,然后最小化之间的距离的边际和条件概率分布源域和目标域之间的数据。评估其性能,大量的跨数据库实验中芯国际数据库和CASMEII数据库中执行。实验结果显示该方法的优越性与现有的微表情识别方法。

1。介绍

微表情是一种特殊的、弱的面部表情通常只持续1/5秒(1/251]。不同于普通的面部表情,微表情是自发发生的表情当人们试图隐藏自己内心的情绪[2]。换句话说,微表情可以展示一个人的真正想法的心。因此,自动微表情识别技术可以应用在许多实际的场景中,如婚姻关系预测(3)、临床诊断和教学评估(4,5),甚至在不久的将来,它可能被延伸到通信安全6- - - - - -9)、智能设备等。

近年来,随着智能技术的发展,研究人员逐渐集中他们的注意力,和微表情识别已经取得了一些进展。然而,训练和测试样本来自同一的微表情识别微表情数据库。在实际应用情况并非如此,微表情识别的训练和测试样本来自不同的数据库。不同的数据库记录的环境中,相机设备,性别,年龄,等等会有所不同。他们导致的破坏特性的一致性分布中存在传统的微表情识别方法。因此,微表情识别方法具有良好的性能往往不能达到理想的效果在许多实际应用。为了解决这个问题,有必要研究跨数据库微表情识别;即训练集(域)训练和测试组(目标域)并不相同的数据库。

燕et al。10跨数据库面部表情识别分为两种情况,semisupervised监督和管理。同样,根据标签信息的存在与否在目标域,跨数据库微表情识别也可以分为两类,非监督跨数据库微表情识别(cdm)和semisupervised跨数据库微表情识别。无监督跨数据库微表情识别只能被训练使用样例源域的标签信息,而后者也可以加入少量的标签信息的目标域。因此,本文将集中在无监督跨数据库表情的识别。

领域适应是一种转移学习方法(11),针对如何降低源和目标域数据分布差异的假设下,源和目标域特征空间和类别空间是相同的和功能分布是不同的。在最近的两年里,宗庆后et al。12提出跨数据库表情识别首次基于域的自适应方法,取得了良好的效果。目前转移学习方法大致可以分为三个类别:数据分布(13- - - - - -17),特征选择(18,19),和子空间学习20.- - - - - -23]。目前,经典的工作基于这些方法包括传输成分分析(TCA) [13),发现特征映射,同时保留原始信息的源域和目标域,这两个域之间的条件分布映射后相对较近。但这种特性映射可能不存在。特征选取方法,结构函授学习(sci) [19),假设存在的公共数据特性的源和目标域和使用共享特性建模。然而,当这两个非常不同的特点,它会导致失败。基于子空间的子空间学习方法对齐(SA) [20.),SA的方法是直接找一个线性变换源和目标域投射到一个子空间,通过它实现不同数据的转换对齐。然而,这些方法往往忽略分布之间的转变在两个子空间的投影数据。面对这一挑战,我们整合数据分布的子空间学习方法适应方法,即子空间学习和联合分布适应(SLJDA)。首先,源和目标域映射到相应的子空间,其次是阶级之间的距离最大化和最小化同类的距离依次保存源域的区别的特征数据。最大化目标域样本方差最小化的差异分布的相应子空间投影源和目标域,并最小化子空间之间的距离减少源和目标域之间的差异和提高无监督跨数据库的识别微表情。

总的来说,本文包含以下主要贡献:(1)在考虑到实际情况,subspace-based学习方法和数据发布出去是依靠自适应方法巧妙地结合起来以减少源和目标域之间的区别。保留了原始信息,不需要搜索功能可能不存在很大程度上的映射。此外,数据分布转变投射子空间减少,和它们之间的距离是几何减少。(2)我们更广泛的清洁发展机制进行实验评估SLJDA方法的性能。

本文的其余部分安排如下。部分2回顾了最近的研究在无监督跨数据库微表情。节3,我们详细描述了cdm SLJDA。更好的评估这种方法,广泛的实验和分析对中芯国际和CASMEII部分所示4。最后,本文的结论和未来规划是在部分5。

如前所述,大多数现有的跨数据库情感识别问题(包括跨数据库的语音情感识别、表情识别、和微表情识别)通常解决不匹配的特征分布源域和目标域之间通过域自适应DA方法。在最近的两年里,一个域自适应方法首次提出了宗庆后et al。12]。此外,目标样本Re-Generator (TSRG)提出了学习样本再生器,可以再生来源域和目标域的样品,和样品都有相同的分布特点,再生的源域表情的样本在特征空间将保持不变。李等人。24]提出使用Target-Adapted最小二乘回归(TALSR)方法学习回归系数矩阵根据源域的数据信息,使回归系数矩阵满足目标数据库。

在此之前,大多数研究者关注跨数据库的面部表情,跨数据库相关的语音识别跨数据库表情并提出了许多有效的方法。例如,朱et al。25)首次提出使用域适应解决面部表情识别问题,实现好的结果。在的工作26),转换传输提出了正则化最小二乘回归(TTRLSR)来解决跨数据库面部表情识别问题。的核心思想是学习一个判别子空间和使用源域与完整的数据信息和数据集从目标领域中选择样本来预测目标中的面部表情分类领域。楚et al。27,28)发现了一种新的方法,选择传送机(STM),可以使用目标样本学习一组源样本的权重,加权样本来源和目标样本有相同或相似的分布特征。学习分类器是用来预测目标的信息域样本。此外,燕et al。10)创新提出了非监督Domain-Adaptive字典学习(UDADL),目的是学习字典的样本源域和目标域的跨数据库面部表情识别和解决问题通过使用常见的子空间的基本思想。Domain-Adaptive子空间学习(DoSL)模型(29日),源和目标域样本被映射到常见的子空间学习映射矩阵,和再生源和目标域样本分布遵循相同的或相似的功能。

跨数据库语音情感识别的研究初期,出现一系列的好方法。例如,哈桑et al。30.]提出使用重要性加权支持向量机(IW-SVM)方法来处理跨数据库语音情感识别的挑战。相结合的方法是由三个域自适应方法;即内核意味着匹配(KMM) [31日(KLIEP) [], Kullback-Leibler重要性估计程序32),无约束最小二乘拟合(uLSIF)[重要性33)的总和。它是用来缓解这个问题,源域和目标域的样本特征分布不匹配。宗庆后et al。34]介绍了domain-adaptive最小二乘回归(DALSR)方法学习一个回归系数矩阵使用源域样本信息和辅助设置从目标数据库中选择。同时,语音样本的均值和方差回归后的源和目标域也约束使样品在两个域分布有相似的特征。

3所示。子空间学习和适应联合分布

3.1。问题定义

假设 和 表示样品的数量在源和目标领域,分别 代表表情的特征向量的维数, 和 微表情样本在源和目标域。给定一个标记源域 和一个未标记的目标域 ,假设特征空间和类别空间是相同的;也就是说, 和 。边缘分布是不同的 。此外,映射关系是不一样的在源和目标域。

为了更好的跨数据库MER,我们融合数据分布和子空间学习方法来减少域差异。通过将源和目标域映射到相应的子空间,然后最大化目标域样本方差和保留源域有识别力的特性同时最小化这两个子空间差异和子空间数据分布差异。接下来描述的细节。

3.2。子空间学习和适应联合分布

从源域包含不仅样本信息,而且标签信息,我们应该充分利用源领域的歧视性的特点来实现最好的区分不同的类。利用组内分散的最小化和最大化的组内的散射,类似的样本源域可以互相接近,而不同的样本可以尽可能远离对方,从而促进学习算法具有良好的性能。 在哪里 是在类的散射矩阵, 矩阵的类中心呢 在源域, , 类的数量吗 , 是单位的行向量1, 是单位矩阵。 在哪里 是组内的散射矩阵, 样本均值的课吗 在源域, 样本均值的源域。

为了保护数据属性的分类目标尽可能多的领域,有必要项目特征维度上相关的维度,因此最大化目标域方差相关子空间(35]。

方差最大化目标如下: 在哪里 定心矩阵和吗 是一个行向量单位1。

类似于以数据为中心的领域自适应的原则方法,我们比较两个域之间的数据差异的多党民主运动距离最小化最大的源和目标域之间的平均差k维嵌入和进一步提高边际分布的差异。

因为目标域的标签是未知的,目标的条件分布域不能直接获得,所以提出的方法16通常使用)。伪标签使用分类器得到的源域预测直接在目标域。因为一些伪标签可能不正确,从而导致可怜的识别,使用迭代方法,不断提高分类精度,从而降低两者的区别条件分布。条件分布的差异

因此,通过积分方程(6)和(7),源域和目标域之间的分布差异可以获得:

为了简化方程(8),我们把它写如下: 在哪里

不同的子空间学习方法,这就需要找到一个一致性矩阵和校准源和目标域子空间减少源和目标之间的距离域,该方法映射到各自的子空间,我们优化 和 同时使两个子空间紧密。

3.3。优化问题

通过整合五个方程(1),(3),(5),(9)和(11),我们可以得到最后SLJDA方法: 在哪里 , ,和 是hyperparameters由 限制 。此外,这两个耦合的预测 和 使用以下优化函数计算得到:

自 可以不改变最终的结果,我们可以简单地保持不变,只计算顶部底部。所以最后的优化问题

表示 拉格朗日乘子,然后为方程(拉格朗日函数14)是

设置导 ,我们可以获得 在哪里 ,和相应的特征向量组成的矩阵 获得的最小特征值方程的广义值分解(16)是 。然后子空间 和 得到了。

4所示。实验

4.1。微表情数据库

在这一章,我们进行广泛的实验在两个数据库而闻名,CASMEII和中芯国际,评价该方法全面的性能。其中之一,CASMEII [36建立的),中国科学院心理研究所不仅要求受试者观看视频与大的情绪波动,但更重要的是同时试图掩盖自己的情绪。同时,受试者的表情记录在200 fps看视频的帧率。这种启发式机制247视频序列从26个人。七个表情的分类(快乐、惊讶、厌恶、沮丧、悲伤、害怕,其他)被包括在这个数据集。中芯国际数据集(37,38奥卢大学的成立,芬兰,使用类似的感应机制来保证数据的可靠性。16个人的数据库包含164个视频序列(10雄性和雌性6)包含3种微表情类别(正,惊讶,负)。中芯国际包含三个数据集中芯国际(海关、活力和NIR)。中芯国际(VIS)和中芯国际(NIR)记录在视觉识别系统(VIS)和近红外(NIR)环境中,分别使用相机的帧率25 FPS。结果也通过海关使用100 FPS高速摄影机记录,和三这个实验将被用作独立的数据集。如上所示,中芯国际和CASMEII数据库包含表情的类别不一致。面对这个问题,我们选择和reannotated CASMEII的类别。具体来说,首先,快乐样品更改为积极的,惊讶样品保持不变,那么其他类别被删除,最后恶心和抑郁样本对应负。细节如表所示1。

表1
样品的组成重组CASMEII和中芯国际数据库。
4.2。实验装置

关于中芯国际(VIS、HS和NIR)和CASMEII,我们设计了24套跨数据库表情的实验。其中,没有。1无效。6,没有。13。18被视为第一种实验中,标记为1型,没有。没有任何。12,没有。共有19。24被视为第二种类型的实验中,标记为2型。 We use LBP-TOP [39]和HIGO-TOP [40时空的描述符的特征提取。对于前者,邻域半径R和P点附近设置为1和8,分别。HIGO-TOP只有一个重要的参数P,设置为8。LBP-TOP还是HIGO-TOP,每架飞机的特征向量子集依次连接组成一个supervector,即形成一个表情的面部特征向量。

从表中我们可以看出1,CASMEII和中芯国际数据库极其不平衡的每个类别的样本。因此,除了加权平均召回(战争),我们也使用未加权的平均召回(UAR) [41)作为测量标准来比较各种方法的性能在cdm的实验。战争的正确性。UAR识别的平均利率计算为每个类别的样本,不管每个类别的样本数量。总之,战争和UAR提供一个公平的方法真正的类别不平衡时性能的方法。

为了显示SLJDA的性能,我们选择其他领域适应方法具有更好的性能在跨数据库识别进行比较实验。这些方法包括支持向量机(SVM) [42),在原始特征空间域再生不变目标领域(DRFS-T),在原来的标签空间域再生(drl),目标样本Re-Generator (TSRG), SA联合分布分析(防卫厅)最早于和转移联合匹配(TJM)。所有上述方法的参数设置cdm实验如下所示:(1)支持向量机,集C= 1(线性),并使用它作为一个传统的方法。实验的结果直接与支持向量机将被用作一个基线的方法比较。(2)drl DRFS-T, TSRG涉及两个重要的参数,即 和 。这项工作后,我们寻找最好的这两个参数的值 和 。(3)我们设置 根据作者的建议(18],防卫厅遵循最早于最初的设计 。此外,最佳的降维维 。对于SA,我们将遍历所有可能的维度 ,也就是说,搜索 。(4)最后,本文对SLJDA,我们选择 从 ,为 。

4.3。实验结果分析

表2- - - - - -5结果显示与当前性能更好的跨数据库方法相比,和粗体的在每组实验中表现最好的方法。观察表,我们可以发现SLJDA方法执行最好的8 12组的实验。此外,我们与HIGO reperformed特征提取,并与当前流行的域自适应方法。如表所示6和7,一半以上的实验结果表明,该方法比其他方法具有明显的优势。

表2
1型实验结果基于LBP-TOP特征提取的无监督cdm(战争)。
表3
1型实验结果基于LBP-TOP特征提取的无监督cdm (UAR)。
表4
2型实验结果基于LBP-TOP特征提取的无监督cdm(战争)。
表5
2型实验结果基于LBP-TOP特征提取的无监督cdm (UAR)。
表6
1型实验结果基于HIGO-TOP特征提取的无监督cdm(战争)。
表7
2型实验结果基于HIGO-TOP特征提取的无监督cdm(战争)。

观察表,我们可以发现,实验结果没有。没有任何。12(2型)和没有。共有19。24(2型)比那些不。1无效。6(1型)和没有。13。18(1型)。分析可能是由于这一事实CASMEII和中芯国际样本之间的差异大于中芯国际的三个数据集之间的差别。 This is because the SMIC (HS), SMIC (VIS), and SMIC (NIR) only differ in the camera pixels taken between them. However, between CASMEII and SMIC, the filming equipment, recording environment, ethnicity of the subjects, and so on were different. It is worth noting that SMIC (VIS) experimental results are better than SMIC (NIR) experimental results under the same conditions, both as source and target domain datasets, for example, no. 3 and no. 5. Combining 4.1, we analyze that this may be due to the image quality difference problem.

此外,一个有趣的现象在本文中涉及的所有方法;当CASMEII和HS作为目标域,战争的区别和UAR前者大于后者。例如,在表2- - - - - -5,没有战争和UAR之间的差异。5,没有。6是明显大于没有之间的区别。8,也没有。10。看表1,它可以观察到,CASMEII数据集和中芯国际(HS)数据集是不平衡的微表情类别而言,前者有多数负面情绪(91/148)。同时,负面情绪在中芯国际(HS)的比例(70/164)小于CASMEII。分析原因可能是由于失衡数据集的分类。进一步观察中芯国际(NIR)和中芯国际(VIS)数据库显示比例的微表情类别一致。中芯国际(NIR)或中芯国际(VIS)是目标域(没有。7或没有。11),战争和UAR之间的差异小于中芯国际(HS)和CASMEII之间,也是目标域。这进一步证明了微表情数据库的类别不平衡有一定的影响。

5。结论和讨论

在本文中,我们将与子空间数据分布方法学习方法从实际情况来减少源和目标域之间的差异。即SLJDA方法用于执行无监督跨数据库表情的识别。广泛的实验进行CASMEII和中芯国际数据库,和实验结果表明,该方法明显优于其他先进的无监督cdm任务域自适应方法。然而,仍然有一些调查问题。如上所示,微表情数据库中的类别不平衡是一个重要因素影响清洁发展机制的结果。因此,为了提高识别的结果,我们需要努力减少数据库类别不平衡造成的影响。

数据可用性

使用的数据来支持本研究可从相应的作者。

的利益冲突

作者宣称没有利益冲突。

作者的贡献

刘张y, y共同设计研究。y刘收集和分析数据。g·李和h .彭审查和编辑的手稿。

确认

这项工作是由河南高等教育机构的主要研究项目(项目号17 b440001)、河南科技大学企业委托项目(JG017)和河南省科技解决项目资助项目212102210504。