文摘

表情是无意识的,微弱的,短暂的表情出现在脸上。它可以让人们的心理状态和情绪更准确的理解。因此,微识别在心理治疗和临床诊断尤为重要,已被研究人员广泛研究在过去几十年。在实际应用中,微用于识别样本训练和测试来自不同数据库,导致训练和测试样本之间的特征分布不同在很大程度上,导致大幅减少传统微识别方法的性能。然而,大多数现有的跨数据库微识别方法需要大量的模型选择或hyperparameter优化选择更好的结果,它消耗了大量的时间和劳动力成本。在本文中,我们利用intradomain结构克服这个问题。学会了通过非参数传输特性intradomain对齐,而与此同时,一个分类器通过intradomain学习编程。为了评估性能,大量的跨数据库实验在CASMEII和中芯国际数据库。的比较结果表明,该方法可以实现一个有前途的识别精度和计算效率高。

1。介绍

微是一个自发的表达式,与自卫机制发生当一个人试图掩盖内部情感,既不能伪造也不能抑制1]。一个自发的表情被野性和艾萨克(首次发现21966年)。1969年,埃克曼和弗瑞森(3)发现抑郁病人笑了很多偶尔帧重复观看谈话期间非常痛苦的表情。研究人员称这些快速、无意识,人们自发的面部动作,体验强烈的情绪表情。因此,表情有很多情绪识别任务的潜在利用价值,例如,临床诊断(4],婚姻关系预测[5)、沟通谈判(6),和教学评估(7,8]。

人们已经发现,微,一个独特的和常见的小面部运动,持续很短的时间内,通常是只有1/25到1/5秒9]。因为它几乎是很难用肉眼检测和识别,需要由计算机进行自动识别的表情。到目前为止,尽管做的微识别实验研究人员已经取得了一些结果,微样本训练和测试来自相同的数据库。在许多实际应用,事实上,微识别样本训练(源)和测试(目标)来自不同数据库。由于不同的种族、性别、年龄、摄像头设备,并记录两个数据库之间的环境,原来的一致性特征分布在传统微识别被严重破坏,导致大多数微识别方法不满意。以前,识别相关的跨数据库微已经被大多数研究者受到广泛关注,并提出了许多相关的和有效的方法。选择性传送机(STM) (10,11),一种新的方法,通过使用目标样本研究发现一群源样本的权重,选择最合适的参数值 , , ,等,在加权样本来源的相同或相似的分布特性作为目标样本。在工作(12),通过样本学习词典是共同从源域和目标域,使用权衡和平衡参数优化模型,这样源和目标域有相同或相似的特征分布。郑,周13和郑和周14)发现了一个转化子空间学习框架来处理cross-pose和跨数据库例面部表情识别和选择最优解,通过调整参数。为了解决跨数据库微识别(cdm)的挑战,宗庆后et al。15)首次提出使用域自适应方法,介绍了一些新的方法,如域和目标样本再生器再生框架。实验取得了良好的效果,但仍需要调优单个参数。李等人提出target-adapted最小二乘回归(TALSR)学习回归系数矩阵基于源域数据信息和优化TALSR称重参数以适应目标微数据库 , ,和(16]。尽管一些现有方法对跨数据库微识别的任务是有效的,但值得注意的是,他们中的大多数需要参数调优以及模型选择。可以使用一些自适应调整算法实现参数调优和模型选择等递归算法(17- - - - - -25)和迭代算法(26- - - - - -32]。然而,由于无法确定最佳模型及其最优hyperparameters,通常需要大量的劳动力成本使用参数网格搜索方法或交叉验证策略。此外,这样的选择有些主观,往往不同的数据集上执行径向非常不同。将它应用于实际情况仍然是一个挑战。因此,如何找到更有效的方式开展这项工作尤其重要。

在本文中,我们提出了适应Intradomain结构域(IDSDA)方法来解决这个问题。非参数传输特性是学会了通过调整源和目标域子空间,然后,一个分类器学习通过intradomain编程预测目标领域的样品标签,没有模型选择和hyperparameter调优。首先,该方法节省时间和劳动力成本。另一方面,它提高了清洁发展机制的识别准确性和实用性。

总的来说,本文包含以下主要贡献:(1)IDSDA提出开展跨数据库微认可。IDSDA主要学习非参数传输特性通过intradomain排列和分类器通过intradomain编程,操作简单,提高实用性(2)不同于当前流行的清洁发展机制,这种方法不需要模型选择和hyperparameter调优,节省劳动力成本,大大缩短实验时间(3)我们有广泛的清洁发展机制进行实验,实验结果证明了我们的方法在微识别优势,提高识别精度

本文的其余部分安排如下。部分2回顾了工作无监督领域适应和先进的清洁发展机制。节3适应,我们描述Intradomain结构域(IDSDA)清洁发展机制的细节。更好的评价该方法的广泛的实验和分析对中芯国际和CASMEII部分所示4。最后,本文的结论和未来规划是在部分5。

此外,大量使用符号。为了清晰起见,我们将展示常用符号表和相应的描述1。

2。相关工作

领域适应学习实际上是一个转移的方法。域的原则适应是一个学习的过程,模型在旧的领域被应用到新的领域。自领域有足够的数据信息来源,它通常使用的所有数据完全学习数据的内部结构。因此,如何有效地减少源域和目标域之间的分布差异的本质是域的适应。京et al。33)提出了自适应组件嵌入(ACE),为解决大型域差异。在的工作34),最大密度差异提出了interdomain分歧最小化和最大化intradomain密度。在[35),找到适应异构域(已经)方法,优化特性的差异和分布差异在一个统一的目标函数。此外,李et al。36)发现了一种新的方法,保局联合转移,认为知识转移特性和样品之间的水平。通过这种方式,两个域之间的分布散度降低,同时保留样本的邻里关系,使其健壮的异常值。类似于域自适应分类,根据目标域是否有标签信息,跨数据库微识别通常分为无监督和semisupervised类别。前只能使用源域的样品标签信息培训,而后者可以结合目标领域的一些现有的标签信息与已知的样本信息的源域,因此后者的信息是充分的。显然,前者比后者有更多的实际应用,所以本文在无监督跨数据库。

无监督跨数据库MER,尽管域再生等方法在原来的标签(drl)和空间域再生在原始特征空间不变目标域(DRFS-T)取得了好的结果,宗庆后et al。15),他们都需要hyperparameter调优。以DRFS-T方法为例。首先,一个再生器是学习,能够重新生成源和目标域样本。然后,可以训练分类器(SVM)源域,根据数据信息和目标域样本类可以预测基于分类器。但再生器的约束如下。

首先,再生目标域样本在特征空间保持不变:

和 是目标域和源域微样本,然后呢和目标和源域样本的数量。除此之外,代表了特征向量的维数。

第二,重新生成源域和目标域分布样本有相同的特点:

为了调节的平衡两届DRFS-T的目标函数,权衡参数介绍了, 是正则项。

然后,宗庆后et al。15)利用再生希尔伯特空间的特点和它的多党民主运动的距离,最终优化它们 和与维列向量和 ,分别。此外,和是内核的源和目标域的矩阵样本。在系数矩阵是L1参数约束吗 ,在哪里稀疏的权衡参数控制吗 。

总之,DRFS-T涉及hyperparameters和 ,这需要大量的时间成本选择最优的结果。然而,IDSDA可以解决这个问题。IDSDA方法主要利用子空间方法intradomain对齐紧随其后nonparameter intradomain编程,从而达到提高清洁发展机制的识别精度的目的。

3所示。IDSDA跨数据库微识别

3.1。问题定义

领域适应具体定义如下:给定一个标记源域 和一个未标记的目标域 。 和样品在源和目标域,分别在吗和是他们的样本的数量。它假定特征空间,标签空间,和条件分布是相同的,也就是说, , ,和 ,但边缘分布是不同的 。的核心思想是学习分类器使用有足够的信息预测目标域的标签。

如图1,图1(一个)显示不同的样本协方差在源和目标域。图1(b)表明,当目标域不变,源域删除的功能相关性。图1(c)吸引目标域的相关性成白茫茫的源域,这样他们的源和目标分布是一致的。数据1(一)——(c)是为源和目标域分布排列。图1(d)描述了学习分类器的性能对源域数据使用intradomain intradomain编程结构。在下一节中,我们将描述每个步骤。

3.2。Intradomain对齐

IDSDA学习非参数传输特性通过intradomain数据对齐,主要是通过改变对齐的数据的统计特性,从而减少培训领域和测试领域的区别。相关对齐(珊瑚)[37)是更好的子空间对齐的方法之一,它是计算有效,不包括其他参数调整。灵感来自于这种方法,intradomain对齐过程IDSDA方法如下: 在哪里协方差矩阵。 和 身份相同大小的矩阵吗和 。我们可以认为这一步是美白的源域;即删除功能相关性从源域。

目的是减少interdomain差异,白茫茫的源域特性需要上色的下一个(38]。与此同时,目标域特性保持不变。

3.3。Intradomain编程

这一步跨数据库微实验的目的是学习转移分类器。在学习非参数分类器转移之前,我们首先需要理解注释概率矩阵。表2显示了一个注释概率矩阵 , ,和它满足条件的元素 。 表示的类标签 。 表示为注释的概率的类 。softmax分类器的原理类似,相对应的类概率值最高是它所属的类。例如,0.5的概率值最高意味着它属于 。

如果代表了欧洲的距离类的中心源领域的用于表示类的中心 ,然后成本函数如下: 可以概括为指标函数,输出是1当输入是正确的,和0代表不正确的输入。

这一事实 ,与任何标签包含样品数量不少于1。在理想环境下,如果不属于类 ,然后是0,反之亦然是1。所以,我们可以表示为

自的概率是是th类标签和 , 是受以下约束条件:

我们需要最小化代价函数优化模型结合方程(6与约束方程(),9)和(8),最终的学习目标

线性规划是解决这个问题的最大化或最小化一个线性目标函数的约束下线性等式或不等式和通常由一个开源非常有效地解决线性编程包浆(https://pypi.org/project/PuLP/1.1/)。我们可以用这种方法来获得 。

最终的标签可以通过将softmax目标域的功能。

4所示。实验

4.1。微数据库

进一步确认IDSDA在跨数据库的可靠性面部MER,充足的清洁发展机制的实验将在本章进行。我们选择两个广泛使用的数据库,CASMEII和中芯国际。中芯国际数据集(39,40)是由大学的奥卢,芬兰,使用100 fps高速摄像机记录所需的主题是看视频,情绪波动大,同时试图掩盖她/他的情绪,和录音机观察受试者的表情没有看视频。这种启发式机制下,164年视频序列得到从16个人(10男6女),和获得的表情属于3类(积极、惊讶、负)。为了更深入地研究表情,71视频序列的表情后来被记录在正常视力(VIS)和近红外(NIR)环境中使用相机的帧率25 fps。中芯国际(VIS、HS NIR)将作为一个独立的数据集在这个实验中。

CASMEII [41],它是由心理学的研究所,中国科学院,使用类似的启发式机制来保证数据的可靠性。247视频序列的数据集包含26个人记录200 fps帧率,和7个微类别(快乐、惊讶、厌恶、沮丧、悲伤、害怕,和其他)都包含在数据集内。正如我们所见,微类别数据库CASMEII和中芯国际的有很大的不同。为了使两个类别一致,CASME II的类别中选择并重新标记。具体来说,幸福的表情样本标记为正,然后,另一类是移除。惊讶的标签样本保持不变,最后,厌恶和沮丧样本重新贴上消极。细节如表所示3。

4.2。实验装置

中芯国际(VIS、HS NIR)和CASMEII跨数据库设置为四个数据集。换句话说,当CASMEII源(目标)域的数据集,数据集的目标(源)中芯国际数据库领域数据集。我们可以获得6套跨数据库微实验,也就是说,第一:碳氢键,第二:碳氮,第三:C-V,第四:·hc·,第五:c,和6号:v - c。应该解释说,C代表CASMEII H对应中芯国际(HS), N代表近红外光谱,V是中芯国际数据库中的记录为活力。四个数据集,LBP-TOP [42)描述符选择经营特征提取。一个8×8网格被用来划分微序列,在三个正交平面,在附近的前提下点P的LBP算子是8,和邻域半径R是设置为2。然后,所有LBP-TOP直方图每一块连接在系列,形成面部特征向量。

目的是证明IDSDA优越,比较与其他域自适应在跨数据库识别方法具有良好的性能。这些方法包括支持向量机(SVM) [43],珊瑚[37内核(GFK)[],测地线流44],DRFS-T [15]。参数设置的所有上述方法在实验中显示如下:(1)支持向量机,集 (线性),并使用它作为一个传统的方法。实验的结果直接与支持向量机将被用作一个基线的方法比较。(2)DRFS-T涉及两个重要的参数,即和 。我们寻找最好的这两个参数的值 和 。(3)珊瑚,我们使用共同的SVM分类器和设置 。丰富的类型分类器在实验中,神经网络是用于GFK和选择最佳的降维 。

4.3。实验结果分析

表4显示的准确性域自适应方法的实验结果。很明显,IDSDA方法的实验结果都优于其他方法在大多数的实验,结果都显著提高。例如,在第二和第三,IDSDA方法的最大区别和其他DA方法可以达到23.94%和26.76%。此外,一个有趣的现象被发现通过观察实验结果的方法。条件下设置从CASMEII源域样本,实验结果中芯国际(VIS)作为目标域的数据集都优于中芯国际(NIR)作为目标数据集(2号和3号)。与此同时,6号微识别精度高于5号。如部分所示4.1中芯国际(NIR)数据集是由近红外摄像机拍摄,和中芯国际(VIS)数据集是在正常的视力。我们发现,图像质量的差异在源和目标域可能会导致这种现象。

5号和6号的精确值低于2号和3号,最小差异的17.33%。换句话说,CASMEII作为源域数据库的识别精度高于作为目标域数据库。分析可能是由于样本类别的不平衡。如表所示3的比例三个微类别CASMEII数据库用于这个实验是大大不同的,负面情绪占据了多数(91/148),而不同的1号和4号之间的识别率仅为2.5%,明显低于17.33%。仔细观察,可以发现,中芯国际(HS)数据集也占很大比重的负面情绪。我们发现它们有相同的数据库组成,这也进一步证明了类似的数据组成的源和目标域有助于DA的认可。这进一步证明类别不平衡可能会在CASMEII影响识别效果的主要因素和中芯国际数据库。

此外,我们还记录的平均运行时间(培训和测试)的DA方法参与本文在每组实验中,实验的平均六组的精确值,和每个方法的必需的参数表5。结果表明,IDSDA方法优于其他方法的平均精度(56.49%),大大减少了运行时间(58.09秒)。总而言之,这个实验证明的优越性IDSDA方法的精度和效率。

5。结论和讨论

在本文中,我们使用为cdm intradomain结构。首先执行intradomain对齐学习非参数传输特性,在分类器后学会了通过intradomain计划。它操作简单,它不需要模型选择和hyperparametric调优。广泛的实验进行CASMEII和中芯国际数据库,通过比较分析,有明显的迹象表明IDSDA明显优于其他尖端领域自适应方法时清洁发展机制的综合性能和效率的任务。

虽然Intradomain结构域适应(IDSDA)方法在清洁发展机制方面取得了良好的效果,研究仍存在一些问题。(1)根据实验结果,数据库影响跨数据库MER类别不平衡是一个重要的因素。接下来,我们需要关注如何减少类别不平衡的影响。(2)识别效果也受到不同的源和目标之间的图像质量域数据库处理跨数据库微域自适应方法时识别。我们可以考虑把实验中使用的数据库相同的图像质量在我们未来的工作。提出的方法在论文中可以结合其他方法和工具45- - - - - -53)研究不同植物的图像识别和识别问题,可以应用于其他研究[54- - - - - -62年在自然科学和社会科学。

数据可用性

使用的数据来支持本研究可从相应的作者。

的利益冲突

作者宣称没有利益冲突。

作者的贡献

刘张y, y共同设计研究。y刘收集和分析数据。王h .审查和编辑手稿。

确认

这项工作是支持的河南科学技术研究项目拨款212102210504。