文摘

人格特质的评估是现在许多重要的社会活动的一个关键部分,如求职、交通事故预防、疾病治疗、治安、和人际交互。在先前的研究中,我们预测基于正面形象的大学生的人格。虽然这种方法实现高精度,仅依赖正面形象导致personality-related信息的损失。我们的新发现表明,使用真实的2.5 d静态面部轮廓图像,可以使统计上显著的预测更广泛的男性和女性的性格特征。我们地址的目的全面了解一个人的人格特质通过开发一个multiperspective 2.5 d混合personality-computing模型来评估潜在的关联静态面部轮廓图像和性格特征。我们的实验结果表明,深层神经网络训练的大标签数据集可以准确预测人们的多维性格特征通过2.5 d静态面部轮廓图像,和预测精度比前面的方法使用2 d图像。

1。介绍

已经有很长的历史的尝试评估基于面部形态特征(个性1),这种做法被称为地貌。当然,这不仅是东方,但世界各地的所有年龄段的人都有这个领域学习,和他们的态度不一。亚里士多德曾提议,面部特征在一定程度上能体现个性特征。性格是一种心理结构中一些稳定和可测量的个人特征来解释人们的不同的行为(2]。今天,有越来越多的研究兴趣在面部图像和人格预测之间的关系。研究托多罗夫et al。3- - - - - -5)和其他人已经表明,专家可以可靠地推断出一个人的性格从他面部外观和使用它来跟踪犯罪,活动,和医疗保健。

到目前为止,已经有足够的全球研究字符识别的机器学习。在[6),作者研究并提出了关键的面部特征,导入影响人们的第一印象。我们至少可以得出四个有效推断从其他人的面部特征(7]。文献[8检查自我人格特质之间的关系和第一印象。调查计算机能否学会评估人类的特征,作者的9)使用机器学习的方法来构造自动功能预测基于面部结构和外观描述符和发现所有性格特征分析是准确预测。近期人脸的静态特性的研究表明,某些地区已经进化到扮演重要的角色在社会交际10),面部吸引力较高的个体人格特质有更高的交配成功(11]。

先前的研究,基于人格五因素模型或五大(BF)模型的基础上,发现有一定的面部图像和一般的性格特征之间的关系。然而,一个粗略的预测和评估这些研究的结果将揭示多争议,研究结果似乎不一致,难以复制的10)(见表1对现有研究成果)。这些不一致可能是由于使用少量的刺激计划或者很大的差异在相应的方法。现有研究数据不足,大多数当前对面部特征提取的研究优先2 d的脸,特别是从前面的观点23]。然而,只依赖于2 d正面形象会导致人格相关有价值的信息会丢失(24]。突出的面部区域,如著名的地标的额头,鼻子和下巴,是有关一个人的性格25]。事实上,正面和侧面面部表情自然是互补的。因此,多角度(前面,一边,和2.5 d)面部图像更容易描述一个人的个性全面、准确。在此,我们使用术语“2.5 d”来指代前面和侧面视图的组合。

现有面临的两个主要话题人格预测研究的数据集(面部照片和个性数据)和计算机网络的设计。

1.1。面对数据库建设

面对数据库的建立起着至关重要的作用在模型验证,并确保其泛化能力。理想情况下,数据库应该包含脸样本不同性别的人,种族,年龄,显示不同的人格特质。然而,到目前为止,没有这样的个性数据库进行自动计算。事实上,研究背景的差异常常导致创建独立的数据库根据他们的具体情况;因此,数量、年龄、性别组成、表达,种族,和现有面部图像样本的姿势是不相同的。总结现有的面部图像数据库构建face-based人格计算研究中可以看到表2。

1.2。个性选择的评价模型

直观地说,评价一个人的人格特征包括学习如何选择的形容词特征理论准确地描述它。在所有文献自动人格预测,两种方法来评估一个人的性格特征描述:(1)自我评价和(2)评价。完成人格评定量表以第一人称,也就是说,一个自我评估,传统上被认为是产生一个人的真实性格(22]。完成问卷的第三人(例如,用“这个人往往是善于交际”代替“我交际”)导致归因和他人评价的结果。在他人的评价,每个主题必须由多个评价者评价,每一个评估者必须评估所有的参与者在实验中。统计标准等的可靠性27)允许评估员的数量根据双方的协议。

人格特质理论指出,人格特质是个人行为的有效特征,个体的有效组成部分,基本单位常用的评估人格。常见的理论特征包括Allport的特质理论(常见的特征和个人特质),卡特尔的人格特质理论(每个人都有16个特征),艾森克的三因子模型(外向、精神质和神经质)、Tapperth的五因素模型(俗称五大:外向、随和,责任心,神经质、开放性),和Terrigen seven-factor模型(积极情感、消极力量,积极力量,负面情绪,可靠性、随和,和遗传)。在face-based人格计算中,一个重要的元素的选择适当的特质理论模型。

在现有研究人格预测基于面部特征,用于评估人格的方法如表所示3在下面。

1.3。预测网络的选择

最近的研究在面部的个性,采取了许多方法,如Parzen窗口(29日),决策树(30.],朴素贝叶斯[31日),然而,31日和随机森林32]。罗哈斯et al。14,15)进行了使用最先进的分类器分类实验。曾(17)使用深信心网络分类算法基于反向传播(BP)算法。Brahnam和Nanni20.)使用主成分分析(PCA)和随机的组合训练训练集和测试集和测试他们的模型与20重复每个人格特征维度。Kachur et al。16)提出了一个计算机视觉神经网络(NNCV)。人格预测在不同的研究方法如表所示4。

本研究的目的是探讨面部图像之间的联系线索和自我报告的五大人格特质通过培训的一系列神经网络预测人格特质在静态图像。先前的研究的问题,本文的贡献和创新包括以下几点:首先,一个大型数据集组成的面部照片和性格特征。数据集包含13347条数据,其中360收集从面部轮廓图像,和2.5 d数据集构建获得更全面的理解。其次,一种改进的深度学习算法被用来预测性格特征,从而降低了需求质量的脸上从之前的研究图像;预计,一个复杂的深层学习算法可以用来捕获的脸不受控制的条件下图像。第三,亚洲大学生的面部特征的变化趋势与五人格维度从高到低排名是预测。

本文的实验结果表明,一方面,我们可以准确预测一些人格特质使用静态面部图像;另一方面,面部特征提取的性能模型在预测人格基于2.5 d图像优于2 d图像。

本文的其余部分组织如下。节2我们描述的创建自己的数据集,包括数据集和大五人格评估结果数据集。节3,我们预测积极的人格面临基于一种改进的深度学习网络和平均脸从低到高的变化。人格预测的方法和实验结果与我们的模型提出了基于2.5 d的脸图像和讨论部分4。最后,在节5,我们分析和研究结果的适用性的一些示例。

2。数据集和预处理

2.1。样品和过程

在这项研究中使用的官方语言是汉语。参与者匿名大学生志愿者招募的研究小组通过社交网络上的广告页的学院和大学。数据是基于一个样本的5560名男性和8547名女性大学生是18到25岁之间(有些脸照片如图1)。他们不是财务支付,而是有一个免费的报告他们的五大人格特质。实验所需的数据收集(脸图片和人格得分)在线通过专用的人格研究网站和移动应用程序。参与者签署并提交了一份知情同意的形式,完成了一个五人人格问卷,填写他们的年龄,性别,和专业,和上传的额照片显示一个中立的,不苟言笑的表情,避免厚面部化妆和其他装饰品,如帽子。研究的贡献一个人的人格预测,我们也收集资料的图片一个额外的360名学生。

2.2。伦理批准

参与者被要求以书面形式同意参与这项研究,数据收集,他们只有在获得他们的授权。此外,我们匿名收集自我报告的人格评估数据通过分配每个参与者的数量。此外,面对和个性数据只用于科学研究,也没有个人数据将向外界披露。

2.3。建立人格数据集(五大人格特质)

研究的贡献概要视图人格预测,我们收集概要视图从一个额外的360名学生。我们花费很多努力收集参与者的个性特征数据。多年的研究和实验结果表明,相同的行为特征出现在各种环境和文化以惊人的规律性,表明他们实际上对应于某些相似的人格心理现象18]。今天,五大被认为是其中一个最主要、最有影响力的人格模型研究[28]。本文使用高炉模型。五大开放,责任心,外向性、宜人性和神经质。每个维度就像一把尺子,每个测试人员的性格特征会在某个位置的统治者。越接近这个点位于终点的统治者,更高的偏好用户向相应的人格特质。0到60分设置为每个维度,如宜人性、个人得分越高,越随和、性格开朗(21,22]。

问卷根据李克特量表得分最常用的工具是男朋友维度(27]。最受欢迎的项目包括修订NEO-PI-R(240件)34),NEO-FFI(60项)(35],BFI(44项)(36](见[2一个广泛的调查)。只保留最相关的项目结果整个文档(26,37),可以建立更短的问卷(60项),可以填满快得多(60问题给出了补充材料)。

第一人称问卷如附件1导致自我评估,这是传统上被认为是产生一个人的真实性格(14]。自我评估,最大的限制是主题可能会偏向她的分数对社会期望的特点,特别是当评估可能有负面结果,如面试失败。因此,语句如“我倾向于懒惰”被评为不愉快的,因为被申请人将试图传达积极的印象和隐藏消极功能。然而,大量的实验表明,自我评估结果高度相关的评估提供的其他熟悉的观察员(配偶、家庭成员等)33]。这被证明是一个重要的步骤在接受问卷调查作为一种人格评估的方法。因此,我们也在实验中使用大量的自我评价。

5560名男性和8547名女性完成人格评估问卷和上传14021张照片。在最终执行验证和脸和人格数据合并,数据集包括13347份有效问卷和13347相关的照片(见下文)。参与者的年龄从18岁到25岁,平均年龄为21.4岁,女性,占总数的62.1%,男性和20.7年,占37.8%。我们随机将数据集分为训练数据集,测试数据集,数据集和验证,占90%,5%,和5%的整个数据集,分别。此外,我们随机收集360个参与者的侧面照片研究的贡献2.5 d面临人格预测。

2.4。筛选和形象和性格的分析数据

每个参与者都给5个人格特质维度得分基于五大人格测试,每个被列为一个离散的数字1 - 60。我们使用三分法将不同维度的人格得分分为“低、中、高”,如低神经质,中神经质和高神经质。统计结果如表所示5。为了简单起见,字母O, C, E, A,和N是用来表示开放、责任心、外向性、宜人性和神经质。

这个结果基本上符合亚洲人的个性特征,被认为是相对保守的,善良的,内向。因此,在我们的数据集,高开放性和高神经质的人占比例相对较小。为了便于计算和分析,我们人口的性格特征分为两个额外的类别:“不明显”和“显而易见”调查后根据收集到的数据。虽然数据分为“高、中、低”,因为参与者的比例高神经质、外向性、高和高开放很低几乎negligibility,我们这些小数量的参与者划分为下一个最近的类别(最终的分类如表所示6)。

我们应用的功能面部和眼睛的药物检测、对齐、调整,剪裁Dlib图书馆网站(dlib.net)提供的过程面对获得的图像和一群归一化图像的像素大小112×112。

通过匹配的调查问卷的答案的脸的照片,我们可以获得一套有效的五大问卷和图片,共计13347双。

3所示。神经网络人格预测基于2 d图像

先前的研究在人格进行了预测的人工特征集合,这可能导致的损失personality-related特性(12,14,20.,38- - - - - -41]。我们预测,性格特征将反映在人的整个面部图像(包括概要文件)而不是在一定数量的孤立的面部特征。因此,我们采用深度学习方法从脸图像中提取高层特征性格预测。我们使用MobileNetV2 50 (ResNet50)和残余网络版本,在学术界流行的两个深度学习网络,对人格特征进行分类。然后,一种改进的人格预测网络软人格预测基于阈值的神经网络(S-NNPP)——提出。为了验证实验结果,5倍交叉验证方法。数据被随机炒和分成五块,和对于每一个褶皱,一块数据进一步分成同样大小的测试和验证集,作为训练集,其余四块。把验证结果的平均值从五个折叠作为最终结果。在培训过程中,关注损失,增强数据,介绍了upsampling、灵敏度和成本来解决样本不平衡的问题。所有培训在这一节中调整是基于ImageNet pretrained模型与随机梯度下降优化策略。在训练的开始,我们将学习速率为0.001和采用ReduceLROnPlateau,可动态调整学习速率根据损失,为学习速率优化策略。

3.1。软人格预测基于阈值的神经网络(S-NNPP)

最近的研究表明,网络基于注意机制可以实现良好的性能在分类任务。因此,越来越多的网络在ResNet添加各种关注操作。ResNeSt提议在2020年可以被视为一个“综合大师”,包含了最好的ResNet的以前版本。GoogLeNet深入分析的基础上,选择性的内核网络(SKNet)和squeeze-and-excitation网络(SENet),一个叫做S-NNPP深层神经网络设计。目标是为多尺度图像特征提取和选择一个网络体系结构实现图像分类性能好。GoogLeNet我们介绍了多路径机制和特征映射模块ResNeSt SKNet的注意。我们还介绍了通道自适应地调整注意力的通道响应特点,遵循SENet的体系结构。由于表现突出ResNeSt在图像分类,我们使用它的基本模块,使后续网络的改进。

网络图2表明在ResNeSt块,3∗3卷积ResNet取代通过分裂分组卷积,并通过多个分支机构关注。在这里,分组卷积是用于每条路径。最后,将softmax操作后,每组的卷积结果合并。

性格很容易贴上模糊数据,所以在这项研究中,我们引入软阈值(42)提高对噪声数据模型的适应性。在许多信号去噪方法,软阈值是核心步骤。它是用来设置功能,其绝对值低于某一阈值为0和调整买卖其他特性,进行收缩。在这里,阈值是事先必须设置一个参数,及其价值有直接对降噪效果的影响。软阈值的操作,如图的输入-输出关系3。

对振动公式如下: 在哪里小波变换系数和吗T是预定的阈值。

从公式可以看出,软阈值函数的图删除绝对值小于阈值的功能T和收缩功能的绝对值大于阈值为0。当应用于网络,它可以压缩和保留重要特性和过滤不重要的功能。由于各种因素的影响,不同样本中包含的冗余信息往往是不同的,所以不同的阈值需要设置不同的样本。因此,当执行软阈值分割特征图谱,我们添加了一个子网的基本网络自动学习一组阈值。通过这种方式,可以获得一组独特的软阈值为每个样本删除冗余信息。调整后的基本网络模块如图4。

图5显示了软阈值块的网络体系结构。

一般来说,Soft_ResNeSt网络包括两个路径,一个把整个图像作为输入,而另一只面对地区,这是通过一个开源OpenCV面临区域提取器。上述改进ResNeSt模块的基本模块中使用的两个路径,然后根据加权参数α,预测结果融合。图6显示了我们的网络的总体结构。

在本节中,传统的BP网络,两种深度学习网络和改进S-NNPP网络而人格预测的性能。其中,分类结果的轻量级MobileNetV2人格神经质和外向性的数据是好的,而开放的影响,和蔼可亲,和责任是不明显的。复杂网络的比较,结果ResNeSt50略有改善,表明复杂的网络体系结构能够更好地提取深度特征与个性有关。最后,结合ResNeSt和不足的技术,我们生成的S-NNPP,大幅提高人格预测网络,这是比MobileNetV2 ResNeSt50预测五人格维度。

3.2。结果与讨论

在这项研究中,数据被炒,随机分为五部分,一个部分进一步分成同样大小的测试和验证集,剩下的四个部分作为训练集,验证数据我们使用来自一个独立的验证数据集,它包含预测的1335 1335名志愿者的面部图像。最后的预测结果验证结果的平均值从使用每个五个部分作为验证集。

我们测试了不同的神经网络在预测的准确性五人格特质。真和假阳性率和F1分数预测三个深度学习网络的五个特征如表所示7。神经质和外向性明显比其他人更容易识别,识别率超过90%显示(见图7:接受者操作特征(ROC)曲线)。识别开放程度、宜人性和责任心为三个网络相对较弱,但比这更好的线代表的机会;这不同于现有的结论在一定程度上(43,44]。有几个原因解释为什么我们的研究结果可能不同于其他的结果。首先,我们所有的志愿者亚洲,由于文化差异,强调其“开放”,“随和自然,”和“责任感”少往往比他们的西方同行。相反,亚洲人更强调自律和承诺,严谨、缜密,智慧和决心,韧性和稳定性(45]。其次,我们所有的大学生志愿者,他们往往与社会接触相对较少,不需要太多的责任。因此,他们的自我意识和宜人性的理解可能不全面,影响相应的分数自尊量表,并进一步影响这两个维度的预测性能。第三,我们的研究是基于面部图像,在这之间有明显的差异中国和西方的人的特性。例如,西方人有明显的面部轮廓的鼻子高,而亚洲人相对平坦的面部轮廓和软线。因此,中国人和外国人的预测结果,特别是西方人,基于面部特征的个性注定是不同的。上述证据说明我们的研究结果的可信度。

ROC曲线还表明,该模型具有良好的分类能力神经质和外向性但稍微降低分类能力开放、宜人性和责任心。

我们的研究表明,一个人的性格与他或她的外表有一定关系。我们估计,机器学习(深度学习网络在我们的实验中)可以揭示了多维性格特征表示基于静态的脸的形状。我们开发了一个神经网络,训练它在一个庞大的数据集上标有自述BF特性没有监督,参与第三方评估,避免人类评级机构的可靠性的限制。

我们进一步预测,性格特征可以反映在整个面部的形象,不仅在个人面部特征。为了验证我们的假设,我们开发了S-NNPP,深神经网络基于注意机制,并添加软阈值来实现更好的预测性能比现有的网络。具体来说,我们比较其性能与BP网络和神经网络两种高性能深,MobileNetV2 ResNeSt50,发现我们S-NNPP网络有效地预测精度最好的(见表7)。我们确定了三个原因的改善模型的准确性。首先,我们收集了13347双的数据(包括自我报告的面部形象和个性数据),比任何其他数据集报道全球(之前的记录是12447双的数据(16])。其次,算法的改进,性能优良的ResNeSt ImageNet网络分类的图像分类的优势。我们使用的基本模块ResNeSt开发我们的改善网络。此外,尽管个性数据很容易贴上模糊,我们改进了模型处理数据的能力包含不同的声音通过引入软阈值技术。第三,在我们的数据集,面对相对一致的背景图像,与摄像机之间的距离,角度,后来和照明,使数据处理更方便。

4所示。网络人格预测神经网络基于2.5 d图像

在人格预测,我们发现,一些面部区域,如前额、鼻子、颧骨,和下巴,其功能不能位于额叶的脸图像;相反,概要文件所需的图片往往是更准确的检测(23]。事实上,面部信息包含在正面和侧面的角度自然是互补的。因此,两者的结合角度(即。,2。5D) is expected to reflect the relationship between facial images and personality more comprehensively than 2D images alone.

4.1。实验装置

在本节中,360名学生(180男性和180女性)选择从先前的2 d数据库收集额外的面部图像,包括前面和侧面图像,以及高炉人格自我评价分数。我们再次使用50%交叉验证方法前面描述的影响分析;数据被炒,随机分为五个部分,其中一部分被进一步分成同样大小的测试和验证集;其他四个部分作为训练集。具体来说,288张图片和相应的分数作为训练数据集,剩下的72张图片和相应的分数作为测试数据集。

必须指出的是,2.5 d图像数据库中包括一个正面形象和两个面部轮廓图像。实验表明,左右概要文件的几何特性高度相关,和大多数的差异双方可以正面描述的图像;因此,一边只有从左边的概要文件中提取图像特性。

4.2。结果与讨论

我们测试的准确性预测五人格特征与不同的网络。表8显示了F1得分三个深度学习网络的五个人格特质。显然,额叶和侧脸强调补充面部区域;因此,集成的两种图像应导致更精确的人格测量,激励使用2.5 d建模用于这项研究。深层神经网络训练后,2.5 d预测模型实现人格预测比2 d模型;特别是,F1为外向性得分增加到93.02%,开放性增加到65.03%的预测性能。这表明这两个人格特质与所提供的信息更相关的面部轮廓图像。没有变化,明显的或其他特征的预测,这是直接关系到实验的小尺寸2.5 d的数据集。

虽然我们不知道如何训练深层神经网络学习人类的面部特征,我们知道,前面和侧面的面部特征提取的图像是完全不同的。一些面部特征可以被正面图像,而其他人可以准确地表达在面部轮廓图像。这表明两个方面的结合提供了更多关于人格的信息,因此可以进一步提高人格的性能预测。

5。应用程序

一个人的性格特征识别从面部图像在现实生活中可以使用在许多场景。在日常社会事务中,这种技术对于确定人格类型是非常有用的。我们的方法是传统的人格评估方法的进一步发展。Facial-feature-based个性匹配有望成为一个受欢迎的特性各种求职,社交网络,和其他类似的网站,可以快速推荐面临用户根据他们的喜好45]。此外,facial-feature-based人格预测研究,也可用于犯罪追踪(23),运输安全检查,司机评估,员工选拔和目标图像的基础上在公安部门。我们认为,考虑到速度和低成本的技术,其应用潜力是巨大的。

我们招募大学生为研究对象。应用场景而言,我们的研究结果可以帮助大学生找到工作适合他们的个性的形式“person-post匹配”;技术可以提供一个快速的性格分析来帮助雇主面试员工的招聘。这些模型也适用于辅助功能,如学生在线咨询。但是,我们并不提倡完全依靠人工智能识别人。”

我们与另一个数据集进行实验分析,以确保实验结果的有效性。这个数据集包含两组图片,每一个都包含相应的不知名的照片我们最初的样品收集。两组照片包括胜任研究生学习的学生没有考试的图像和图像将要辍学的学生由于没有大量的课程或因违反学校的指导方针。每组包含8脸图像,如图8。

对于这两种类型的样本,有些科目成绩优秀和强大的科研能力,和一些没有主题或辍学由于违反规则的行为;然而,有一个大致了解人格特质的某些方面的主题。此外,由于样品在同一类别分享共同的某些特征和行为,可能会有一定程度的相似性这些个体的人格特质;因此,我们使用了S-NNPP网络来验证这些结果。我们发现有某些相似的性格特征在同一类别的样本。例如,8研究生候选人,模型预测,责任心和愉快是最重要的特征,虽然有些还显示强大的开放性;为学生辍学的危险,他们的神经质一般高,虽然没有明显的共性是观察到的其他维度。

数据可用性

我们的研究涉及到大量的脸图像。照片收集之前,我们签署了一份保密协议,保证脸部图像不会向公众披露,所以我们不能提供这些数据。

的利益冲突

作者宣称他们没有利益冲突有关的出版。

确认

这项工作是由中国国家自然科学基金(61402371),陕西省科技创新项目计划(2013 szs15-k02),和陕西省重点科研项目(2020 zdlgy04-09)。

补充材料

补充材料中使用的大五人格量表,即NEO人格量表(self-personality评估在这项研究)的问题列表。60-item规模措施五大人格特质(开放性,责任心,外向性、宜人性和神经质)。(补充材料)