文摘

美容业已经在多个国家迅速增长,由于其应用于娱乐、分析和评估面部魅力得到了科学家们的注意,医生,和艺术家因为数字媒体,整形手术,和化妆品。分析技术用于面部美容的评估认为面部比例和面部特征元素来预测面部美容。这里,面部地标提取计算面部比例根据黄金比例和对称比率,并执行一个消融研究发现从提取比率表现最好的特性集。随后,灰度协方差矩阵应用灰度共生矩阵建立(),胡锦涛的时刻,在HSV空间和颜色直方图提取纹理,形状,和颜色特征。另一个执行消融研究来找出哪些特性执行最好的连接时面部地标。实验结果表明,初级面部特征的连接与面部地标改善面部美容的预测评分。四个模型的训练,再邻居(资讯),线性回归(LR),随机森林(RF)和人工神经网络(ANN)的数据集5500额面部图像,其中,然而执行最好的连接特性实现皮尔逊相关系数的0.7836和0.0963的均方误差。我们的分析也为我们提供了深入了解不同的机器学习模型的概念可以理解面部美容。

1。介绍

面部美容长期以来一直是知识的话题讨论和研究了它的各种属性和研究。在中世纪,文艺复兴时期的画家使用独特的比率命名为“黄金比率”代表通过画完美形状的人脸会是什么样子的(1]。黄金比例是基于价值的比率1.6,这是被希腊人认为是一个完美的数字。许多例子存在于建筑,从希腊帝国,黄金比例是用于建筑和万神殿。这个黄金比例是用于面部美容,不同的面部比例计算和比较值为1.6。尽管面部吸引力可以讨论其客观性和主观性,最新的实证结果支持这一观点,魅力是客观的、可量化的,这是通过测量跨文化差异(2),大脑活动(3),和认知心理学4]。从医学和心理学研究也得出结论,审美特征像面部平均化5和对称6)当评估魅力很重要。面部皮肤的颜色和质地也显著贡献对面部吸引力(7,8),被包括在评估面部吸引力(9,10]。此外,研究表明,漂亮的脸遵循比率定义面部比例,如新古典主义经典(11)和黄金比例(12],它被认为是黄金标准的美丽面孔自古以来由艺术家、医生和整形外科医生13]。在机器学习中,提出了几种方法来评估面部吸引力通过使用这些面部特征。然而,由于低效率特征提取方法和无法将各种功能结合在一起,这种方法没有工作,即使这种方法可能接近人类和机器性能之间的差距。因此,需要一个有效的面部美容技术评估从机器的角度来看。本文的技术评估面部美容开发基于面部比例因素,广泛认为是面部美容的黄金标准。

心理学和生物学研究解决这个问题通过一个假设的面部特征为吸引力。各种功能,如两性异形、平均化和对称美的感知影响。琼斯和Jaeger [10)表明,基于这三个特性的女性显得更有吸引力。Thornhill和Gangestad14]证明之间存在显著相关性平均脸和面部美容,但最漂亮的脸并不平均。面部匀称,虽然,增加面部平均化,如上所述在格拉默和陶希尔[15),也支持同样的想法从进化生物学研究。此外,两性异形显示发挥重要作用在评估一个人的面部美容,佩雷特如上所述的et al。16]。两性异形是第二性征的出现,出现在美。这些次要的特点使人们显得更加阳性或阴性。许多研究提供证据表明男性和女性提供更多的深度比对称(一个人的美丽10,17,18]。脸的固有特性,如面部皮肤纹理和颜色,也能影响的感知美。许多研究者提出了面部美容和健康的皮肤,之间的联系,因此证明了面部肌肤的健康可能的表面特性,影响美容的评估。芬克等。7)评估面部美容通过使用人类的评级从面部纹理和皮肤的颜色。芬克等。19)表明,面部肌肤的健康与魅力指数呈正相关。也,因为面部吸引力是受到各种因素的影响,面部形状特征和外观也被考虑面部美容评估。Kagian et al。9]分析了面部美容根据形状和面部几何。Rhazi et al。20.)提出了一种基于黄金比率计算预测面部美容方法从角落里提取的特征。施密德et al。21)提出了一个模型来计算面部美容基于黄金比例,对称,和新古典主义经典。新古典主义的经典是中世纪画家在绘画所使用的比率来表示他们理解人类的美丽。Dornaika et al。22)开发了一种semisupervised脸美预测技术使用图论方法和一个公共数据集。尽管semisupervised技术需要更少的图片,他们的模型精度完全取决于图形密度,从而影响预测结果。林等。23)使用属性意识到面部美容,CNN预测SCUT-FPB5500数据集和训练与强大的GPU的支持。肖et al。24发达Beauty3DFaceNet,由深CNN预测3 d人脸的吸引力。他们收集的3 d点云和面部纹理图像的训练他们的网络,将输出的吸引力评分。虽然方法是有前途的,它们是有限的3 d点云数据收集和训练需要大量的计算。魏et al。25]面部对称性和吸引力评估基于支持向量机和线性回归使用预定义的数据集。同时,他们开发出了一种手机应用程序基于总结特性是有用的计划重建面部手术整形外科医生。通等。26]研究面部吸引力使用面部假定的比率和通过培训款4512脸图像。款模型被训练使用NVIDIA Tesla K40 GPU。最近的研究利用CNN和预测款面部吸引力,这是计算量大,需要大量的训练和测试数据集。因为面部美容预测主要取决于有效的面部特征进行了分析,应确定哪些特性影响最大。因此,通过确定的有效功能,面部美容预测可以达到用更少的计算昂贵的先进的机器学习技术。

本文旨在预测额的面部美容图像使用机器学习技术和传统的特征提取方法。提出技术改进性能的机器学习模型在面部图像的融合面部地标和质地,颜色,形状和特性。19面部比例根据黄金比例和对称。这些面部比例作为输入提供给四个回归机器学习模型(线性回归,随机森林,再邻居,和一个人工神经网络)和训练预测美丽的面部图像。19比率上的烧蚀研究执行找出表现最好的比率称为组合”的特性,“功能设置与结构连接,颜色和形状特性(TCS功能)。另外,另一个消融研究执行检查每个模型的性能在准确预测面部美容。消融研究是用来找出哪些TCS的特性有助于预测和每个组合模型的性能也各不相同。剩下的纸是组织如下:首先,预测面部美容的步骤(从数据集中提取的功能)。然后,讨论各种模型用来预测面部美容提供了。最后,实现各种模型的结果和表现最好的模型进行了讨论。

2。材料和方法

下面的步骤被用来预测面部美容得分(图1代表了整个过程的框图):(我)提取面部地标、质地、颜色和形状(TCS)特性。(2)表现最佳的提取面部具有里程碑意义的特性集。(3)烧蚀研究TCS的功能。


图1
框图的分析。
2.1。数据集被认为是

SCUT-FBP5500本研究中使用的数据集,数据集,由5500亚洲和白人男性和女性的形象27),每个图像的维数是350 350像素。数据集包含5500额,从而面临年龄在15到60一个中立的表情。它可以分为四个子集不同种族和性别,包括2000年亚洲女性,2000年亚洲男性,白人男性白人女性,750和750。所有的图片都贴上美丽分数从1 - 5的60岁的志愿者18-27(平均21.6),美丽的分数5意味着最有吸引力和得分为1或更少意味着至少有吸引力。在这项研究中使用的指标来衡量性能皮尔逊相关系数(PC),平均绝对误差(MAE)、均方误差(MSE)R2分。所有的模型都是训练有素的在相同的数据集使用Python 3.7软件。

2.1.1。面部具有里程碑意义的本地化

面部比例计算通过测量特定点之间的距离从表面上的形象。这些点被称为面部地标,脸上坐标的形象。SCUT-FBP数据集包含预定义的面部地标的5500张图片。每个图像86地标,覆盖了最重要的几点。这些面部地标被用来计算19面部比例用于分析。图2说明了面部地标(图2 (b)输入样本图像(图)2(一个))。

(一)
(一)
(b)
(b)
图2
示例图像及其面部地标。(一)样本图像。(b)面部样本图像的地标。
2.1.2。面部特征集提取

面部美容评级所有可用的5500张图片的数据集作为一个标签19比率。这些比率作为输入到模型用于预测的面部美容。特性集的基本前提是,定义的脸应该遵循一定比例的比率。这里,14黄金比率和五个已经使用对称值。共有19个值被称为特性集(FS)。评估面部美容面部比例特征基础上,分析了FS 19比率。详细描述的各种比率FS在表中1和2。在表中1和2, 指地标之间的欧氏距离 和 。FS的比率值是不同的所以必须进行规范化的比率。

表1
描述使用的面部比例。
表2
描述对称比例使用。

在金色的比率,漂亮的脸应该有一个1.618的比例和对称比率,漂亮的脸应该有一个比1。所以,z分数归一化和线性扩展用于规范化的比率值为一个区间[0,1]。的归一化公式是: 在哪里 和 表示我th原始和规范化的得分值,分别 ()和 ()表示FS的平均值和标准偏差, 和 表示下界(0)和上限(1.618)的目标分数范围,和 ()和 ()表示的最大和最小值给定分数集,分别。图3显示了每个类别的分数分布的数据集,即亚洲男性/女性和白人男性/女性。的X设在代表分数和Y设在代表图像的数量。


图3
美丽分数分布的数据集。
2.1.3。二次特性集提取

从以前的文献中,很明显,只有面部地标和面部比例不能用于预测面部美容时提供良好的结果。面部地标只能提供有限的信息关于面部美容。同时,众所周知,人类决定美基于其他特征如颜色,形状,纹理等。艾尔·琼斯(28]分析了影响面部的颜色对的感觉面部美容。他们的研究还得出结论,面部更健康,也就是说。,clear skin, reduced abnormalities, etc., positively correlated to higher attractiveness. Face shape also corresponds to attractiveness [23,29日],见琼斯和赵等。研究表明,一个更窄的脸型与尖锐特征对应于高美比一张圆圆的脸。面部纹理也显示与更高的审美标准,见谭et al ., (30.]。面部纹理和颜色的组合提供了更多的信息对面部美容面部地标。本研究旨在利用面部形状、纹理和颜色来预测面部美容和推断的表现和贡献特征对模型的性能。这些特性被称为二次特性集或(SFS)在这项研究中,以及特征提取的类型如下:(我)应用灰度共生矩阵建立纹理特征特性(相关、对比、能源和同质性)(2)基于不变矩的形状特征胡锦涛的七个(3)颜色特征在HSV颜色空间中颜色直方图

GLCM或灰度协方差矩阵也称为灰度空间相关性矩阵,通过计算了解图像的纹理像素对与特定的频率值出现在一个图像的空间关系。然后从这个矩阵中提取各种统计措施提供了图像的结构信息。GLCM特性是在这项研究中,因为他们提供良好的信息中提取图像的空间关系。中提供的统计描述符和它们的描述表3。每个数据返回一个特征值的图像和相关的四个特征,对比,能量,和同质性特征向量连接与面部表现最好的FS的特性集提取部分。

表3
统计应用灰度共生矩阵建立描述符。

胡锦涛的时刻(31日)或基于不变矩的胡锦涛的一组7的数字计算中心不变的图像转换的时刻。第一个6的时刻已经被证明是不变的翻译,规模和旋转和反射。而第七届时刻的图像反射信号变化。7时刻计算由以下方程:

计算图像的面部颜色,应认为一个普通人如何看待一个脸。HSV颜色空间是人们经验更直观的颜色比RGB颜色空间(32]。色调(H从0到1.0)不同,相应的颜色从红色,黄色,绿色,青色,蓝色,红色,红色。饱和度(年代)从0到1.0,相应的颜色(色调)随不饱和(深浅的灰色)完全饱和(没有白色的组件)。值(V),或者亮度,变化从0到1.0,相应的颜色越来越亮。样本图像(图4(一)飞机(图)的色调4 (b)飞机(图),饱和4 (c)飞机(图),和价值4 (d))如图4。与RGB颜色将值(0.5,0.5,0.25),而对于HSV,这将是(30°,√3/4,0.5)。当用户使用HSV最好是交互式地选择一个颜色。用户通常更容易得到所需的颜色比使用RGB (33]。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
图4
示例图像及其面部地标在不同的飞机。(一)原始图像。(b)色调平面。(c)饱和度平面。飞机(d)值。
2.1.4。模型用于预测

在这项研究中,FS用作输入模型和相应的分数作为标签。四个著名的回归模型,线性回归(LR),再邻居(资讯),随机森林(RF)和人工神经网络(ANN),用于预测。一个小为每个模型描述如下所示。

2.2。线性回归

线性回归是一种统计方法,它使用多个解释变量来预测一个响应变量的结果。它设置了一个输入变量和目标变量之间的关系是由以下方程: 在哪里 是观察,的数量 是目标变量, 是输入变量, 是y拦截, 每个输入变量的系数, 误差项。

2.2.1。随机森林

随机森林是一个监督学习算法,利用集成学习方法分类和回归。随机森林是一个装袋技术而不是提高技术。随机森林的树木并行地运行。这些树之间没有交互而构建树。它是通过构造多种决策树训练时间和输出的模式类的类(分类)或意味着个人的预测(回归)树。随机森林是一个meta-estimator(即。,it combines the result of multiple predictions) which aggregates many decision trees, with some helpful modifications:(我)的特性,可以在每个节点分裂仅限于一些hyperparameter。这确保了模型并不过于依赖任何个人特性,使合理使用所有可能的预测功能。(2)每棵树做了一个随机样本的原始数据集产生分歧时,添加一个进一步的随机性,防止过度拟合。

上述修改有助于防止树木太高度相关。

2.3。再(事例)

然而,瀑布是一个懒惰的学习方法,这意味着在分类之前没有明确的训练阶段。资讯的欧氏距离公式和概率公式方法给出了下面的方程,分别为: 在哪里一个是特定类/组,看不见的观察x和相似性度量d和K是一个任意整数。一个加权平均K使用最近的邻居,体重的欧几里得距离决定K最亲密的训练样本。集群的数量设置为(12,22]。

2.4。人工神经网络

安回归,多层感知器(MLP)是应用由一个输入层、隐藏层和输出层。每一层都有一个或多个神经元定向与前和下一层的神经元。乙状结肠函数作为激活函数来计算每个神经元隐层的输出。人工神经网络被用来预测面部美容做的非常成功,如图所示(34]。

2.5。指标用于预测

测量模型的性能和计算产生的误差模型,使用四个指标。平均绝对误差(MAE)、均方误差(MSE),R2分数,皮尔森相关系数(PC) (35)提供了表4。

表4
各种矩阵用于预测。
2.6。实验装置

数据集分为训练数据(80%)和测试数据(20%)。所有的实验都是运行在一个英特尔i3处理器12 GB的RAM使用Python编程语言。两个烧蚀进行了研究。一是找到最好的表演FS的所有主要功能包含面部地标。其他消融研究是为了找出在连接SFS的性能变化。实验结果以及相应的图表,解释在结果与讨论部分。

3所示。结果与讨论

在我们的面部美容预测研究中,我们使用面部地标作为提取面部特征的基本功能集。从面部地标,我们计算19面部比例用于预测美丽的面部图像(附录A中解释)。观察,提取和使用更多的功能并不能提高该模型的性能。进一步,这19面部比例整体描述脸的面部地标,这确实预测对称和量化相关的美36,37]。

计算机模型的分析比较了性能与人类的评级和检查每个模型的性能。表5显示了每个模型的性能和误差指标的相关性。

表5
为每个模型表现最佳FS。

在表5,每个模型都有一个相对较高的相关性与人类评级和低错误相应的表现最佳的FS。

在图5,x设在代表人类分数在0 - 5和规模y设在代表computer-predicted分数相同的范围。然而,最高的相关性值最低的错误。安比LR相关性更高,但LR相对误差低于安。同时,安比LR更分散。图中的红线显示数据的回归拟合。安是最接近理想的情况。第二个类似的措施是LR,最少的预测资讯和射频的措施。因此,而资讯和射频可以联系更多的人类价值观,安和LR模型拟合数据更好。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
图5
回归曲线表现最好的FS的每个模型。(一)为LR回归曲线。然而,(b)回归曲线。(c)射频的回归曲线。安(d)回归曲线。

尽管表6提供的信息表现最好的FS,图6每个模型向我们展示了如何从每个特性在FS和每个特性有助于学习过程。的X设在在图6代表的数量特征用于烧蚀研究中,和Y设在代表每个指标的得分。的X设在从4,因为功能的指标3下面非常贫穷,因此它是决定不被添加在比较图,因为它可以忽略不计的性能模型。这是简单的从图6 (b)当特征的数量较少(5和6X设在),R2在消极的趋势表明符合回归曲线更糟。与此同时,通过增加的数量特征,R2值明显改善。

表6
烧蚀研究PC和R 2分数对各种模型
(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
图6
消融FS的各种指标的研究模型。(a)为LR消融相关性的研究,然而,射频,安。(b)消融研究LR的R2的分数,然而,射频,安。(c)消融为LR MSE的研究,然而,射频,安。(d)消融研究LR的美,然而,射频,安。

FS的19个特征比例从对称和黄金比例。从之前的研究中,众所周知,黄金比例执行比对称比率。这种现象证明当看着上面的表。表现最好的FS从初始删除获得对称比率和指标降低一旦将黄金比例。接下来,SFS的烧蚀的研究已经完成。表6和7显示每个模型的消融研究执行。

表7
烧蚀研究美和MSE得分为各种模型。

它是观察表6和7融合的纹理、颜色和形状特征的SFS的比例特性提高了模型的整体性能。最高的相关性是通过资讯,紧随其后的是射频。最少的相关性是通过LR和安。在每个模型中,每个特性不同的有助于模型的性能。由于资讯模型取得了相关值最高的和最低的错误,它被认为是理想的面部特征分析模型,并给出结果表8(图片和一些最好的成绩和温和的预测结果)。

表8
从研究结果通过连接与SFS TCS的特性。

从above-obtained结果,很明显,我们的技术避免了过度拟合在我们的研究中通过以下方式:(我)来自SCUT-FBP5500使用的数据集,这是一个收集的5500额面部图像。这个数据集已被许多研究人员广泛使用,并且没有类不平衡,从直方图(图如图所示3)。数据集具有相同数量的图像中每个类的培训和测试集,和目标标签是正态分布的。使用的数据是足够的,因为它已经平衡,不需要预处理和数据增大。(2)消融研究,找到表现最好的特性集,找到最优的特性,可以用来实现最佳的性能。我们避免过度拟合通过删除功能和特性的最大数量限制在19。

4所示。结论

在这项研究中,不同的计算机模型来预测分析了面部美容使用黄金比率等面部特征,通过机器学习的质地、形状和颜色。首先,模型是分析和面部比例上的性能来源于黄金比例和对称。19面部比例被选中代表特性集(FS)表现最佳的特性被消融研究每个特性派生。为每个模型从表现最好的FS,质地,颜色和形状特征提取的数据集。这个特征向量的二次特征(SFS)是美联储通过消融研究每个模型测量每个特性的性能和观察到的变化对模型的性能指标。实验结果表明,美丽分数获得资讯取得最好的指标,其次是射频、LR、安。与FS TCS特性的融合形成SFS执行最好的,相关性最高的78%。因此,融合多种特征类型而不是一个单一特征类型提供了更好的性能比使用一个功能类型。同时,异质性的特征向量增加了性能比一个同质的特征向量。此外,我们的分析指出,黄金比例提供更好的信息比对称比率与先前的文献是一致的。

我们的分析表明,人类的判断对于面部美容是一致的面部比例来源于画家、建筑师,等等。这些比率从对称,黄金比例,新古典主义经典,等等,与人类紧密相关的评级。但确实存在元素的变异,它存在二次性等功能特性,面部健康,等等。我们的分析表明,结合辅助功能,如面部卫生、形状和纹理,面部比例允许计算机模型学习更好地与人类同行和关联。

总的来说,分析是有限的面部美容预测亚洲和白人男性和女性。我们未来的工作将包括一个分析不同类型的人的面部美容。一起,我们的分析将使用更强大的算法来提取深特性和使用相同的融合技术在这些特性达到一个更高的相关性和更低的错误。此外,它的目的是增加数据集的大小和变化,以便更好的泛化。另一个工作的目的是让一个模块化的系统,可以实时率美允许各种美丽评价应用。

附录

一个

烧蚀研究的结果对于每个模型来预测面部美容显示为表和数据,实验验证19面部比例确实是目前最佳的性能。

从表可以看出9表12和数字7图1019后,每个模型的性能特点并不能提高以任何有意义的方式。由于这个原因,性能计算直到19特性模型。如前所述在这项研究中,以下4特性并不认为是性能很差,这可以从负面的性能指标。

表9
每个模型的性能根据11-25相关特性。
表10
显示每个模型的性能R 2得分11-25特性。
表11
每个模型根据11-25 MSE的性能特性。
表12
每个模型的性能根据11-25美特征。

图7
消融11-25特性的相关性的研究。

图8
烧蚀研究的R2分数11-25特性。

图9
烧蚀研究的MSE 11-25特性。

图10
烧蚀研究的梅11-25特性。

数据可用性

在这项研究中使用的数据集是公开的,在文章中提到的细节。本研究中使用的数据集可以在网站上找到https://github.com/HCIILAB/SCUT-FBP5500-Database-Release/,代码可以公开在存储库中https://github.com/IyerOnFyer/Facial-Beauty-Prediction.git。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

作者想表达真诚的感谢和感激Vellore理工学院,Vellore,印度、汕头大学、汕头,中国对他们的支持和资源,提供了进行这项研究。这项工作是由中国国家自然科学基金(批准号82071992);广东省基础研究和应用基础研究基金会(批准号2020 b1515120061);广东省大学优先级字段(人工智能)项目(批准号2019 kzdzx1013);中国国家重点研发项目(批准号2020 yfc0122103);广东省科技计划重点项目(批准号 2015B020233018); and the Scientific Research Grant of Shantou University, China, (Grant No : NTF17016).