文摘

基于基本情绪理论和垫情感模型,该模型可以描述连续的情感变化,我们首先提出一个更一般的五维的概念情感领域的模型,以更好地满足情感识别。我们确定其尺寸和基本情绪之间的关系,用皮尔逊相关分析,多层感知器,和其他方法比较,验证其与人类志愿者标识符。结果表明,五维情感模型比人类识别领域的情感识别。我们还将它与垫情感模型。结果表明,五维情感模型表现的更好。最后,利用该模型,我们设计了一个技术原型的情绪自适应界面展示其潜在的应用程序。

1。介绍

人工智能的发展达到了一个很高的水平领域的推理、计算、识别、和学习。然而,它只模拟人类思维,很少注重人的实际心理活动。研究人工智能结合人类心理情感识别领域的变化才刚刚开始。

在当前的研究中,不同的心理情绪的学校有不同的理解。心理情感的理解大致可以分为基本情绪理论和情感维度理论。实用心理学认为心理活动是一个连续的整体。它反对把人的心理活动分解为部分(1]。维情绪理论更适合于表达一个连续变化的情感。

维情绪理论的研究在过去的几十年中,心理学家提出了不同的模型。垫情感模型(或简单地垫,其三维)描述情感的成分pleasure-displeasure, arousal-nonarousal, dominance-submissiveness [2- - - - - -4]。Frijda提出情绪pleasant-unpleasant的混合物,兴奋,感兴趣,社会评价,惊喜,和简单5]。伊泽德提出,情绪是由一个愉快的、紧张、冲动,和自信维度(6]。这些情感模型已经应用于各种不同的情况和环境,但是现有的情感模型不一定在新兴领域的效果最好。情感领域的认可,许多计算机科学研究,使用现有的情感模型改进的结果以适用各种环境。

目前人工智能研究中使用现有的情感模型,王OOC模型用于复合认知代理的组件的情绪7];汉族使用AVS情感模型设计照顾老年人的认知情绪模型机器人(8];Mi arousal-valence二维情感空间用来探索中学学生的学业情绪(9]。

然而,没有多少研究设计中情感模型适应人工智能领域。Shangfei王相信情感维度的名称是不重要的,和维暗示一种情感空间的使用可以建立使用适当的方法,每一种情绪都可以被视为一个向量空间(10]。傅et al。11和蔡12)直接用神经网络训练数据特性来获取模型。的基础上的一系列实验研究[13- - - - - -15],山墙和Harmon-Jones第一直接测试假设motivation-related情感的因素可能会影响认知过程,如注意力和记忆力,并提出了激励维度模型的影响16]。这些研究并没有很好地适应领域的情感识别,这就是为什么我们建议五维情感模型。

2。五维情感模型

针对现有模型的不足对于我们的目的,我们推导并定义五个维度与情感,然后建立了一个五维情感模型和评估。

2.1。确定尺寸

1971年,埃克曼发达面部影响得分技术(快速)17),这是一个情感测量系统基于面部肌肉运动组件。根据这个系统,他列出了六种基本情绪:快乐、愤怒、恐惧、悲伤、惊讶和厌恶。的前提,这维情绪理论提供了一个客观的真理,必须有不同的情绪维度值,可以分配给不同的基本情绪。因此,我们建立了一个从推断方法反过来决定了基本情绪维度。

因为“厌恶”可以被理解为一个评估的外部对象或刺激,不利于确定维度,它是派生暂时排除。基于两个现有的情感模型,我们首先假设的两个维度:强度和快乐。强度是指个人神经激活的程度;快乐是用来区分的积极和消极方面的情感。这些维度是内心的经历,属于一个人的感觉。这些情绪可以分为内部尺寸。强度不是一个行列式的情感;只是用来描述一种情感的力量。快乐幸福有别于其他五种基本情绪,让幸福作为一个积极情绪存在。

1985年,史密斯和埃尔斯沃思通过实验确定六个维度的情感:确定性,快乐,关注活动,控制,预期的努力,和责任感。然后提出了一个情感的认知评价理论(18]。根据这一理论,核心维度区分愤怒和其他负面情绪是确定性,控制,和责任。愤怒是一个经常发生在一些负面的情绪发生了个人和其他人都是负责任的和/或控制。另外,个人有一个公平的确定性事件。恐惧是一种情感,通常当环境控制负面事件。,非常懂得消极客观事件的不确定性。在卡拉特和Shiota情绪的研究,他们指出,在相同的条件下,愤怒和悲伤的区别是人们是否可以控制情况(19]。因此,我们可以确定两个维度来区分消极情绪:控制和确定性。

惊讶和恐惧在很多情况下是相似的。在1985年的一项研究中,孟(20.确定婴儿的面部表情模式。他们问陌生人在婴儿面前举行老鼠引起恐惧和自由提出了老鼠,跑在一个盒子里婴儿造成意外。他们在这个实验获得了正确预测结果。从这个比较可以看出,决定恐惧或意外的关键变量是婴儿是否增加了响应外界刺激强度,即张力。从这,我们可以确定维度区分惊讶与恐惧:紧张。

因为上述三个维度相关认知和它们会导致情感上的差异,我们可以将其分类为外部维度。

减少个人的潜在错误造成的故障分析情绪,我们雇佣了65人来评估基本情绪和五个维度之间的关系在六级非常高(100),高(75),中等(50)、低(25)、(0)非常低,没有相关性(空的)。除了给定的水平,一些人认为这些水平的差别太大,因此填写30等其他值。这是不会对实验结果产生影响。

为了减少误差,我们删除离群值(定义为数据有很大的偏差)。在此基础上,我们认为与标准差和太大太高我们使用的分散是无关紧要的,因为不同的人表达不同的感情。标准差之间的五种基本情绪和五个维度表所示1。

最后,我们计算了平均剩余的数据并确定相应的水平五个方面和基本情绪之间的关系。的关系如表所示2。

2.2。验证维度

伊泽德指出,情感在适应和生存方面起着关键作用。情绪有适应性和灵活性。这一结论的证据是,在比较解剖学和比较心理学的一项研究中,这是证实,面部活动中扮演重要角色的生活一些脊椎动物物种;这强调了角色的面部表情情感研究[21]。在此基础上,孟Zhaolan提议,面部表情可以作为基本手段决定情绪的研究(22]。

因此,我们可以验证我们的模型的五个维度的研究面部运动或表达式。

埃克曼和其他研究人员建立了面部动作编码系统(流式细胞仪)在1970年代中期通过研究自己的面部表情(23]。这个系统不是基于但在面部肌肉活动,也就是说,一个活动单元(AU)。每个非盟与一个或多个肌肉。我们使用的来自如表所示3。

个体通常可以通过快速扫描来判断他人的情绪的表情。在这种情况下,视觉形象的脸很模糊,和许多来自不能确认清楚。这或许暗示,不需要那么多来自在判断情绪。所以,我们可以简化活动单位和合并的表24来自成五个简单的来自:眉毛向上和向下的运动,眉毛之间的距离,关闭眼睛,嘴角的曲率,并关闭。

通过使用卡罗林斯卡定向情绪面孔(KDEF) [24),一个数据集提供的面部表情和相应的情感卡罗林斯卡研究所,分析简单的来自,我们可以验证模型的准确性。

使用脸+ +引擎,我们提取20 KDEF表达式(见图的特征点1)。

然后,我们计算这些特征点的坐标为了得到每个样本非盟的量化值。

关闭的嘴,使用以下方程:

引入的原因mouth_reference这里是可以消除的影响相机的坐标的距离和位置值通过寻找一个参考系统的脸。其他类似的操作都是相同的。

曲率的嘴角,以下方程:

关闭的眼睛,使用以下方程:

上下运动的眉毛,眉毛之间的距离,使用以下方程:

这里的操作是,我们使用了数据的极端结果计算的最大和最小值之间的距离的眉毛,然后将这个值映射到0 - 100的范围。以下类似的操作都是一样的:

通过这种方式,我们确定的值表达式的示例来自图片需要计算五维值:口对应的关闭mouth_open,嘴角对应的曲率mouth_rad,关闭眼睛对应eyes_open相应的,眉毛之间的距离eyebrows_distance,眉毛上下对应的运动eyebrows_height。

2.2.1。相关分析

我们在五个变量进行了皮尔森相关分析。总体相关系数表示ρ在一个人口。一般来说,ρ是未知的,所以我们需要估计ρ通过样本相关系数约r。因为个体样本内的不同的值,的值r多样。因此,我们需要检查样本相关系数的适用性,并进行显著性检验。通过使用SPSS,我们计算的样本来自从KDEF数据库描述公式。然后,我们进行了五个变量的皮尔森相关分析(即。相应的情感获得的尺寸)。之后,我们使用min-max正常化,这是一种常用的归一化法,计算出相关系数的五个简单的来自。他们可以被用作功能权重当我们计算了五维值。相关系数的比较结果的五个样本来自如表所示4。

我们计算的相应的五维值图像从KDEF数据库运用获得的系数。

2.2.2。多层感知器

一个多层感知器可以解决大多数线性不可分的问题。在这部分的研究中,我们使用了一个多层感知器,这是五层的神经元组成。这个网络包括一个输入层、隐藏层和输出层,它使用梯度剪裁和辍学的方法调整。

在多层感知器中,我们使用一个softmax激活函数和一个叉损失函数。我们考虑一个表达式的五维数据图作为一个群体,因此有980组数据。我们将这些数据分成880组训练,剩下的100组作为测试数据。

经过5180104次迭代训练,模型的准确性达到表所示5。

为了验证模型的准确性,我们还邀请了不同年龄的12名志愿者识别相同的100随机选择面部图像和计算精度。与此同时,我们让模型确定100年的面部图像。最终结果如表所示6。

结果表明,模型识别训练后的准确性高于人类志愿者。

3所示。对比五维情感模型和垫情感评价模型

3.1。垫情感评价模型

垫情感评价模型是一个基于情绪维度理论模型。根据语义差异的评价方法,Mehrabian和罗素定义了三维空间的情感作为pleasure-displeasure“P”,为arousal-nonarousal“A”,“D”dominance-submissiveness [2- - - - - -4]。其中,P代表了积极或消极的程度的个体的情绪状态;生理激活水平的代表一个人的神经,这表明个人兴奋或抑郁;和D代表了主观控制状态,主动或被动状态的个人情况和其他人。

垫的情感评价模型,最著名的模型情绪维度理论,已广泛应用于情感的研究。在这部分的研究中,我们测试了五维情感模型的适用性通过比较它与垫情感模型。

3.2。在相同的条件下对比实验的准确性

垫的情感模型,我们使用相同的样本和多层感知器相同的输入层、隐藏层五维情感模型的训练。

心理学研究所的李等人,中国科学院,中国版本的编译垫情感尺度和评估的垫值14基本情绪。这包括不同的研究者提出的基本情绪,比如快乐,愤怒,放松,和恐惧。(25]。在目前的研究中,我们使用垫值对应于七个基本情绪从KDEF数据库分析结果的相关性。七情绪的垫值如表所示7。

我们垫之间的皮尔逊相关性分析值的情绪和五个样本来自和min-max归一化系数的特征权重垫情感评价模型。获得的系数如表所示8。

基于这些参数,我们转换表达式的示例来自KDEF数据库到相应的垫值的图像,然后训练多层感知器的数据。经过6000000次迭代的训练,我们可以比较的精度垫情感模型和五维情感模型。最终结果如表所示9。

根据这个结果,我们认为五维情感模型比垫情绪评价模型应用于情感识别。比较结果图形如图2。

4所示。对比五维情感模型和激励维度模型

垫模型提出了主导地位的存在维度除了价和唤醒维度。李(25)评估板上的基本情绪维度的值。由于板的三维模型是相互独立的,我们只可以消除个人优势维度和保持快乐和兴奋的值价和唤醒维度。

影响的动机维度模型指出动机维度的存在除了价和唤醒维度。夏(26)设计实验来评估基本情绪的动机维度上1 - 9的规模。通过与李的规范他的实验结果,我们可以将它们映射到一系列−4 - 4所示。我们可以得到一个数值表示的基本情绪动机维度模型,表所示10:

我们分析了动机维度之间的皮尔逊相关性值和五个样本来自和min-max归一化系数的特征权重激励维度模型。获得的系数如表所示11。

基于这些参数,我们转换表达式的示例来自KDEF的图像数据库中相应的动机维度值,然后训练多层感知器的数据。经过2742366次迭代的训练,我们可以比较动机维度模型的准确性和五维情感模型。最终结果如表所示12。

5。五维情感模型的应用程序

人类情感有着广泛的应用前景和潜在的经济价值在人机交互、电子教育、机器人、娱乐、医学领域和其他领域。所以,它吸引了大量的注意力在学术界和工业。在这两个领域,大量的关于人类情感进行了相关项目。一些公司已经感兴趣和参与这项研究IBM在美国,在日本索尼,飞利浦在欧洲,和许多其他人。中国已逐渐重视这种研究,它一直在探索北京科技大学,中国科学院自动化研究所,和其他人。在几句话,研究情感五维模型作为应用于情感识别具有深远的科学意义和广泛的应用价值。为此,我们采取了自适应人机交互系统基于五维情感模型作为一个例子来说明其实际应用。

人机交互是一个研究的课题设计、评价和实现交互式计算机系统为方便人类用户。一种自适应界面是人机交互研究和应用的主流。现在,随着人工智能的发展,情感越来越重要的自适应用户界面的研究。通过介绍五维的情感模型,人机交互界面可以观察到用户的情绪,以提供一个更友好的用户体验。

对于一般的用户界面、颜色和背景音乐是核心内容的一部分。在此基础上,我们设计了用户界面的风格改变当用户正在经历不同的情绪。

在设计之前,我们需要做一些适应性改进五维情感模型。因为不同的人有不同的面部特征,行为习惯,和无法控制的表达变化,这将导致识别错误如果模型根据工作只有一帧的表情在执行一个持续的情感判断。我们需要做一些改进模型;也就是说,准备一个队列的长度N,其中每个元素是一个每个情感检测的最终结果。队列满时,将执行入队和出队操作模型。从这一点,我们将得到一个用户的连续情感检测结果N次了。因为情感是一个不断变化的过程,该方法将获得更准确的结果,通过分析不断的情感。

据张聪聪的实验(27在古典管弦乐队,巴赫的评价明显高于他人;他的音乐在小调P和D值均明显高于音乐在一个主要的关键;和他快音乐的垫值明显高于他的慢音乐。在颜色方面,不再波颜色的值高于短波;多色,垫的饱和值和明亮的颜色是高于柔软和黑暗的颜色作为一个整体。有一个D值和亮度之间的非线性关系,但在黑色和白色的,黑色的D值显著高于白色和灰色。

根据他的研究结果,我们捕捉用户的表达通过访问用户的相机,然后使用五维情感模型来检测用户的持续的情感和计算的平均价值维度。为此,我们可以确定哪些方面需要加强。最后,通过颜色渐变动画、音乐平滑切换,和其他应用程序的JavaScript,模型显示界面风格和背景音乐可以改善所需维度值和指导用户的情感在一个积极的方向发展。

例如,当用户心情low-pleasure和低控制时,我们可以用高饱和蓝色为主要风格和巴赫的快速音阶管弦乐套件2号B小调,BWV 1067: 7。Badinerie为背景音乐来改善和控制用户的乐趣。当用户心情高快乐时,我们可以用高饱和的红色为主要风格和巴赫的大音阶的快在F BWV1047勃兰登堡协奏曲。2:我。(快板)作为背景音乐来提高用户的强度和长时间让用户满意。

6。结论

人工智能技术在许多领域扮演了一个承诺和生产力的角色,而是一个人工智能,无法区分情感只能作为一个机器,失去存在的人类经验。因此,我们构建了五维摘要情感模型,研究和探索领域的情感识别。重点如下:(我)我们确定五个维度提出情感模型的强度,快乐,控制,确定性,紧张和简化的来自流式细胞仪。KDEF数据库的基础上,我们确定五个维度的特征权重对应样本来自和使用多层感知器训练我们的模型的精度高于识别人类志愿者。(2)我们比较了五维情感模型与传统的垫情感评价模型在相同的条件下,证明我们的模型是更好的精度。(3)最后,我们讨论了五维情感模型的实际应用的例子一个原型emotion-detecting接口作为一个例子。

数据可用性

在这项研究中使用的数据是可用的卡罗琳斯卡直接情感面临(KDEF):https://www.kdef.se/index.html。

的利益冲突

作者宣称没有利益冲突有关的出版。