文摘
越来越多的情感计算研究最近开发出一种计算机系统,可以识别人类用户的情绪状态建立情感人机交互。各种措施被用来估计的情绪状态,包括自我报告,惊吓反应、行为反应,自主测量和神经生理测量。其中,推断的情绪状态从脑电图(EEG)脑电图可能已经受到了相当大的关注直接反映情绪状态相对较低的成本和简单。因为它使得基于脑电图,情感状态估计需要精心设计的计算方法从复杂和嘈杂的多通道脑电图数据中提取信息。在本文中,我们审查的计算方法已经开发扣除脑电图指数的情感,来提取emotion-related特性,或分类脑电图信号的许多情绪状态。我们也建议使用序贯贝叶斯推理估计连续实时的情绪状态。因为它使得基于脑电图我们提出当前挑战建立一个情感识别系统和提出一些未来的发展方向。
1。介绍
情绪状态指的是一个心理和生理状态,情绪和行为是相互关联的,而评价在一个上下文(1]。从心理方面,情绪状态的空间可以由离散模型或维度模型。在离散模型,一种情感状态被定义为一组有限数目的离散状态对应于一个核心的情感,包括愤怒、恐惧、厌恶、惊喜,幸福和悲伤,或它们的组合2]。维模型定义了一个情绪状态与情绪的基本维度空间,如价和唤醒和解释一种情感通过每个维度的水平(3]。这些情感模型用于分析系统和多边的情感(3]。基于情感模型、神经生理机制在情绪状态下一直积极调查。广泛地说,这是有记录的情感流程执行的腹侧和背侧系统在人类的大脑功能不同4]。腹侧系统,包括腹侧前扣带回和一些腹侧前额叶皮层区域(腹内侧前额叶皮层内侧眶额皮层),参与生产的情绪和情感反应的规定,而背系统,包括背侧前扣带回,前额叶皮层背一些地区(背外侧,后背外侧,mid-dorsolateral前额叶皮层),海马,参与需要努力的情绪调节和随后的行为(4,5]。
最近,情感计算(AC)已经成为一个融合技术混合情绪到人机交互(HCI) [6]。交流,通常被称为情感意识到计算,建立情感的人类和计算机之间的交互通过测量通过行为和生理信号的情绪状态和发展计算模型的情绪状态(6,7]。交流的关键要素之一是情感识别估计用户的情绪状态从他们的行为和生理反应(7]。情感识别旨在推进计算机创造情感的情报用户界面和提高精神卫生保健的质量。
有多种措施情感识别包括自我报告,惊吓反应、行为反应,自主测量和神经生理测量(3]。自我报告容易获得情感反应根据情感建模框架但很难跟踪快速的情感变化,需要依赖于自动判断的结果的情绪状态3,8]。惊吓反应级使用肌电图(EMG)措施无意识myoneural反应但评估只有部分方面的情感(例如,唤醒水平)3,9]。行为测量检测到面部的变化和/或全身行为使用肌电图或视频图像,但需要一个假设:EMG信号直接对应于一个特定的情绪状态(3,10]。自主测量可以客观地检测emotion-related生理反应的自主神经系统(ANS),如皮肤电导响应(在所)和心率变异性(HRV),但只有访问子空间的情绪状态(3,11]。神经生理测量基于电生理和神经影像技术可以检测各种情绪状态的动力学直接访问的基本结构在大脑中形成一个情绪状态(3,12]。因此,神经生理测量清楚地提供最直接和全面的对情感识别。
大量的研究调查神经关联的情感在人类使用多种非侵入式传感器模式,每个展示独特的特点对时空分辨率和流动性。功能性磁共振成像(fMRI)被用来发现大脑皮层和皮层下结构与情绪状态(13]。梅格也被用于查找emotion-related特定来源的神经信号及时和良好的空间和时间分辨率(14]。但功能磁共振成像和梅格的成本和固定防止这些模式被用于实际的情感识别系统(15,16]。脑电图,尽管遭受贫穷的空间分辨率和高易受噪音,已被广泛用于研究大脑动力学相对于情感,因为它允许直接对情绪刺激的反应的检测一个很好的时间分辨率(17- - - - - -21]。被开发成为更具成本效益和移动增加实用性和更少的物理限制22),脑电图,不是没有缺点,仍然有至关重要的优势在实际使用,因此一直是主要的选择网上情感识别系统的发展。事实上,已经有越来越多的努力来识别一个人的情感实时使用脑电图。例如,EmoRate作为一种商业产品开发(Emotiv Corp .)、钙、美国)检测时的情绪状态的流动用户是看电影23]。布朗因为它使得基于脑电图等人提出了一个情感的计算机系统,措施价的状态并将其传输通过无线连接(24]。
因为它使得基于脑电图的发展情感识别系统需要计算模型,描述情绪状态反映在脑电图信号和一个如何估计EEG信号的情绪状态。尽管历史悠久的寻找脑电图情绪指数,则较少受到关注,情感状态估计的计算模型。因此,我们认为需要审查的最先进的计算模型对情感状态估计促进先进的情感识别方法的发展。本文将回顾当前的情感状态估计的计算方法从人类脑电图与讨论的挑战和未来的发展方向。
本文将特别关注以下几方面因为它使得基于脑电图的情感状态估计模型。首先,它将快速回顾一下脑电图相关的情感,包括情绪状态空间的定义、情绪刺激的设计,和情感的脑电图指数。然后,它将重新计算方法提取脑电特征相对于情绪状态和估计从脑电图的情绪状态。我们还将提出一个连续的数学方法估计基于贝叶斯推理的情绪状态。
2。脑电图的情感相关
发现脑电图相关的情绪状态时,首先应该如何定义情感状态空间。情感状态空间基本上可以分为离散空间和连续空间。离散状态空间利用离散情感模型和包含一组离散经验的情绪状态。离散情绪状态由七到十等核心情绪快乐,惊喜,悲伤、愤怒、厌恶、轻蔑,和恐惧2,25),有时扩大到包含大量的情绪与这些核心的同义词情绪(25]。连续状态空间构建多维情感模型和代表了情绪状态作为一个多维向量空间。这个向量空间的连续的情绪状态取决于定义的基础。例如,circumplex模型,由罗素,描述了一种情绪状态在一个二维圆形空间的唤醒和价维度(26]。随后的各种心理模型定义情感维度构成的基础情感状态空间(25,27- - - - - -30.]。
基于情感状态空间的建设,脑电图的调查相关的情感也应该解决如何确定实验刺激诱发的情绪。通常,情绪刺激选择覆盖所需的唤醒水平和价态,并以不同的形式包括视觉、听觉、触觉、气味刺激。地面真理的刺激引起的情绪状态是安全利用的评价对象或使用标准的刺激集等国际情绪图片系统(iap)或国际情感数字化音响系统(iad)。iap提供了一套规范的图片对情绪刺激诱发情绪变化和注意力水平(31日]。IADS体现声刺激诱发的情绪,有时一起iap (32]。这些国际情感系统独立文化、性别和年龄(33]。
大量的神经心理学研究脑电图相关报道的情感。这些脑电图特征可以大致放置在两个领域之一:时域和频域。在时域,几个组件与事件相关电位(erp)反映潜在的情绪状态34]。这些ERP组件可以封装在一个时间顺序:P1和N1组件生成短延迟从刺激开始,在中间延迟N2和P2, P3和缓慢的皮层电位(SCP)长时间延迟。短,中间的ERP成分延迟已被证明与价(34- - - - - -37),而中间长延迟的ERP成分已被证明与觉醒(38- - - - - -41]。基本上,ERP的计算需要平均脑电图信号在多个试验,呈现ERP功能不适合在线计算。然而,最近的实验ERP的发展增加可能性计算方法使用ERP功能在线情感状态估计(42- - - - - -46]。
在频域中,各频段光谱功率已与情绪状态。阿尔法电源不同价态(47)或离散的情绪,如快乐,悲伤,和恐惧18]。具体来说,额不对称的α权力一再报道的稳定关联价(48]。随后的研究表明,额叶α不对称可能反映了情绪的方法/回避方面,而不是本身价(49]。与事件相关同步(人)和失调(ERD)γ实力有关快乐和悲伤等情绪(50- - - - - -52]。θ的人力量也被调制在过渡期间的情绪状态(18,53- - - - - -55]。
除了波形和频谱,一双脑电图振荡之间的互动特性如相位同步和一致性也被卷入情感过程。例如,额间的相位同步水平和右颞顶区域不同的情绪状态,精力充沛,紧张,和享乐的冲动56]。EEG相干在前额和β振荡后增加了观看高唤起的图像(57]。此外,γ相同步指数的增加引起的不愉快的视觉刺激(58]。情感过程涉及一个大型网络的大脑中的神经结构,这些多通道分析整个大脑的脑电图能揭示更多签名的情感像其他认知功能(59- - - - - -64年]。简而言之,简要概述了脑电图情感提出了表的关联1。
3所示。计算方法估算的情绪状态
情绪状态的计算方法来估计设计根据不同的脑电图特征与情感过程。因为大多数脑电图分析方法都伴随着预处理减少工件,所以是情感状态估计方法。图1说明了整体处理步骤从脑电图信号估计的情绪状态。记录脑电图信号响应情感刺激通过降噪算法的预处理步骤和时空滤波方法用来提高信噪比功率比(信噪比)。然后,决定特定频带的特征提取步骤权力,erp,和相位耦合指标与目标的情绪状态。通常,这个特性选择过程是由数学方法实现优化最大情感估计精度。分类步骤估计最可能的情绪状态从选中的脑电图特征。类的数量取决于情感状态空间的定义,如连续状态的唤醒和价,或离散状态。
相对一般作为预处理方法不同的脑电图信号处理应用程序,在这里,我们专注于情感特征提取和分类方法。我们首先回顾一下计算方法提取emotion-related从脑电图特点,其次是分类算法用于估计脑电图特征的情绪状态。特征提取方法通常建立一个计算模型找到emotion-related特性基于神经生理和神经心理学知识。与特征提取方法,吸引更多的分类方法在信号处理理论,如机器学习和统计信号处理。它一直感兴趣的每一个两个步骤对估计精度的影响。一方面,特征提取似乎更密切相关的估计性能因为没有指向功能与情感有关,这是难以置信的建立正确的模型。另一方面,分类算法还应该精心设计以适应特征空间的特点;例如,使用一个线性分类器高度非线性特性结构将没有多大意义。一般来说,一个人应该权衡之间的相干特征空间分类器,提高估计精度。
3.1。特征提取方法
至于valence-related特性,它已经表明,积极和消极情绪导致额不对称调节α脑电波的力量,导致相对减少左额α权力的积极情绪和减少对负面情绪(65年]。这个额α不对称价的计算提供了一种有效的索引左右α权力之间的区别,在这里表示和分别除以的总和: α谱的计算力量乐队已经执行的方法,包括广场α脑电波振幅透过一个带通滤波器(53),傅里叶变换(66年),功率谱密度(18,21),而小波变换(7,67年,68年]。大多数这些方法已经成熟,而且可以实时实现。
至于arousal-related特性,可以提取光谱功率特性,比如额中线θ权力类似于α权力。最近,更先进的计算方法提出了评估情绪激发。例如,不对称指数(AsI)评估情感启发通过计算多维定向信息(MDI)脑电图之间的通道69年]: 显示信息的总量从左半球的信号,右半球信号,,当主体情感。是指总双向信息与情感。显示相同的方向信息来但是当这个话题没有情感,和是指总双向信息没有情感。AsI可以有效地指示是否引起一个情绪状态(69年]。除了AsI,从特定通道在不同电位的方差脑电图渠道被用作emotion-related特性(68年]。同时,EEG信号的熵被用来从侵入噪声中提取相关信息情感(68年]。
至于个别离散的情绪,一个典型的方法是搜索所有可能的脑电图频道,谱带,时间片段的一组特性最大化情感状态估计的准确性。这种方法采用贪婪搜索与监督学习方法,经常导致每个人不同的最优特性集。subject-by-subject可变性来克服这个问题,高阶交叉(HOC)分析开发实现一个user-independent情感识别系统(70年]。的分析旨在发现脑电图特征对六个情感特征,包括惊讶、厌恶,愤怒,恐惧,快乐,悲伤70年]。给出的模型为: 的简化版本的功能,从高通滤波的零交点数,标准化的脑电时间序列。零交点表明事件的信号幅度与极性的变化经过零位线。零交点计数通常代表振荡特性比光谱更强劲的力量。一个向量的构造简单的控制功能与情感有关。更高的价值意味着减少歧视的简单的,因为不同的进程可以产生几乎相同。用0和1表示一个二进制时间序列:在时间在哪里如果过滤信号的振幅是负的否则。表示时间序列的长度。脑电图特征向量定义为由多个简单的(70年]。从脑电图提取情感特性的计算方法总结表2。
3.2。情感分类方法
脑电图特征向量可以推断提供了观察的一种情感状态。通常,分类器已被用于解码特征向量为一个可能的情绪状态。许多分类方法已经使用了情绪状态估计,包括判别分析(DA),支持向量机(SVM),再(事例),和距离(MD)的基础方法。DA进行降维的高维特征空间到低维空间,目的是最大化Fisher判别率,类间散射,在类散射,,(42,71年- - - - - -76年]。 一个更大的值表示更大的类之间的分离。低维空间的维数不同的类的数量- 1。
SVM来源于DA但决定决定边界在内核空间而不是原始特征空间。支持向量机找到一个最优超平面,,hypermargin决策边界的特征空间使用监督学习方法。分类器将一个新的输入特征向量使用给出的分类规则 在这里,表示一组支持向量,用于确定最大利润超平面,和表示核函数的支持向量机分类器。表示一个偏移量参数,训练的输入向量,非零重量在每个支持向量(7,77年- - - - - -80年]。提出了各种核函数如高斯函数或多项式。支持向量机提供好普遍性非线性特征空间的优势。
事例的算法决定了一项新功能的类向量的数量根据最近的训练集的向量周围的一个新特性向量(73年,81年]。k是一个参数确定包围边界。事例的算法取决于如何定义一个特征向量之间的距离,这是受到的诅咒影响维度(81年,82年]。
MD-based方法,已广泛应用于聚类分析,不仅对距离,但也与相关系数和标准差(83年,84年]: 和表明协方差矩阵的逆和均值向量类的,分别。MD收敛于欧几里得距离当协方差矩阵的特征向量识别矩阵(84年]。基本上,当一个新的特征向量到达时,MD-based分类器比较每个类的距离向量使用MD和选择距离最小的类。分类方法已经使用了情绪状态评估表进行了总结2。
4所示。生成模型在线跟踪的情绪状态
如前所述,大多数计算模型评估情绪状态都集中在离散状态空间和脑电图分类特性的有限数量的情绪状态。这种方法通常适合的情况下静态确定这情绪是由给定的刺激。然而,网上情感识别系统的发展,连续跟踪的情绪状态可能发挥重要作用,当前的方法可能是次优的,因为他们不考虑时间动力学的情绪状态。当前方法的另一个缺点源于他们的直接建模框架。在这个框架构建一个直接投入产出模型从观察脑电图信号映射到的情感状态。虽然这个框架可以提供一个合理的解决方案的目的只是为了提高分类精度,它不利用先验信息的情绪状态以及动力学的情绪状态。这些缺点使其难以获得有用的见解情感的神经机制。同时,通常需要结合先验信息中的情绪状态的动力学模型,特别是随着时间的推移不断跟踪情绪状态。
为了解决这些问题,我们提出一个计算建模方法的基础上生成建模框架(85年- - - - - -87年]。我们的方法侧重于跟踪情绪状态的变化随着时间的推移从脑电图信号。在这种方法中,生成模型描述了EEG信号是如何产生一个隐藏的情绪状态。另外,之前的模式解释了情绪状态如何随时间变化而变化。集成这两个模型,我们推断出最有可能的情绪状态从一个观察脑电图信号。生成和直接模型之间的差异可以说明在一个目标是估计的概率观情绪状态变量的条件概率脑电图尽可能准确地观察。假设一个随机向量表示隐藏情绪状态和一个随机向量表示观察脑电图数据(例如,一个脑电图特征向量)。一个旨在优化评估模型参数设置,下列条件概率: 直接模型形式功能关系来与一个函数的参数集, 在哪里是一个残余向量。在许多情况下,残余向量都要遵循的高斯分布。参数估计的可以通过许多标准的解决方案,如最大似然(88年]。另一方面,一个生成模型使用最大后验(MAP)或条件概率的贝叶斯推理估计, 在哪里代表一个代表的积分常数。后预计的产品吗,观察的可能性给定一个状态,之前的状态。参数设置用于模型生成关系的来。脑电图的情绪状态的关联,可能描述了EEG信号是如何产生一种情感状态,之前描述每个情绪状态的概率,和情绪状态的描述后最有可能引发EEG信号。
在这里,我们扩展这个生成方法考虑的时间动态的情感状态。我们使用序贯贝叶斯推理从脑电图信号跟踪时变的情绪状态89年]。为此,我们首先假设情绪状态是定义在一个连续的空间。连续状态空间的一个例子包括两个情感维度,如价和兴奋。价维度范围从负到积极的价值观。唤醒维度范围从低到高唤醒水平。一个关键点是情绪状态变化在一个连续的空间,而不是改变离散值之间。这并不意味着我们需要一个显式的情感分配给每一个可能的情绪状态空间。一个特定的状态空间的面积或体积可以代表的是单一的情感。
然后生成模型是制定如下。让是一个情感状态向量和一个脑电图信号向量时即时。包含一组情绪状态变量(例如,,在那里价维度,是唤醒维度,主导地位维度)。包含一组脑电图特征选择与情感的力量(例如,某些频段选择通道)。模型的目标是找到最可能的情绪状态给出一系列的观察从一开始,(假设观察开始)。后形成 后可以写成一个递归方程, 注意的可能性,,只取决于当前时间。之前,,代表状态转换来,假设一阶马尔可夫过程。情绪状态的动力学是嵌入在前,而EEG特征的生成过程的情绪状态是模仿的可能性。积分可以通过一系列的近似计算方法不同的模型假设(89年]。
因为这个近似依赖后的递归,推理的情绪状态从脑电图信号操作顺序。这个属性可以使我们的模型适合连续跟踪情绪状态的目的。事实上,序贯贝叶斯推理模型(或称为贝叶斯过滤器)已经广泛采用了许多神经工程学研究(例如,看到90年- - - - - -94年])。我们的模型可以提供一个有效的在线情感意识到计算方式,尤其是当我们需要记录脑电图测量的情绪状态的变化不断随着时间的推移,例如,跟踪情绪变化而主题是看电影95年]。
5。讨论
在本文中,我们综述了用于情感状态估计的计算方法。我们首先简要概述了脑电图关联的情感。然后,我们重新计算方法提取脑电特征与连续和离散的情绪状态有关。我们还描述了分类方法来区分一个特定的情绪状态从脑电图特征。最后,我们提出了一个计算方法的基础上生成的建模框架,可能适合跟踪情绪状态随着时间的推移。这些情绪状态估计计算方法将作为实用的在线情感识别系统的一个关键元素情感计算。
而情感计算吸引了关注与承诺在人机交互领域开发一种新颖的用户界面,计算方法估计的发展情绪状态仍然需要进一步的理解情感过程和他们的神经生理基质96年]。特别是情绪状态的估计带来的人类脑电图只与一个相对简单的分类问题几个离散的情绪。情绪状态实时跟踪系统的发展需要更严格的定义的情感状态空间适合评估模型。
探索情感的脑电图特征可以跨越广泛的情绪状态空间或区域代表不同的离散的情绪应该继续。这样的调查可能需要克服许多现有的挑战。特别是,找到这样的脑电图特征不变的情感在个人很重要对于一般情感识别系统(69年]。随着emotion-related特性在额EEG信号,主要发现在线算法克服了眼球运动工件应不断开发(97年- - - - - -99年]。也将以脑波图为基础的情感识别系统的普通用户将需要一个简单而有效的脑电图传感器。新的脑电图传感器应该满足一些条件,如稳定的信号噪声比(信噪比),减少噪声引起的头发,优化活动干电极,多通道无线通信的发展,和维护质量的脑电图信号在很长一段(One hundred.- - - - - -103年]。许多先前的研究估计,情绪状态通过分析EEG应对特定的情绪刺激。然而,这emotion-induction范式有限制,EEG信号可以通过刺激属性调制与情感无关(21]。因此,一个计算模型,可以预测情绪状态与真实世界的应用程序可能需要不同的刺激。
情绪状态的计算方法来估计可能会进一步提高计算模型的发展。首先,一个模型,可以将脑电图信号的动力学与认知情绪的动力学过程提供依据构建小说情感状态估计方法。当前的方法只有捕捉静态属性在脑电图模式对情绪刺激的反应。如果新模型可以拥抱的时间动态情感信息处理在人类认知系统,找到脑电图关联的动态属性,它将估计更精确的情绪状态。第二,追求小说脑电图签名应该追求的情感状态。特别是互动属性之间的EEG信号如cross-frequency耦合和有效连接模式可能值得探索寻找新奇的脑电图与情感。第三,从高维emotion-related信息推理和非线性脑电图数据提出了一个有趣的问题来开发和应用先进的机器学习算法。到目前为止,只有一些基本的学习算法已经应用情感状态估计,但情感识别可能会受益于更高级的统计学习和模式识别算法。这些进步,我们预见到情感的计算模型估计在未来的消费设备将发挥关键作用。不久之后,他们可以通过估计带来意外的设备用户的情绪状态在不干扰自然和方式。
利益冲突
作者宣称没有利益冲突。
确认
这项工作是由韩国国家研究基金会(NRF)由韩国政府拨款资助(2012047239和2012047239)和由三星电子格兰特(R1210241)。