文摘

帕金森病(PD)患者表现出减少的自发的面部表情,可以指定为“面部掩蔽,面部肌肉变硬的一种症状。改善面部表现性PD的临床评估,这项工作试图量化动态面部表达能力(PD的面部活动)通过自动识别面部动作单元(au)和评估他们的强度。自发的面部表现性评估通过比较7 PD患者8控制参与者。自愿自发产生相似的面部表情通常引发的情绪,六个情绪(娱乐、悲伤、愤怒、厌恶、惊讶、恐惧)是使用电影片段引起。在影片剪辑,生理信号(面部肌电图(EMG)和心电图(ECG)和额面临参与者记录的视频。参与者被要求报告他们的情绪状态在整个实验过程。我们首先检查情感操纵的有效性通过评估参与者的自我报告。Disgust-induced情绪明显高于其他情绪。因此我们专注于记录数据的分析在看恶心的电影片段。拟议的面部表现性评价方法捕捉面部表达能力差异PD患者和控制。 Also differences between PD patients with different progression of Parkinson’s disease have been observed.

1。介绍

的表现之一帕金森病(PD)是面部的逐渐丧失流动性和“面具一样”外观。Katsikitis和Pilowsky (1988) [1)表示,PD患者评为表达显著低于失语症患者和对照组,在一个任务,用来评估自发的面部表情。此外,PD患者的自发的微笑往往被认为的那样“无动于中,”,因为缺乏相应的脸颊提出(2]。雅各布斯et al。3)证实,PD患者显示减少情绪面部表情强度比控制。为了评估面部表现性,大多数研究依赖于主观隐含的编码人员,在上述研究。Tickle-Degnen和里昂4)发现,减少面部表达能力与自我报告的PD患者以及统一帕金森病评定量表(UPDRS) [5]。PD患者,谁认为他们从脸部表达情感的能力受到严重影响,并证明减少面部表达能力。

在本文中,我们调查的自动测量面部表达能力从视频记录PD患者和控制人口。我们最好的知识,在实际的研究中,很少有尝试为设计一个基于计算机的PD患者的面部表现度的定量分析。分析帕金森病是否会影响面部的自愿表达情感,鲍尔斯et al。6]录像PD患者和健康控制参与者而他们自愿的面部表情(快乐、悲伤、恐惧、愤怒、厌恶、和意外)。在他们的方法中,面部动作变化的数量和时机都被评估的量化熵的分数随着时间的推移绘制。像素强度变化的熵是衡量期间,发生在脸上的表情。也计算表达式时间达到峰值的熵值的每一个审判。使用这两种措施,作者证明了熵和时间,更少的运动发生在PD患者的脸当他们被要求模拟目标表达相对于控制。

尽管它好的结果,上面描述的面部动作并不直接与测量面部肌肉活动。事实上,面部表情是由面部肌肉的收缩,导致微妙的变化在眼睑的面积,眉毛,鼻子,嘴唇,皮肤纹理,通常揭示了皱纹和凸起。衡量这些微妙的变化,埃克曼和弗瑞森7)开发了面部动作编码系统(流式细胞仪)。流式细胞仪是一种human-observer-based系统旨在检测面部特征并描述了面部表情的细微变化行动单元(au)。来自解剖相关特定的面部肌肉的收缩。他们可以单独发生,也可以在组合。西蒙斯等人在2)使用流式细胞仪分析面部表现性的PD患者和控制。在他们的研究中,被用作一种气味诱导面部表情。认证的流式细胞仪程序员带注释的面部表情。总面部活动(组织)措施,估计显示来自的总数,被用来评估面部表情。作者证明了组织测量显示与控制相比,PD患者减少了反应的面部活动水平不愉快的气味。

估计的数量只显示来自不完全捕捉面部掩盖存在的维度在PD和定义的人际沟通评级协议帕金森病版本(ICRP-IEB) (9]。ICRP-IEB面部表达能力是基于流式细胞仪。它定义了表现性的(我)频率,即频率发生行为或运动,(2)持续时间,也就是说,一个行为或运动能持续多久,(3)强度或学位的力量,力量,或水平/数量的情感或运动。

在这项研究中,我们提出一个系统,(i)自动检测人脸视频,(ii)编码对11个行动单位每一帧,和(3)估计的面部表现度函数频率,持续时间和强度的澳大利亚。虽然已经有大量文献表情和动作单元自动识别,它仍然是一个活跃的研究领域,由于具有挑战性的问题的性质(10]。此外,在非盟检测相比,有稀缺的文学工作在非盟强度评估。拟议的面部表现度的输出量利用以前开发的非盟自动识别系统(11基于支持向量机(SVM)和演算法。确定非盟强度,由此产生的非盟距离测量,从非盟支持向量机分类器,映射到使用普拉特缩放算法概率的估计。普拉特缩放(12)是指一种技术,通过该技术score-to-probability校准曲线计算使用训练集。然后使用帧强度测量估计动态面部表情由人类以前的编码。

2。方法

2.1。试点研究

我们的研究旨在量化PD患者的面部表现度动力学。因此,收集有用的定性情感数据是面部的基本步骤分析前的行为。自愿自发产生相似的面部表情通常引发的情感,在我们的研究中,六个情绪(娱乐、悲伤、愤怒、厌恶、惊讶、恐惧)是使用电影片段引起。在影片剪辑,生理信号和额面临参与者记录的视频。15个参与者,7 PD患者和8健康控制人员,参加了试点研究。每部电影后,参与者被要求评价他们经历的主导情绪强度在看影片剪辑。参与者的自我报告的评估表明,disgust-induced情绪显著高于其他情绪。因此我们专注于记录数据的分析在看恶心的电影片段。

2.2。情感感应协议

基于研究和Levenson总值的13哈格曼],et al。14],Lisetti和Nasoz [15),Hewig et al。16),Westerink et al。17],Schaefer et al。18),我们由一组影片剪辑(19]。对于每个情感(娱乐、悲伤、愤怒、厌恶、惊讶、恐惧、和中性)使用两个摘录,表中列出1。在续集中,我们将参考移动视频 ; , 。例如,影片剪辑将表示为两个惊喜

使用的协议是描绘在图1。参与者被告知看2训练影片剪辑和14影片剪辑的表1。影片剪辑是随机显示,连续2的不同情绪。每次视频后参与者填写一份调查问卷(即。,self-report) with their emotion-feeling (amusement, sadness, anger, disgust, surprise, fear, and neutral) and rated the strength of their responses using a 7-point scale.

数据记录发生在sound-isolated实验室标准化的照明条件。观看了影片剪辑参与者坐在沙发上,正面临一个屏幕尺寸1.25米(见图1.252)。

2.3。参与者

这初步研究认为七PD患者(3男4女,47岁和76年之间,时间的PD范围从1.5到13年)和八个控制参与者(5男3女,27岁时和57年)之间。控制参与者招募VUB ETRO部门没有特定的特征。选择的PD患者的帮助下佛兰德帕金森联赛。委员会批准的这项研究是对人类的研究完成了各自的机构和按照《赫尔辛基宣言》。

基于医疗档案以及PD患者的反馈,我们定义了三种PD类别。一个病人有一种很轻的PD,因此被列为最严重的案例(LP)来表示。另一个病人最严重形式的PD整个集团(MP)。其余的PD患者坐落在这两个极端之间;我们通过中间PD (IP)表示。

2.4。数据采集

在影片剪辑,生理信号和额面临参与者记录的视频。我们生理信号记录肌电图(EMG)和心电图(ECG)。(即所有的数据通道。,EMG, ECG, and videotape) were synchronized.

心脏收缩的心电图测量活动。的物理作用引起的心脏是一个当地的周期性的电刺激,因此改变了1.0 - -2.0的潜力μV是衡量在一个心动周期两个表面之间的电极(20.]。心率(HR)和心率变异性(HRV)的心血管反应特性最常报道的情绪指标(21]。在这项研究中,512 Hz的心电图测量使用闪光。

肌电图测量肌肉张力和收缩的频率。在每一个时期的兴趣,均方根(RMS)和绝对平均值(lamv)是常用的功能22]。在这项研究中,两个测量面部肌肉,使用肌电图在2000赫兹生物第器ME6000,即提labii superioris(前)和眼轮匝肌(OO),如图3

参与者的正面面对视频记录为目的的量化面部表达能力。后(ICRP-IEB) [9),我们选择了11个行动单位(AU1、AU2 AU4, AU6, AU7, AU9, AU12, AU20, AU23, AU25,和AU27)中定义的41的流式细胞仪。表2列出了来自使用,及其相关的面部肌肉,以及定义的测量的肌电图。

我们的目的是开发一个nonobtrusive面部表现性评价方法通过自动识别面部动作单元(au)和估计的强度,心电图和肌电图数据已经包含在我们的实验协议定量评估情感操纵诱导面部表情和确认面部肌肉活动时表达厌恶的表情。作为我们的目标的目的不是生理研究帕金森面部肌电图的影响,只有在那和OO肌电图测定的互补信息视为来自(见表2)。

2.5。数据准备

是一种公认的实践代码的比例的观察或“薄片”记录的数据作为一个表示分析行为(23]。在我们的实验中,30年代数据(心电、肌电图和视频记录)提取被选中时,显示对应的最后30年代段视频剪辑。直观地说,人们可能会觉得长段的表达行为与PD会给人更多的信息,从而提高分析的准确性。然而,阿姆巴迪和罗森塔尔(24)发现,判断性能没有显著改善片与30年代片在使用5分钟。这也证实了25,26]。注意,基线数据也从刺激中选择中立的# 1。

2.6。生理数据处理

生理信号需要预处理特征提取之前,为了消除噪声,提高信噪比(信噪比)27,28]。在这项工作中,我们利用一个新开发的信号去噪方法基于经验模态分解(EMD) [8]。不同于最先进的方法(27- - - - - -33),我们的方法估计的噪声级固有模态函数(货币),而不是估计噪声水平的所有货币使用Donoho的策略34之前,使用阈值货币信号的重建。请参阅[8为更多的细节。图4说明了去噪结果。

2.6.1。心电图(ECG)

心率(HR)和心率变异性(HRV)的心血管反应特性最常报道作为情绪的指标(21]。人力资源是使用两个连续的时差计算检测QRS复合物(即R峰。RR间隔),表示在每分钟跳动。HRV beat-to-beat人力资源的变化。因此,提取人力资源和HRV的第一步是从R峰的精确检测QRS波群。因此QRS波群的检测,尤其是R峰值检测,是心电图的基础处理和分析。提出了很多方法R峰检测(35]。然而,它们中的大多数都是离线和针对无噪声信号,不满足许多实时应用的要求。为了克服这个问题,在8),我们提出了一个方法基于一个变化点检测(CPD)事件检测算法在时间序列36)最小化误差拟合的一个预定义的使用极大似然函数。在我们当前的实现程度的多项式拟合函数1已经选择的经验。结果见图的一个例子5检测所有R挑选(交叉)和一些无关紧要的变化点(圆),可以使用一个预先确定的阈值过滤掉。R峰检测后,人力资源与HRV特性估计是人力资源之间的差异(HRV)估计认为30年代的窗口(刺激)和一个中立的30年代的估计。

2.6.2。肌电图(EMG)

绝对平均值(lamv)是最常用的功能识别肌肉收缩的强度(22,37),定义的长度, 的信号 如下: lamv的值被认为是30年代的窗户被表示为一个百分比的意思是振幅在30年代中立的基线。这个百分比分数计算标准化广泛不同的肌电图振幅的个体,从而使个人和团体之间的比较。

2.7。设计和统计分析

初步分析进行检查获得数据的有效性。

(1)操作检查。我们计算了描述性统计(平均值和标准偏差)的自我情感评级检查参与者的情感体验成功操作。然后,Wilcoxon等级之间的自我报告和测试进行比较组(PD控制)和两个片段之间的相同的情感。

(2)生理参数的分析。生理变量进行单变量显著差异,通过重复测量方差分析(方差分析),各组之间(PD与控制)和厌恶# 1,中性厌恶# 2,# 2兴奋剂。主题之间和受试组和刺激因素,分别。被认为具有统计显著性结果

2.8。面部动作单位认可

在这项研究中,我们使用一个自动面部动作识别系统开发单位在我们部门11]。这个系统允许环境独立识别下列行动单位:AU1, AU2, AU4, AU6, AU7, AU9, AU12, AU20, AU23 AU25, AU27。整体识别方案如图6

头部和面部特征是使用约束形状跟踪方法跟踪的38]。这种方法允许的自动检测头和一个形状模型的跟踪由83地标。后面部组件已经在每一帧,跟踪几何投影特性和外貌的功能组合和美联储的演算法(自适应提升)特征选择算法。最后,对于每个操作单元中,我们使用一个二进制支持向量机(SVM)与上下文无关的分类。我们的系统训练和测试在金et al . dfat - 504数据集(39]。的面部显示数据库包含486序列是由98名大学生从18岁到30岁,其中65%是女性。所有通过认证的流式细胞仪程序员序列注释,以中性的脸,开始和结束的顶点的表情。支持向量机(11)已被证明是强大的和健壮的工具为非盟分类。

一个测试样本(一个新的图像) 可以根据以下分类决策函数: 输出 的支持向量机是一个测试模式之间的距离测量和定义的分离超平面的支持向量。测试样本分类的积极类(非盟培训) 和分类的负类

不幸的是,我们不能直接使用支持向量机的输出概率。没有明确的与后类概率之间的关系 这个模式 属于类 。普拉特(12)拟合提出了这个概率估计的支持向量机的输出 乙状结肠函数如下: 的参数 被发现使用训练集的最大似然估计。上面的方程有一个映射范围

2.9。面部表达能力

在这个工作我们遵循的建议人际沟通评级协议帕金森病版本(ICRP-IEB) (9),善于表达,流式细胞仪的基础上,定义的(我)频率,即频率发生行为或运动,(2)持续时间,也就是说,一个行为或运动能持续多久,(3)强度或学位的力量,力量,或水平/数量的情感或运动。ICRP-IEB面部表现性是编码根据格式塔的强度/时间/频率程度7类型的面部表达行为(物品),描述了PDs的视频记录,使用5点李克特式量表:1 =低(没有运动或变化较低或罕见的),2 =相当低,3 =中等,4 =相当高,5 =高(非常频繁,非常活跃)。表3列表6 ICRP-IEB面部表现性的项目和相应的来自本研究估算中使用它们。最后一项活动相关的嘴闭包在演讲期间,并没有在我们的模型中使用,当参与者没有要求说在实验。

作为我们目前的非盟识别系统只考虑11来自(AU1、AU2 AU4, AU6, AU7, AU9, AU12, AU20, AU23, AU25,和AU27),我们没有考虑闪烁(AU45)在我们的面部表情。

ICRP-IEB的标准后,我们定义一个参与者的面部表现度如下: 在哪里 在厌恶中运动变化的数量和中性的面部表情,分别。 是显示来自在厌恶的强度和中性的面部表情,分别。

必须回忆说,所有这些估计只有认为30年代使用windows。的数量 分别指的频率和强度。在以下部分中给出详细的配方。为了评估的有效性提出制定我们还它下面的面部表情的定义相比,没有考虑中性情绪的基线。考虑以下:

(1)强度显示来自。它已被证明在40,学会了SVM分类器的输出幅度包含信息的表达强度。后来Savran et al。41]估计非盟强度水平,使用逻辑回归支持向量机的分数。在这项工作中,我们建议使用普拉特的概率,给出了(3),如行动单位强度框架 , , ,估计使用(3)。的 然后使用高斯滤波器平滑时间序列。我们表示 平滑值。图7情节,参与者,面部AU7平滑强度,也说明其不同时间片段中立,发病,顶点和抵消。

在定义非盟强度,强度显示来自在一个自愿的面部表情(厌恶或中性)给出 道在哪里显示的集合(认可)面部动作单位认为30年代窗口, 是一组帧在哪里 是积极的, 的红衣主教 ,在帧的数量 是活跃的。

(2)运动变化的量。运动变化的数量在一个自愿的面部表情(厌恶或中性)给出 道, , 如上定义。

3所示。结果与讨论

3.1。操作检查

参与者的情绪被成功引起使用影片剪辑的厌恶。厌恶厌恶# 1和# 2,大多数参与者(14/15)自我报告的目标情绪作为他们的主导情绪。对于其他视频报道的情绪是:娱乐# 1(9/15),娱乐# 2(12/15),意外# 1(11/15),意外# 2(2/15),愤怒# 1(6/15),愤怒# 2(9/15),恐惧# 1(10/15),恐惧# 2(11/15),中性# 1(13/15),和中立的# 2 (13/15)。注释的视频记录,使用砧注释工具(42),进一步证实了影片剪辑厌恶诱导最可靠的情感数据。因此,对于进一步分析,我们决定只使用数据记录在看恶心的电影片段。

Wilcoxon等级和测试实现14个恶心的自我报告。结果表明,没有显著差异在自我厌恶之间的情感评级# 1 ( , )和厌恶# 2 ( , PD组之间)和( , )和对照组( , )。这就是我们期望因为韦森特et al。(43)也报道,PD患者在疾病的不同阶段没有明显不同于控制的自我情感体验影片剪辑。

3.2。单变量分析组的影响

肌电图数据从3参与者(1和2 PD控制)和心电图数据来自10个参与者(4和6 PD控制)被丢弃,因为不是由于传感器故障记录。在单一生理变量重复测量方差分析结果显示显著的主效应的小组活动前( , ),OO活动( , )、人力资源( , ), ( , )不存在。表4显示了控制和PD的描述性数据组在接触三个影片剪辑厌恶# 1,中性厌恶# 2,# 2的测试意义使用Wilcoxon排名和对比组测试。Wilcoxon等级显示和测试(1)比较的基线水平活动控制和PD组前和OO被发现;(2)虽然厌恶# 1引起更多的肌肉活动前和OO PD组对照组比,这种差异没有达到统计学意义;(3)厌恶# 2引起更多接拍的活动比PD控制。

这些结果表明,PD显示当表达厌恶那样的肌肉活动比控制。此外,厌恶# 2诱导更多的肌肉活动前和OO比厌恶# 1,与自我报告一致,可能是由于这样的事实,厌恶# 2比厌恶# 1更恶心。

3.3。单变量分析的刺激效果

在那,我们发现了一个刺激对肌肉活动的影响( , )。事后测试表明中性厌恶# 1和# 2之间的显著差异( )和中性厌恶# 2和# 2 ( )。厌恶# 1 ( , )和厌恶# 2 ( , 比中性# 2)引发了更多的肌肉活动( , )。这主要影响是合格的刺激 组互动( , ),这是符合Wilcoxon等级和测试的结果比较组之间的生理反应。

对于面向对象,我们还发现一个刺激对肌肉活动的影响( , )。事后测试表明之间的显著差异只有中性厌恶# 1和# 2 ( )。厌恶# 1 ( , 比中性# 2)引发了更多的肌肉活动( , )。没有明显的刺激 组交互效应( , )被发现。

我们预期,厌恶剪辑引发更多肌肉活动比中性夹在那,因为通常参与生产前的厌恶表情44]。OO也显著不同可能是由于以下几点:(1)串音(45),在那,彼此的OO躺在附近;(2)厌恶# 1引起不仅是一种厌恶,也有点搞笑的娱乐运动的性格和背景音乐,OO也参与生产娱乐的面部表情。

注意,厌恶# 2 ( , )引发了更多的肌肉活动比中性OO(因为相声)# 2 ( , );但是,与厌恶# 1,差异没有达到统计学意义(因为厌恶# 2没有引起娱乐),也可以解释。

此外,主要刺激对心脏的影响参数对人力资源( , )和HRV ( , )不存在,这是不符合我们预期:不变(46,47)或增加(48,49]人力资源和提高HRV [21,47]。这可能是由于这一事实,我们没有足够的记录心电图数据统计分析。

3.4。定性分析的面部表达能力

定性分析面部表现度我们使用的总面部活动组织措施(2,50被显示的总数),来自的刺激。与控制(C)相比,PD组(LP)、IP和MP)显示他们的面部活动的衰减(变量组织)在看恶心的电影片段(见下表5)。然而,类似的组织被发现在看中性的影片剪辑。

显示来自视觉检查,如图8,表明AU1 AU2 AU6, AU9,和C AU45发生更频繁,除了IP,产生更频繁AU6比C。一个可能的解释是,IP不能禁用AU6即使在中立状态。如图9,在中性状态,PD患者产生更多行动单位持续活跃,如AU4和AU25 (PD), AU6 (IP)和AU9 (MP)。此外,某些非盟组合被认为可能意味着“厌恶”的基础上,埃克曼和弗瑞森的描述的情感7]。“厌恶”来自被认为是眉毛的组合低(AU4),脸颊集中器(AU6),和鼻子皱(AU9)。因为脸颊饲养者很难产生对需求没有包括其他来自,尤其是盖子盖紧线器(AU7) [51),盖紧线器也是考虑;即预期的非盟的“厌恶”模式的组合AU4, AU6 AU7, AU9。符合我们的预期,C显示98年和87年“厌恶”帧而看厌恶厌恶# 1和# 2,分别。PD粘稠液体(LP)、IP和MP)没有显示任何“厌恶”框架,只对IP曾4帧在看厌恶# 1“厌恶”。此外,相当一些帧显示的IP组合的脸颊饲养者和盖紧线器在中立状态。相反,脸颊饲养者就显示(见图9),这表明IP患者面部肌肉的控制问题的组合。

定义的数量分析AMC、人工智能和铁使用来自活跃的部分,因为它可以从表5面部表达能力,控制C高于LP, IP,议员恶心状态期间,议员进行面部表现度最低。更具体地说,与C相比,PD (LP、IP和MP)较小的AMC的变量值,AI和铁在看恶心的电影片段,尤其是额头低(AU4),鼻子皱(AU9)和眨眼(AU45)。C倾向于显示出了相似的额头低强度(变量 ),大的方差(变量AMC和铁)。此外,C显示更高强度的鼻子皱在较大的方差。

3.5。定量分析的面部表达能力

10描述了面部表现度的值方程(5)的参与者。我们没有评估议员病人的面部表现度在厌恶# 2,当他的手放在他面前时实验。可以看出,C和PD患者存在显著的区别。C拿到了最高分而得分最低的是议员获得的病人。然而,IP病人的得分略高于LP,这是由于LP和IP表示“面部屏蔽”以不同的方式:LP病人显示面部运动的强度的衰减。相反,IP病人产生高强度的面部动作不仅在他的情绪状态,而且在中立状态;也就是说,他不能放松肌肉。为了考虑两种“面部屏蔽”,我们计算面部表达能力使用(4)。结果如图所示11。可以看到,该面部表达能力允许区分控制和PD患者。此外面部表达能力降低PD严重程度的增加。

4所示。结论

本研究调查了帕金森患者的面部掩蔽现象。我们设计了一个自动化的和客观的方法来评估PD患者的面部表达能力。该方法遵循的方法人际沟通评级协议帕金森病版本(ICRP-IEB) (9]。在这项研究中,基于面部动作编码系统(流式细胞仪),我们提出了一个方法,(i)自动检测人脸视频,(ii)编码对11个行动单位每一帧,和(3)估计的面部表现度函数频率,也就是说,来自发生频率,持续时间,也就是说,来自持续多久强度来自的力量。

虽然拟议的面部表现度评估方法一直在评估有限数量的主题,它允许捕捉面部表达能力差异控制参与者和帕金森症患者。此外,面部表达能力差异PD患者不同病程的帕金森病已经被评估。该方法可以捕获这些差异,给出一个更准确的评估用于帕金森氏症患者的面部表达能力比传统的基于观察者的评级的支持。这证明了我们的方法可以用于面部表现性PD的临床评估。事实上,非语言信号对人际沟通作出了重大贡献。面部表现性,非言语信息的主要来源,在帕金森病妥协。由此产生脱节的主观感受和客观的面部可以引导人们形成负面影响和不准确的印象PD患者对他们的人格,情感,和智慧。以客观的方式评估PD的面部表现度限制允许开发个性化治疗面部表现性PD中获益。事实上帕金森是一种进步的疾病,这意味着症状会恶化随着时间的推移。使用该评估方法将允许定期面部治疗师的表现性评价和临床医生探讨治疗方案。

未来的工作将(i)改善非盟识别系统和扩展到更多的来自和(2)考虑临床使用该方法在统计上显著的PD患者的人口。

利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作是由CSC-VUB奖学金(批准号2011629010)和VUB-interdisciplinary研究项目“物化评估人类情绪处理和表达的临床和心理治疗(EMO-App)的应用程序。”作者欣然承认佛兰德帕金森联盟支持当前的研究和PD患者的招聘。他们也承认Floriane Verbraeck实验的设置和数据采集。