本文提出了一种基于直接测量情感障碍的抑郁识别方法。首先,视觉情绪刺激用于获得与心情直接相关的眼球运动行为信号和生理信号。然后,为了消除噪声和冗余信息并获得更好的分类功能,统计方法(FDR校正<我Talic> T-最后,在特征提取的基础上,采用核极限学习机(KELM)进行特征提取结果表明,一方面,基于眼动行为和生理信号融合特征的分类性能优于基于单一行为特征和单一生理特征的分类性能;另一方面,与以往的方法相比,本文提出的分类性能更好本研究对于建立一套适合临床应用的抑郁症自动诊断系统具有重要的参考价值。
抑郁症是一种精神疾病,其特征是明显而持久的快乐丧失、快感缺乏和兴趣减退。到目前为止,还没有发现用于诊断抑郁症的特异性生物标志物。因此,在临床中,抑郁症的诊断主要是由精神病医生根据诊断手册(如DSM-IV)进行结构化访谈。随着人工智能技术的发展,基于机器学习的模式识别技术在抑郁症的识别或诊断中得到了广泛的研究。
目前,基于静息态fMRI脑图像信号的抑郁症分类研究较多。例如,Cao等通过特征选择和支持向量机对静息态fMRI的功能连接对重度抑郁症患者进行分类,获得84.21%的分类准确率[
除了使用FMRI信号识别抑郁外,近年来,基于EEG的抑郁识别也已被广泛研究。例如,Liao等人。使用SVM根据静息状态EEG信号对严重的抑郁症患者进行分类,获得80%的分类精度[
与EEG和fMRI的信号进行比较,如表达和语音行为数据比较容易获得。因此,大量的研究已经基于行为数据抑郁症分类的方法来完成。例如,Valstar等。使用线性SVM随机梯度下降到基于视频表达,音频和多模态分类抑郁症,和F1评分分别为0.583,0.889,和0.467,[
除了使用单一的生理或行为信号进行抑郁分类外,许多研究还具有基于多模式数据的抑郁症。例如,Zhao等人。使用休息状态FMRI和DTI的多峰数据进行分类,精度为80.95%[
与EEG / FMRI相比,行为信号更容易从分类信号源收集和低成本。因此,基于行为信号和深度学习方法的抑郁识别方法引起了研究人员的注意。但是,无论是生理信号(FMRI,EEG)还是行为信号(表达,语音等),这些信号的共同特征都是在个人的自然状态下获取的;例如,当个人处于闭合眼睛的状态时,休息状态EEG和FMRI信号都是获取的,并且不思考任何内容。诸如表达式和声音的行为信号是访谈期间获得的自然状态信号(通常使用虚拟代理)。也就是说,目前,在自然状态中收集的分类信号与情感障碍直接相关,但无情感障碍的间接测量。然而,抑郁症患者的核心症状低,心情不好是由情绪损伤引起的,因此通过直接测量情绪获得的信号对抑郁症识别的研究具有很大的价值。
眼动技术开辟了抑郁症的自动检测的研究提供了新途径。眼睛是心灵的窗口,为人类直接观察世界的重要器官。眼球运动信号,如凝视的对象,凝视时间,凝视移,瞳孔大小,眼动追踪技术获得的,是大脑的信息处理需求的所有直接反射并能定量表征感知情绪。因此,眼球运动信号是情绪状态的直接测量。Alghowinem等人,首先基于由情感语言刺激获得的30名抑郁症患者和30名正常的人进行分类的眼睛运动功能(水平,垂直,和眼睑运动),所取得的分类精度的75%,通过使用高斯混合模型,并SVM [
许多以前的眼动研究表明,一方面,抑郁症患者倾向于有情绪注意偏差[
在这项研究中,二种分类特征是从当不同的情绪图片诱发直接关系到情感眼球运动信号中提取的:一个是注意偏向得分[
此外,分类模型的性能直接影响分类结果。本研究收集的数据为表格数据,数据规模较小,不适合深度学习方法。对于相对较小的数据,支持向量机采用次最优解学习方法,而极限学习机(ELM) [
数据收集中有96名参与者,包括48名抑郁症患者和48名正常人。从国际标准表达式库中,NimStim集[
数据采集任务分为两类:一类是眼球运动行为的信号,即,获取当参与者观看正或负的偏压任务各注视点的位置和时间。正偏压任务是由快乐和中性表情图片36,而负偏压任务是由和悲伤表情的照片36。数字
当抑郁的患者视图(a)正偏置任务和(b)负偏置任务时,眼球运动的示例。每个圆形表示凝视点,其尺寸表示固定时间的长度。
另一种是眼球运动生理信号(瞳孔直径)获取,即参与者在观看积极、消极或中性任务时,每个注视点产生的瞳孔直径大小。正面任务包括两张快乐表情图片(共36张),负面任务包括两张悲伤表情图片(共36张),中性任务包括两张中性表情图片(共36张),如图所示
当抑郁的患者视图(a)正任务时,(b)负任务和(c)中立任务时,眼球运动的示例。每个圆形表示凝视点,其尺寸表示固定时间的长度。
眼睛跟踪装置TOBII T120用于以120Hz的频率收集和记录每个固定点的位置,时间和瞳孔尺寸。如图所示
数据采集过程。
首先,眼球运动行为和生理功能均按照所收集的行为数据和眼睛运动的生理数据进行计算。
情绪注意偏差包括正向偏差和负向偏差[
情感带宽包括积极情感带宽和负面情感带宽。虽然瞳孔大小受到外部情绪刺激的影响,但每个人的瞳孔大小不同,也是光,心理负荷等的影响。因此,使用单个瞳孔尺寸不能简单地表达情绪的效果。在这里,情感带宽[
通过计算“中性”任务中所有注视点的平均瞳孔直径,可以得出积极情感带宽
同时,用“中性”任务中的平均瞳孔直径作为基线,计算正瞳孔直径和阴性瞳孔直径的变化率。
在此基础上,计算每个眼睛运动行为特征的统计指标(积极注意偏见和负面注意偏见)和每种眼睛运动生理特征(正/负面情感带宽,正/阴性瞳孔直径变化率),包括最小,更低四分位数,中值,高分子,最大,平均值和标准偏差。这构成了42个分类特征,包括14个行为特征和28个眼球的生理特征,如表所示
42个分类特征组间差异分析(FDR校正)<我Talic> T-测试)。
| 最低限度 | 下四分位数 | 中值的 | 上四分位数 | 最大值 | 意思 | 标准偏差 | |
|---|---|---|---|---|---|---|---|
| 正偏压 | -1.47 | 1.73 | 5.71<我nline-formula>
|
7.59<我nline-formula>
|
6.58<我nline-formula>
|
6.00<我nline-formula>
|
6.30.<我nline-formula>
|
| 负偏倚 | −5.45<我nline-formula>
|
−6.99<我nline-formula>
|
−8.25<我nline-formula>
|
−8.3<我nline-formula>
|
−8.25<我nline-formula>
|
−8.15<我nline-formula>
|
-0.10 |
| 积极情感的带宽 | 6.50<我nline-formula>
|
6.49<我nline-formula>
|
5.74<我nline-formula>
|
4.68<我nline-formula>
|
3.32<我nline-formula>
|
5.97<我nline-formula>
|
-2.06 |
| 消极情感的带宽 | 1.63 | 1.03 | 0.62 | 0.14 | -1.02 | 0.50 | -2.60<我nline-formula>
|
| 正瞳孔直径变化率 | 6.49<我nline-formula>
|
6.95<我nline-formula>
|
6.21<我nline-formula>
|
5.44<我nline-formula>
|
4.17<我nline-formula>
|
6.70<我nline-formula>
|
−1.14 |
| 负瞳孔直径变化率 | 1.64 | 1.25 | 1.02 | 0.63 | −0.24 | 0.92 | -1.47 |
由于眼球运动特征中可能存在无关和冗余信息,因此在标准化之后进行维度降低。这里,特征选择和特征提取用于完成维度减少。
特征选择就是从所有特征中选择一个对分类有效的特征子集。这里,罗斯福纠正道<我Talic>
T-test来分析是否存在抑郁组和健康对照组之间的差异显著(<我nline-formula>
表中24个所选功能的位置
通过特征选择得到的24个特征可能存在冗余,即特征之间可能存在相关性,因此需要进行特征提取。
为了确定功能之间是否存在冗余信息,我们使用Pearson相关系数来计算这些特征之间的相关性。计算公式如下:
行为特征与生理特征的相关性如图所示
相关性分析选择的特征之间:(1)行为特征;(b)的生理功能。
为了消除冗余信息,进一步降低特征的维数,采用主成分分析(PCA)进行特征提取,分别对行为特征和生理特征进行PCA处理
PCA处理后的单方差和累积方差贡献率:(a)行为特征;(b)的生理功能。
极限学习机的输出函数为
内核极端学习机(KELM)介绍基于ELM的内核功能,解决了低维空间不可分割的问题。内核函数定义为
Kelm的最终输出功能是
由于RBF核函数具有学习能力强、需优化参数少的优点,本文采用RBF核函数,如下式所示:
参与人数为96人(48名正常人和48名抑郁症患者)。模型的训练过程采用10倍交叉验证。将训练集随机分成10个大小相同的不相交子集,其中9个子集作为训练集,其余的子集作为验证集。依次训练10个模型,计算10个模型上测试集分类结果的平均值。
在本节中,抑郁的患者组被视为正类,而正常对照组被视为负类。结果分析了四个方面:准确性,特异性,敏感性和F1分数。其中,准确性反映了模型与正常人抑郁患者区分抑郁症患者的能力,敏感性反映了抑郁症患者正确分类的比例,特异性反映了正确分类的正常人员的比例,而F1得分考虑到精度和精度回忆分类模型。
特征选择是在交叉验证折叠内执行的,以使分类算法更加强大。要做这个,顶部<我Talic> KPCA功能(<我Talic> K(小于或等于主成分分析特征个数)作为分类特征,采用10倍交叉验证方法对模型进行训练。最后,根据分类精度从多个PCA特征子集中选择最优特征子集。
数字
不同PCA特征子集的分类准确率:(a)行为特征;(b)的生理功能。PCA ~ m代表PCA1 + PCA2 +…+ PCAm。
基于眼球运动行为信号,生理信号及其融合信号的特征的分类结果如图所示
不同信号功能的分类结果。beh。代表眼球运动行为信号;phy。代表眼球运动生理信号;BEG。+ PHY。代表眼球运动行为和生理信号的融合特征。
桌子
基于眼运动信号的抑郁分类方法比较。
| 精度(%) | 灵敏度 (%) | 特异性(%) | F1 (%) | |
|---|---|---|---|---|
| 参考 [ |
— | 75. | — | — |
| 参考 [ |
80.1. | 81.1. | — | — |
| 建议的 |
|
|
|
|
桌子
与其他基于融合信号的降压分类方法进行了比较。
| 精度(%) | 灵敏度 (%) | 特异性(%) | F1 (%) | |
|---|---|---|---|---|
| 参考 [ |
80.95 | 72.73. | 90. | — |
| 参考 [ |
— | 66.7 | — | 57.1 |
| 参考 [ |
— | 83. | — | 77. |
| 参考 [ |
— | 83.3 | 82.6 | — |
| 建议的 |
|
|
|
|
我们还比较了不同分类模型对分类结果的影响,如表所示
基于融合信号(行为和生理)和不同分类模型的抑郁症分类方法比较。
| 精度(%) | 灵敏度 (%) | 特异性(%) | F1 (%) | |
|---|---|---|---|---|
| SVM | 88.95 | 90.48 | 88.23 | 87.86 |
| KNN | 90.21 | 90.74 | 90.60 | 89.56 |
| 随机森林 |
|
|
90.96 | 90.78 |
| 凯尔姆 | 91.00 | 91.06 |
|
|
从表中分类结果的比较
鉴于缺乏与当前研究抑郁症研究中的情感障碍有关的生理和行为信号,本文基于基于凝视行为的情感带宽和瞳孔直径和注意力偏置信号的变化设计和提取生理信号。统计FDR纠正<我Talic> T利用-test和PCA进行特征选择和特征提取,消除眼动行为和生理信号中的噪声和冗余信息。KELM分类器基于行为特征、生理特征以及行为与生理特征融合对抑郁症进行分类。结果表明,行为特征和生理特征是抑郁症的主要特征,融合特征提高了抑郁症的分类性能。
此外,我们还使用了其他分类器(SVM、KNN和随机森林),基于眼动行为和生理信号的融合特征对抑郁症进行分类。结果表明,随机森林模型也取得了满意的分类结果。
由于这些数据与患者和健康主体的个人,私人信息有关,因此有道德限制。本文提到的所有原始数据将根据要求提供给相应的作者。
作者声明他们没有利益冲突。
李密、曹磊、翟黔等人都对这项工作做出了贡献。
中国国家自然科学基金(61602017)是中国国家基础研究计划(2014CB744600),“RIXIN科学家”基金会的支持,北京理工大学(2017年 - RX(1)-03),北京自然科学基金会(4164080),北京优秀人才培训基金会(2014000020124CC039),国家自然科学基金(61420106005),中国国际科技合作计划(2013DFA32180),北京市科技专项基金Commission (Z171100000117004), the Beijing Hospitals Authority Youth Programme (QML20181904), the Beijing Municipal Administration of Hospitals Clinical Medicine Development of Special Funding Support (ZYLX201607), and the Beijing Municipal Administration of Hospitals’ Ascent Plan (DFL20151801).