复杂性 复杂性 1099 - 0526 1076 - 2787 Hindawi 10.1155 / 2021/5497081 5497081 研究文章 EEG-Based情感分类验证朝鲜情感影片剪辑与支持向量机(SVM) https://orcid.org/0000 - 0003 - 0505 - 5863 首歌ydF4y2Ba Guiyoung 1 金 Yaeri 2 Angelova 玛雅 1 部门的软件 世宗大学 209年Neungdong-Ro Gwangjin-Gu 首尔 韩国 sejong.ac.kr 2 数字营销部门 管理学院的 世宗网络大学 121年Gunja-Ro Gwangjin-Gu 05000年首尔 韩国 sjcu.ac.kr 2021年 9 9 2021年 2021年 9 5 2021年 9 8 2021年 23 8 2021年 9 9 2021年 2021年 版权©2021 Guiyoung儿子和Yaeri金。 这是一个开放的文章在知识共享归属许可下发布的,它允许无限制的使用,分布和繁殖在任何媒介,提供最初的工作是正确的引用。

情感在相互理解中扮演着关键角色自然沟通在日常生活中。脑电图(EEG)、基于情感分类、被广泛利用领域的跨学科研究,因为情感表达的客观性。本文旨在介绍朝鲜连续情感数据库和研究大脑活动在情感处理。此外,我们选择emotion-related渠道验证生成的数据库使用支持向量机(SVM)。首先,我们记录EEG信号,从28日主题,收集调查大脑活动在大脑区域在观看影片剪辑五情绪(愤怒、兴奋、恐惧、悲伤、幸福)和一个中立的状态。我们分析EEG原始信号调查emotion-related大脑区域并选择合适的emotion-related渠道使用跨频段光谱功率,即。α和β的乐队。因此,我们选择八通道设置,即AF3-AF4, F3-F4, F7-F8,大脑和P7-P8,从统计和地形分析。我们执行使用SVM的分类和实现最好的精度94.27%当利用选定的频道设置五个情绪。总之,我们提供一个基本的情感数据库反映韩国感受和不同的情感的证据申请扩大面积。

 教育部 韩国国家研究基金会 nrf - 2021 s1a5a8070305 1。介绍

情感是人类最重要的因素,在日常生活中起着至关重要的作用。与此同时,它提供了多样化的人类经验的信息。同样,人类和机器之间的情感互动日益关注的一个关键问题伴随着人工智能系统的最新发展。对于一个成功的情感分类的人类,这是最关键的一步来开发一种情感分类系统保证分类精度、鲁棒性与工件,和实际应用场景 1]。

在过去的几十年里,许多研究人员试图探讨生理信号,如脑电图(EEG)、心电图(ECG),皮肤温度(sk电讯)情感分类。生理信号提供更客观的和适当的信息代表情绪状态比脸和声音等行为反应( 2]。在这些生理信号,脑电图有各种好处,例如,很容易使用,高时间分辨率,和直接测量相对于其他信号( 3, 4]。出于这个原因,许多研究人员更喜欢情感分类使用脑电图信号实现可靠的输出响应的情绪状态( 5]。

然而,由于反应或更多的渠道一般记录脑电图(即原始信号,包括许多噪音。,body movement, muscle activity, and electrical power line), it is required to conduct the more sophisticated preprocessing and artifact removals. If raw EEG signals included many artifacts or are of low quality (e.g., noisy), we cannot achieve more stable results. To overcome these issues, it needs to implement good quality EEG signals throughout the sophisticated preprocessing steps ahead of emotion-related EEG feature extraction. As final outputs, we achieve reliable signals from raw EEG signals.

有几个脑电图情感数据库,即。情感分析、数据库(DEAP) [ 6)和大学建立情感脑电图数据集(种子) 7),是研究人员公开。他们曾经是申请情感分类基于情感理论,如埃克曼的离散模型 8)和罗素的circumplex模型( 9]。同时,这些数据库使用组成的情绪刺激他们的母语,英语和中文。社会因素,即。,languages and cultures, assisted in understanding the situated emotion and inducing more proper emotions when inducing emotional stimuli. In other words, when the emotion is elicited by humans using different languages, it is not enough to understand the appropriate feelings from humans in case of misunderstanding about the emotional stimuli from individuals. To collect the higher-quality emotion database, they are given to subjects to properly understand emotional situations reflected by specific social and cultural characteristics.

在本文中,我们介绍了使用韩国影片剪辑和脑电图情感数据库验证生成的数据库。向这个目的,我们记录脑电图信号由主题情感的刺激,这是选择通过观看韩国影片剪辑。生成的数据库已经在一系列的预处理措施验证数据库的特征提取。预处理脑电图数据提取特征相应的情感和调查emotion-related通道组,研究大脑的激活相关的情绪处理与统计分析。最后,我们进行情感分类使用支持向量机(SVM)和评估的分类精度验证生成的数据库。主要贡献如下:

因为它使得基于脑电图我们收集连续情感数据库,复制使用韩国影片剪辑。

我们进行验证生成的数据库使用机器学习的方法,支持向量机(SVM)。

2。相关的工作 2.1。情绪理论

许多不同的情绪状态已定义,从基本情绪结合社会情绪。这样的分类一般分为两种方法,即、离散和维方法 8, 9]。

一种方法是组织的主要情绪(例如,恐惧,悲伤,和幸福)匹配环境独特的参数,生理和行为。埃克曼的理论非常有影响力和他的面部表情作为一个离散模型的研究( 8]。他建议情绪理论和定义的六种基本情绪:悲伤、幸福、厌恶、愤怒、恐惧和惊讶。

另一种方法,维度模型,描述了足够的空间设计的有限数量的潜在维度罗素( 9]。他介绍了circumplex模型,根据二维空间划分。换句话说,他发现,情绪状态可以由价和唤醒水平。价范围从负面(或不愉快的)正面(或愉快的)定量解释情绪。如果价是针对高水平,这意味着一个令人愉快的分数,定义为积极的特征(例如,愉快,幸福,和快乐)。但是,低水平状态反向评分(如不愉快,悲伤,和压力)所定义的负面特征。唤醒范围从平静(或活动)活动(或兴奋)来描述情感强度测量。例如,激活(兴奋、愤怒)是针对高层兴奋;相反,低分数意味着不活动(无聊、悲伤)。

2.2。脑电图(EEG)

脑电图(EEG)的测量大脑电活动产生的。EEG信号记录同时通过多种渠道在头皮上网站。脑电图信号是有益的工具,有很高的时间分辨率,是易于使用,不是入侵。脑电图记录时,国际频道10 - 20体系通常是建议作为标准布局( 10]。

脑电图信号通常可以表示为信号功率在不同频谱的分布。大脑神经活动与各种生理状态和心理功能在不同的频段 11]。频带通常分为几个乐队δ,θ,α,β和γ基于神经活动。表 1显示脑电图信号的频带。δ(1 - 4赫兹),慢波,与深度睡眠有关,无意识的状态。θ(4 - 8 Hz)代表了睡眠和做梦,阿尔法8—13赫兹()与放松和没有意识,β(13-30 Hz)相关警报,思考,和积极的心理状态,γ(超过30 Hz)显示了超级大脑活动的节奏( 11]。

五个频段:δθ,α,β,γ。

频带 范围(赫兹) 心理活动
δ 1 - 4 慢波睡眠(深),婴儿
θ 4 - 8 睡眠和做梦
α 8日至13日 放松,但意识到
β 13-30 警惕,思考,积极的精神状态
γ > 30. 超级大脑活动

根据研究,它不同于几赫兹,开始和结束的。此外,大多数研究都集中在α和β频段有关情感处理。众所周知,阿尔法乐队反映注意处理,和大脑中β频带反映情感和认知处理对应之前的研究( 12, 13]。

2.3。Emotion-Related脑电图渠道

当涉及到情感,事实证明,有相关的大脑区域的每个主要的情绪。例如,幸福激活大脑的几个区域,包括正确的额叶皮质。左额叶皮层的激活区域的恐惧。悲伤与活动增加右枕叶( 14]。这实际上意味着情感体验与活动相关的大脑的某些区域。此外,当记录EEG信号,多个通道通常记录为两个或两个以上的超过256个频道。通道位于整个大脑区域;尤其是大部分渠道被放置在额叶,这是有关情绪处理( 15]。自从人类情感活动主要集中在额叶区域,许多研究人员专注于额叶发现因为它使得基于脑电图的关键渠道情感分类( 16- - - - - - 20.]。他们成立了额脑电图渠道揭示大脑信号中最突出的情感处理。它通常表明大脑活动的平衡在左和右额叶区域在情感处理情感的和被认为是一个可靠的指标,情感表达( 17]。

在以前的研究中,大部分的研究都是采用情绪处理后戴维森的模型( 16]。戴维森的模型描述,情感处理与左、右额叶之间的不对称或前额叶中表达一个α频段,即。(8 - 12 Hz。一些研究也显示左侧额叶脑区参与积极的情绪,而右额叶区域参与消极情绪( 18- - - - - - 20.]。可恩et al。 188—13赫兹)提出,α()不对称在额叶是完好的情感反应的措施之一。他们还表明,额叶的增加活动高于其他大脑区域。

同样,他们报告更高的频带(α,β)显著影响低频段(δθ)在情感分类。赵et al。 19]研究大脑活动在四情绪(娱乐、温柔、愤怒和恐惧)在看情感电影。他们代表F3-F4双额叶中发现阿尔法8—13赫兹()左派和右派之间的地区,在价信息预测。θ(4 - 8 Hz)唤起有关预测F3-F4频道。此外,Bos [ 20.)建议F3-F4双是最适合情感识别对价和唤醒水平。换句话说,Fpz检测是最好的渠道价水平α乐队(8 - 12 Hz),和F3, F4通道检测唤醒水平的最佳渠道在β频带(夫人赫兹)。总之,额叶扮演了一个至关重要的角色,在情感分类和主要演示了α和β频段在情感处理。

2.4。Emotion-Related脑电图分类

最近,许多研究人员试图利用机器学习方法分类情感如再(资讯)算法,支持向量机(SVM)和人工神经网络(ANN)。其中,支持向量机是比其他分类器更可取的有效性和准确性,然后,它普遍存在,用于情感分类( 21- - - - - - 25]。

郑et al。 21)进行情感识别使用微分熵(DE)特性和三个情绪(积极、中性和负面的)。他们介绍了四种类型4通道(FT7、FT8 T7、T8), 6频道(FT7、FT8 T7、T8、TP7和TP8), 9频道(FP1、FPZ FP2, FT7, FT8, T7, T8, TP7,和TP8),和12个频道(FT7、FT8 T7、T8、C5、C6, TP7, TP8, CP5, CP6, P7, P8),它实现了分类精度为82.88%,85.03%,84.02%,和86.65%,分别使用一个支持向量机分类器。结果,最好的精度是86.65%使用12频道,但他们提出的四个频道,因为82.88%的更稳定的结果。

根据穆哈马迪et al。 22),他们提出,F1和F2渠道额叶与情感分类的价和觉醒状态。他们使用四种情感类别进行分类(低唤醒/价低、唤醒/价高,高兴奋/价低,和兴奋/价高)与提取离散小波变换(DWT)。因此,他们从价达到最大精度为80.68%,仅使用两个额频道(Fp1和Fp2)。王等人。 24)提出了最优脑电图渠道使用价和唤起情感分类性能评价。他们用光谱图与归一化互信息作为特征选择(敝中断)。他们取得了价的平均精度为74.41%使用10频道(AF3、F7 FC5, P7, Pz, O2, P4, FP2, FC6,和P3) 73.64%,唤起使用7频道(P3, FC1 Pz,盎司,CP2, C4, F4,和Fz)使用支持向量机分类器。

此外,一些研究提出了情感分类使用更多细分的情感类别,即。、愤怒、快乐、悲伤等等。Yousaf et al。 25)进行情感分类四个情绪(愉快、悲伤、快乐、沮丧)。他们利用Higuchi作为特征提取和支持向量机的分形维数。他们比较了分类精度使用3 (AF3、F4和FC6)和8 (Fp1 Fp3, F3, F4, T3, T4, P3, P4)通道。因此,使用3通道的精度是59.17%,使用8频道是唤醒水平的87.62%。价水平的精度是68.39%,3通道为83.28%,8通道。此外,Valenzi et al。 23)进行情感分类四个情绪(高兴、厌恶、悲伤和中性)。从5个频段光谱功率,即。,delta, theta, alpha, beta, and gamma, the feature is extracted by the method of Short-Time Fourier Transform (STFT) from 8 channels (AF3, AF4, F3, F4, F7, F8, T7, and T8). They achieved the best accuracy of 87.5%. However, most of the studies mentioned above selected the channels as being randomly chosen or equally used to follow the previous studies [ 26, 27]。

因此,因为它使得基于脑电图研究人员进行情感分类与机器学习方法使用所有或部分选定的渠道。同时,他们没有考虑大脑活动,然后随机选择通道。例如,枕叶与大脑的视觉作用,与情感处理。此外,从两到四情绪情感类别使用先前的研究。因为情绪价和唤醒水平有不同的特点,对应的类别应该更加细分,价和兴奋。例如,愤怒和悲伤等于唤醒水平,但价不同,由人类行为表现和感觉也不同的反应。因此,它更需要情感类别分为更适当的情感分类的详细类别根据拉塞尔( 9和埃克曼等。 8情感模型。

 3所示。生成的韩国脑电图情感数据库 3.1。情绪刺激的选择

我们选择60电影从韩国电影列表的情绪刺激释放过去十年由韩国电影协会(KOFIC)。所有电影也是年级作为老少皆宜的影片(额定)和排除限制级。同时,电影被排除在具体场景包含许多可恶的场景,即。,用刀刺伤一个人,突然惊讶。该调查使用纸进行了两次问卷调查。二百名参与者进行了调查(调查:一百六十参与者,第二个调查:四十参与者,年龄从15岁到50)。关于调查的详细信息如表所示 2。

的详细的问卷调查,以选择情绪刺激。

调查 问题列表
1日调查(60电影海报) (1)你看过电影吗? (如果你没有看过电影,去下一个电影的海报) (2)你觉得这部电影怎么样? (当你看了电影) (3)情感可以通过这部电影你的感受是什么? (当你看了电影) (4)评估一个影片剪辑使用SAM价(5)评估一个影片剪辑使用SAM唤醒
2调查(24影片剪辑) (1)你看过电影吗? (如果你没有看过电影,去下一个电影的海报) (2)你觉得这部电影怎么样? (当你看了电影) (3)情感可以通过这部电影你的感受是什么? (当你看了电影) (4)评估一个影片剪辑使用SAM价(5)评估一个影片剪辑使用SAM唤醒(6)你能感到“目标情感”在这个影片剪辑? (目标情绪:愤怒、兴奋、恐惧、快乐、悲伤)

注意:(a)情绪刺激提取由一流的电影列表从韩国电影委员会(KOFIC) (2018)。(b)在第一次调查中,参与者没有看电影之前,去下一个问题。(c)自我评估人体模特(SAM)的规模从1(低)到9(非常高),规模5表示中立。

在第一次调查中,160名参与者被要求评价电影的感受,这是填写只有当他们从来没有见过。使用的评估标准是自我评估人体模特(山姆) 28, 29日)(见图 1)。

自我评估人体模特(SAM)改编与许可布拉德利( 28]。山姆措施快乐(a),离散范围内唤起(b)(1:很低,5:中性,9:非常高)。

在第二次调查中,40名学员不参与调查是谁要求观看影片剪辑后填写一份调查问卷。24影片剪辑准备4分钟评级使用维度模型根据第一调查。激发参与者的情绪状态,影片剪辑选择基于以下标准;(1)影片剪辑应该避免诱发多种情感,(2)影片剪辑应该理解参与者没有任何解释,和(3)影片剪辑应该引起一个有针对性的情感。

3.2。分析自我评估人体模特(SAM)

所有科目都要求相匹配的评估情感刺激目标情感或不是在每个实验在实验中使用的基本情感类别和山姆。

表 3提出了平均值(标准差)的自我评估维度模型(规模范围从1到9)。根据自我评估结果,幸福是最高的价级别( 米SD = 1.1) = 6.9,高于兴奋( 米= 5.5,SD = 1.17)。中性,价水平几乎是量表(中间 米= 4.7,SD = 1.15)。价水平增加了更积极的情感特点,即。、快乐、兴奋。此外,恐惧是最高的唤醒水平( 米= 7.6,SD = 0.88),但情绪之间的价是最低的。的成功引起了情绪刺激匹配维度模型。

平均值和标准偏差(SD)维度模型。

情感 价 唤醒
的意思是 SD 的意思是 SD
愤怒 6。9 1.07 6。5 1.17
兴奋 5.5 1.17 6。8 1.12
恐惧 2.8 1.16 7.6 0.88
幸福 6。9 1.11 6。0 1.13
悲伤 3所示。3 1.12 3所示。3 1.14
中性 4.3 1.15 4.5 1.44

注意:(1)测量:分数。(2)评分:1 =非常弱,5 =中立,9 =很强。

如图 2对情绪刺激的自我评估是评估所有科目。正确识别实现的平均值在84.92%有关情感刺激。比例最高的正确识别是一个中立国家为96.43%。悲伤的正确的情感反应率为87.16%,82.14%,兴奋,幸福,为83.10%和84.0%的恐惧。最低的情绪是愤怒的准确性为79.79%。这个结果与情感模型由埃克曼模型( 8]。最后,10个影片剪辑和情绪刺激如下(表确定 4);

愤怒:资深律师(2013),(2016)

兴奋:咆哮的电流(2014),小偷(2012)

恐惧:火车去釜山(2016 2剪辑)

幸福:阳光(2011),速度丑闻(2008)

悲伤:奇迹在细胞7号(2012),秘密大大(2013)

正确的目标识别情感:手段和标准偏差(SD)的情感识别精度(%)。中性的被公认为最好的精度,而愤怒是最糟糕的。

示例场景的影片剪辑。

情感 电影的场景
愤怒
律师(2013) 资深(2016)
兴奋
咆哮的屏幕(2014) 小偷(2012)
恐惧
火车去釜山(2016) 火车去釜山(2016)
幸福
阳光(2011) 速度丑闻(2008)
悲伤
在细胞没有奇迹。7 (2012) 秘密大大(2013)
中性
黑色屏幕crossmark 黑色屏幕crossmark

我们还增加了中性状态作为一种控制状态( 30., 31日]。黑色的屏幕上显示的中性状态与监控中心的十字标记。最后,十个影片剪辑和中性状态是用来记录脑电图诱发的情绪。在下一节中描述的集合EEG情感数据库。

 4所示。数据采集 4.1。道德声明

本研究的指导下进行使用人体机构审查委员会批准的延世大学(IRB)(批准号7001988 - 201807 -人力资源- 424 - 03)。所有受试者签署书面知情同意之前的实验,收到了30000韩元(26美元)。

4.2。主题

28健康受试者(13个男性和15个女性;年龄从20到35岁;意味着= 24.46;SD = 3.74),右撇子的人,参加了实验。所有受试者在延世大学研究生或本科生。他们之前也没有神经或精神疾病和正常视力或矫正视力正常。类似地,每个参与者都要求放弃咖啡因,烟草和酒精使用实验前24小时。

4.3。实验的程序

实验在延世大学执行在一个安静的房间。我们控制了声音和光线条件。参与者被要求坐在舒适的椅子前面的班长。实验介绍了监控。参与者正确理解指令后,按键盘上的任意键继续下一步。接下来,屏幕黑了5秒,先后情感影片剪辑被显示在监视器上。

实验过程如图 3。它由两个会话。每个会话包含6个试验,包括五个情感电影片段和一个中立的国家。一个试验包括以下。第一个屏幕暗了5秒钟,其次是情感的影片剪辑为240秒。看完影片剪辑后,受试者被要求使用山姆完成问卷关于他们的感受。在随后的试验开始之前,如果参与者不能放松或需要休息,他们花更多的时间稳定条件。它是反复六次处理直到完成第一次会议。在第一次会议结束后,他们休息一下并检查实验设备。第二个会话也进行了等于第一次会议,只改变情感的影片剪辑。 The total experiment is around 90 minutes with break times. The emotional movie clips were presented in a random order using a useful Psycho toolbox in the behavioral experiment [ 32]。当实验结束,受试者被要求完成总结调查问卷写情感感觉或整体实验。

实验过程(6×2次试验)。每个会话包含6试验;总共有12个试验记录为每个主题。每个试验以随机的顺序呈现,和一个会话持续了大约30分钟。

 4.4。脑电图记录和预处理

进行了脑电图记录Emotiv EPOC无线耳机(Neuro-sky Inc .)和14频道:AF3, AF4, F7, F8, F3, F4, FC5, FC6, T7, T8, P7, P8, O1、O2。通道被根据国际10 - 20系统和用作共同点参考(左和右乳突)。采样率为128 Hz,每个通道一直不到的迫切 5 k Ω 。

记录脑电图数据进行预处理步骤如下:通道位置,分割,re-reference和过滤。首先,原始EEG信号重新定义为设备通道的位置。原始数据分为12个试验分别在情感分类。提取分割后,每个数据从60秒到180秒使用更多的引起情绪反应。改变了原始的脑电图信号平均归一化,适用于平均值在所有频道。提取带通滤波器截止频率较低的0.1赫兹和更高的45赫兹截止频率,消除工件,包括眨眼睛,眼球运动,肌肉活动,和心脏的信号。

 5。脑电图数据分析 5.1。统计数据分析和结果

为验证生成的脑电图数据库,我们提取emotion-related脑电图特征。我们进行统计分析(重复测量方差分析(方差分析))依照地形分析大脑映射。我们进行了重复测量混合设计方差分析使用的变量:情绪状态和频道网站和频带。所有统计分析中的显著性水平被认为是0.05 ( p < 0.05 )。这是使用统计执行软件包SPSS(25.0版本)。我们提取获得的光谱功率如下:

频带:α/β(8-30 Hz)乐队与所有(1-45 Hz)乐队

脑电图渠道:前额叶(AF3 AF4)额(F3, F4, FC5、FC6 F7,和F8)、时间(T7、T8),顶叶(P7, P8)和枕(O1、O2)

因此,我们证实了情绪×频带之间的相关性×通道交互影响是非常重要的 p < 0.001 。这些结果表明,揭示不同频带的影响和渠道对应不同的情绪状态。此外,主要有重大影响的频带×渠道相互影响 p = 0.014 , p < 0.001 (表 5)。结果,结果表明:频带有不同的光谱功率值从每个通道的情绪。

结果的重复测量方差分析(方差分析), p < 0.05 )。

因素 p 值( p < 0.05 ) 效果
渠道∗乐队 p < 0.01 ∗ ∗ Two-interaction
情绪∗∗乐队渠道 0.014 三个交互方式

注意:(1) ∗ ∗ 重要的( p < 0.001 ),(2)拦截+情感,(3)设计:乐队+渠道+乐队∗频道。

我们还证实每个情感和频带通道对解释频段×通道交互使用 事后分析。的配对 t以及, 事后执行分析,分析渠道的重要性对α和β频带的大脑区域与基于统计结果(表不同的情绪 6)。

配对的结果 t以及:平均值和标准偏差对光谱的情绪,频带和渠道(灰色的颜色是重要的( p < 0.05 ), < ∗ 0.01 , < ∗ ∗ 0.001 )。

通道 愤怒 兴奋 恐惧 幸福 中性 悲伤
的意思是 SD 的意思是 SD 的意思是 SD 的意思是 SD 的意思是 SD 的意思是 SD
1 Alpha_AF3 7.53 4.86 7.44 ∗ ∗ 7.00 8.23 4.51 20.14 4.18 4.22 0.17 13.89 1.80
Alpha_AF4 10.10 7.50 12.79 ∗ ∗ 4.52 11.65 4.80 12.57 6.94 4.22 0.16 14.70 5.38
2 Alpha_F3 10.39 4.26 16.08 21.09 8.64 9.21 8.81 6.49 4.33 1.09 6.29 3.24
Alpha_F4 25.75 7.43 6.30 3.55 6.47 4.50 8.25 7.32 4.17 0.21 5.39 3.22
3 Alpha_F7 17.21 38.95 12.30 4.44 15.95 7.00 16.95 13.66 8.41 5.38 11.21 5.12
Alpha_F8 14.94 9.58 14.67 9.41 15.76 9.00 15.03 8.10 5.43 2.84 12.16 6.17
4 Alpha_FC5 9.75 8.47 7.65 5.48 10.44 6.69 7.54 4.01 11.67 7.52 15.29 4.01
Alpha_FC6 9.63 8.72 10.86 8.45 8.50 4.78 15.35 20.52 13.08 5.47 11.33 8.39
5 Alpha_O1 14.65 20.82 11.88 5.99 36.13 11.95 16.78 21.78 12.45 8.81 11.87 4.87
Alpha_O2 10.63 9.85 19.27 20.80 17.67 9.24 13.19 25.73 13.53 5.21 12.27 9.61
6 Alpha_P7 18.05 9.88 18.78 17.79 20.77 7.53 21.04 11.94 6.39 3.76 27。 40 ∗ ∗ 9.61
Alpha_P8 12.54 4.36 13.05 10.91 33.37 12.11 14.00 6.90 9.62 6.34 10.28 ∗ ∗ 7.90
7 Alpha_T7 9.26 4.37 9.57 6.93 18.70 8.87 14.00 6.90 15.40 6.42 12.23 3.01
Alpha_T8 8.84 2.99 11.23 5.83 11.68 7.15 10.99 4.61 13.47 8.99 9.22 3.84
8 Beta_AF3 16.40 12.22 30.81 7.74 9.62 ∗ 4.66 25.48 ∗ 11.12 16.42 5.25 10.84 ∗ ∗ 5.12
Beta_AF4 12.52 11.57 11.23 5.83 15.76 ∗ 5.11 16.54 ∗ 7.93 19.63 7.97 23.29 ∗ ∗ 8.31
9 Beta_F3 17.39 9.36 13.91 8.78 17.83 4.38 14.65 15.33 11.24 7.96 11.83 9.48
Beta_F4 31.03 10.23 13.28 14.00 13.07 14.61 11.44 13.64 9.03 4.55 10.46 9.13
10 Beta_F7 20.52 27.57 17.73 7.58 26.83 ∗ 7.79 20.72 21.24 16.06 9.68 14.51 8.83
Beta_F8 17.92 12.08 20.08 10.34 15.13 ∗ 16.26 18.40 14.99 17.98 5.58 16.76 13.64
11 Beta_FC5 17.56 9.88 14.20 7.95 17.55 8.01 17.54 11.13 21.10 9.44 20.35 14.60
Beta_FC6 19.69 13.80 24.71 21.46 20.65 9.16 23.48 20.62 23.15 10.22 21.07 2.39
12 Beta_O1 15.87 13.97 14.97 6.03 13.78 6.88 13.3 4.48 16.74 7.73 12.83 3.86
Beta_O2 19.59 25.85 20.88 21.88 14.55 10.23 15.35 12.14 20.99 11.18 14.44 6.35
13 Beta_P7 31.36 10.33 31.37 55.05 20.20 10.00 19.48 9.47 18.11 9.20 22.90 11.34
Beta_P8 14.41 6.03 50.54 39.73 23.29 15.64 12.70 5.98 14.19 6.70 14.44 9.12
14 Beta_T7 35.76 32.39 30.55 24.10 13.70 8.87 23.53 16.19 27.81 15.93 26.34 8.78
Beta_T8 44.72 80.05 29.24 20.13 11.68 7.31 22.27 25.07 32.77 17.84 24.44 14.80
5.2。大脑映射地形分析

在这篇文章中,我们生成的脑电图威尼斯平底渔船地图,他们与统计结果来检查大脑活动。呈现的是大脑区域分为不同区域:额(F)、时间(T)顶叶(P)和枕(O)进行分析 33, 34]。地形生成后,它需要检查基于大脑区域定位每个通道在地形跟踪大脑激活区域在不同的情感处理。

如数据所示 4和 5,每个频带的功率频谱值对应不同的情绪状态,在黑色的点是通道的位置。等压线的颜色表达相关性的强度在一个给定的地区(从正面的红色,负面的蓝色)。

大脑映射地形特定波段之间的相关系数和情感状态,使用光谱功率愤怒、悲伤和恐惧。两支乐队,愤怒和悲伤被激活在右额叶,左额叶激活而兴奋。恐惧只是激活β频带。

大脑映射地形特定的乐队和情绪状态之间的相关系数,使用光谱功率幸福,兴奋,和中立。幸福和兴奋的左额叶激活。然而,它不是发现作为一个有效面积处于中立状态。

如图 4,β乐队也更广泛激活AF4和F4右额叶处于愤怒状态。颞叶被激活在这两个频段,P7比P8激活。处于兴奋状态,额叶也存在于一个更广泛分布比颞叶脑区。它揭示了激活的大脑额叶集中在AF3和AF4α频段,而β频带显示了只有AF3激活。在恐惧状态,额叶激活时β频带分布很广。可以可辩解的,β乐队不仅是额叶的激活,但也更强的激活。阿尔法乐队在P7-P8显示意义,O1-O2,而β频带显示AF3-AF4和F7-F8统计分析。

如图 5,两个频段更激活在左额,枕叶,AF3,相比之下AF4(α: p = 0.021 测试: p = 0.025 );尤其是β频带比α乐队激活处于幸福状态。发现P7在颞叶比P8激活。它是重要的在α( p = 0.003 )和β( p = 0.034 )乐队。处于悲伤状态,额叶激活α乐队,尤其是在AF4正确的额叶。β乐队也在同一网站激活。它可以证实这两个频段更激活右额叶。然而,β频带降低激活区域比α频段。然而,统计分析仅仅是重要的β频带,AF3-AF4显著( p = 0.039 ),AF4高于AF3和P7-P8α乐队。

 6。Emotion-Related渠道选择

我们进行了两种分析方法的选择emotion-related频道。大部分的情绪,除了中性状态,激活前额叶和额叶。的负面情绪,愤怒,恐惧,悲伤,激活相关正确的额叶,而积极的情绪,快乐和兴奋,被激活的左额叶,尤其是前额叶。结果,我们建议emotion-related渠道:AF3-AF4, F3-F4, F7-F8, P7-P8 F7-F8, O1-O2。O1-O2而言,它们放在枕叶,负责分析大脑的vision-related功能。因此,我们排除了 O1 - O2通道从进一步分析。然而,我们采用了P7-P8通道位于顶叶,因为大脑顶叶扮演一个角色在控制领域,特别是注意和认知。最后,我们使用了八个通道的情绪指标。在下一节中,我们进行了支持向量机(SVM)验证生成的数据库。

7所示。情感分类使用支持向量机(SVM) 7.1。脑电图特征提取

验证数据库生成的脑电图,我们采用光谱力量:渠道的总能源强度在特定地区在每个频带。光谱功率是最常见的一个特征定义和提取信号的特征( 35]。当受试者观看影片剪辑,光谱功率根据情绪状态和times-sequence改变。光谱功率的脑电图特征代表确认大脑活动区域在情感处理。值越大表示一个特定的情感,是最有力的。

我们提取的光谱功率从每个通道脑电图信号从1级到45赫兹。我们进行快速傅里叶变换(FFT) half-overlapped 1− 年代汉宁窗。它应用于每个14频道的脑电图信号计算谱时间序列,是利用α频段的8—13赫兹(),β(14-30 Hz),所有(1-45赫兹)。功率密度值计算,平均每个参与者的频带内光谱功率在每个频道的网站。这时,一个快速傅里叶变换(FFT)是应用Darbeliai工具箱使用的名字。

7.2。生成的脑电图特征向量

EEG信号作为特征向量构造成两种类型的频带使用光谱(α和β与所有乐队)的力量。实验条件是有组织的如下:

频带:α/β(8-30 Hz)乐队与所有(1-45 Hz)乐队

情感类别:六种情绪(愤怒、兴奋、恐惧,快乐,中性,和悲伤)和五个情绪(愤怒、兴奋、恐惧,快乐,悲伤)

渠道:所有渠道(14频道)和选定的频道(8通道)。

脑电图信号特征向量用一个样本长度512样品(4秒)的生成步骤128样品(1秒)。由于工件去除EEG信号进行预处理,数据大小是不同的从426年到642年样本的情绪。总样本是3195。样本数据的细节描述在表大小 7。

样本数据的大小。

培训 测试 总
愤怒 514年 128年 642年
兴奋 455年 114年 569年
恐惧 387年 97年 483年
幸福 427年 107年 534年
悲伤 342年 85年 426年
中性 432年 108年 540年

输入特征向量转化为线性可分维特征空间的映射函数来解决非线性问题。在这项研究中,采用5倍交叉验证。数据集随机分为五个子集(等于或约)。

7.3。Hyperparameter调优

我们使用SVM分类器进行分类提出了渠道的情绪状态,采用径向基函数(RBF)的内核。支持向量机分类器还实现了用sklearn python ( 36]。

我们也使用一个网格实现最优hyperparameter搜索。网格搜索寻找最佳执行hyperparameter价值观和优化分类,这是一个适当的参数设置,可以提高分类准确率 37]。与RBF核函数有两个参数决定的SVM模型:(1)惩罚参数 C和(2)内核参数γ的大小 γ (默认值 C= 1, γ = 1 /(数量的特性 x数据的方差 1 / N x var x )γ的值) 36]。在网格搜索方法,对 C , γ 尝试,选择最好的交叉验证的准确性。

参数 C表明对分类数据点的惩罚。这是相关的决定边界与不同的利润率。它决定了有多少数据样本可以被放置在不同的类。对于较小的 C值,分类器更允许更进一步的数据点(高偏差、低方差)。更大的 C值,分类错误的数据的分类器是重罚(低偏压、高方差)。

另一个参数γ γ 决定了相关的内核参数数据的方差。这个参数可以被认为是“传播”的内核,因此,决定区域。当γ γ 很低,“曲线”的决策边界非常低,因此,决定地区非常广泛。当γ高,决策边界的“曲线”高,创建决策边界数据点周围的岛屿。

在之前的研究中,他们调整了参数改善情感分类;所有相关参数 C 和 γ 计算网格搜索方法。在这里,使用一系列的参数范围的数据。他们依赖于原始数据,参数值是不同于之前的研究。我们最后选择了最优hyperparameter使用网格搜索两个参数调整 C和 γ 。实验结果给出了在接下来的部分。

7.4。实验结果

图 6显示搜索结果hyperparameter使用网格搜索。改善情感分类,我们改变了hyperparameter以下范围:

参数C: 0, 1000

参数 γ :0.00001,1 1 / N x var x

使用网格搜索方法寻找最佳hyperparameter: hyperparameter实现是最好的 C= 100, γ = 1 / N x var x ),(a):六种情绪(愤怒、兴奋、恐惧,快乐,中性,和悲伤),(b)底:五情绪(愤怒、兴奋、恐惧,快乐,悲伤)。

在这两种情绪,最好的hyperparameter使用 C= 100, γ = 1 / N x var x 。此外,分类精度类似于默认 γ 值精度 γ 0.0001使用。

表 8显示了分类性能通过SVM分类器使用网格搜索方法。计算最优hyperparameter C= 100, γ = 1 / N x var x 利用网格搜索。

情感分类精度从不同渠道基于支持向量机使用网格搜索。

情感<年代up>1) 频段 Hyperparameter 所有渠道<年代up>2) 选定的通道<年代up>3)
所有的情感( 一个, E, F, H, N, 年代) 所有的乐队 C = 1 , γ ∗ 71.86 73.73 ⇑ 1.87
α+β C = 1 , γ ∗ 79.97 84.12 ⇑ 4.15
C = One hundred. , γ ∗ 84.11 88.27 ⇑ 2.99
5的情绪( 一个, E, F, H, 年代) 所有的乐队 C = 1 , γ ∗ 80.85 81.27 ⇑ 0.42
α+β C = 1 , γ ∗ 89.28 92.68 ⇑ 3.40
C = 1 , γ ∗ 91.20 94.27 ⇑ 3.07

注意: γ ∗ = 1 / N x var x :1 /数量的功能x的方差数据)。<年代up>1)情感:(愤怒),E(兴奋),F(恐惧),H(幸福)、N(中立),S(悲伤)。<年代up>2)所有渠道:AF3, AF4、F7 F8, F3, F4, FC5, FC6, T7, T8, P7, P8, O1、O2。<年代up>3)选择渠道:AF3 AF4、F3-F4 F7, F8, P7, P8。

最好的精度是94.72%使用五情绪与α和β乐队,这是比使用所有频道在91.20%高出3.07%。在所有条件下,使用该频道显示情感分类精度高于使用所有频道。此外,α和β频段(8-30 Hz)实现精度高于所有频段(1-45赫兹)。

图 7总结了平均混淆矩阵获得的支持向量机应用于不同渠道跨频段有六个情绪。最好的平均精度为5的情绪状态是获得愤怒(99.56%),其次是兴奋,幸福,悲伤,恐惧,和中立的准确性达95.46%,94.98%,82.85%,75.99%,和67.96%,分别。结果显示,恐惧和中立的精度比其他情绪相对较低。结果是相似的混淆矩阵使用五情绪。

混淆矩阵使用提出渠道与α和β频段(8-30 Hz);(一)6情绪(左,88.27%),(b) 5情绪(对,94.27%)( 一个:愤怒, E:兴奋、 F:恐惧、 H:幸福, N:中性, 年代:悲伤)。

 8。结论

在本文中,我们介绍以脑波图为基础的韩国情感数据库并验证生成的数据库使用情感分类。我们因为它使得基于脑电图描述小说连续情感数据库,其中包括20受试者在观看情绪刺激引起特定的情感。我们获得了八频道,AF3-AF4 F3-F4, F7-F8, P7-P8,反映在情感激活。

此外,我们进行支持向量机(SVM)来验证的有效性提出emotion-related频道。分类性能由多样化的配置使用渠道,频带和情绪。结果,最佳精度达到94.27%使用五情绪与α和β的乐队。总之,本研究验证的有效性提出了脑电图emotion-related渠道和介绍了韩国脑电图情感数据库因为它使得基于脑电图的情感识别。

虽然我们只使用功率谱特性,我们实现一个精度高。我们建议进一步研究。首先,它需要和细分情绪扩展到更具体的情感因为它使得基于脑电图分类维度空间改善情感分类。此外,不同的机器学习技术和特征提取方法选择emotion-related通道有望获得更高的精度。鉴于EEG信号中提取了emotion-related新奇特性,深刻的学习方法更好的表示和分类在许多时间序列问题时正确地配置和培训。在未来的发展方向,通过顺序可能会进一步提高准确率模型如复发性神经网络(RNNs)和多空内存(LSTM),因为脑电图信号时间序列数据。

总之,这些研究结果可以提供一个基准数据库利用跨学科研究的行为和情感分析。它也将支持情感分类基于我们提出emotion-related渠道使用机器学习算法。这也为他们提供了多样化的使用,如跨语言和跨文化比较研究。

数据可用性

由于数据包含个人信息,它不能被公开。当事人可以请求数据从第一作者。知情同意是获得所有受试者参与这项研究。取得书面知情同意的主题发表这篇论文。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究受到了教育部的大韩民国和韩国国家研究基金会(nrf - 2021 s1a5a8070305)。

 症 M。 莱伊 M。 汉克 年代。 情感识别从生理信号分析:一个回顾 电子票据在理论计算机科学 2019年 343年 - 55 35 55 10.1016 / j.entcs.2019.04.009 皮卡德 r·W。 Vyzas E。 希利 J。 向机情商:情感生理状态的分析 IEEE模式分析与机器智能 2001年 23 10 1175年 1191年 10.1109/34.954607 2 - s2.0 - 0035481502 Soleymani M。 Asghari-Esfeden 年代。 傅 Y。 Pantic M。 分析EEG信号的连续情感和面部表情检测 IEEE情感计算 2016年 7 1 17 28 10.1109 / taffc.2015.2436926 2 - s2.0 - 84963876689 戴维森 p R。 琼斯 r D。 裴伟士 m·t·R。 EEG-based失效检测具有高时间分辨率 IEEE生物医学工程 2007年 54 5 832年 839年 10.1109 / tbme.2007.893452 2 - s2.0 - 34247338982 Petrantonakis p C。 Hadjileontiadis l . J。 小说情感启发式指数使用因为它使得基于脑电图额大脑不对称性增强情感识别 IEEE在生物医学信息技术 2011年 15 5 737年 746年 10.1109 / titb.2011.2157933 2 - s2.0 - 80052593867 Koelstra 年代。 Muhl C。 Soleymani M。 Jong-Seok l Yazdani 一个。 Ebrahimi T。 双关语 T。 Nijholt 一个。 佩特雷 我。 DEAP:数据库进行情感分析;利用生理信号 IEEE情感计算 2012年 3 1 18 31日 10.1109 / t-affc.2011.15 2 - s2.0 - 84859916185 Bao-Liang陆 w l。 陆 B.-L。 因为它使得基于脑电图研究临界频率乐队和渠道与深层神经网络情感识别 IEEE自治精神的发展 2015年 7 3 162年 175年 10.1109 / tamd.2015.2431497 2 - s2.0 - 84946923238 埃克曼 P。 弗瑞森 w·V。 奥沙利文 M。 常ydF4y2Ba 一个。 Diacoyanni-Tarlatzis 我。 海德 K。 克劳斯 R。 勒孔特 w·A。 皮特克恩 T。 Ricci-Bitti p E。 谢勒 K。 获利, M。 Tzavaras 一个。 共性和文化差异的面部表情判断的情感 人格与社会心理学杂志》上 1987年 53 4 712年 717年 10.1037 / 0022 - 3514.53.4.712 2 - s2.0 - 0023430388 罗素 j . A。 circumplex模型的影响 人格与社会心理学杂志》上 1980年 39 6 1161年 1178年 10.1037 / h0077714 2 - s2.0 - 4644280844 Oostenveld R。 Praamstra P。 百分之五的高分辨率脑电图电极系统和ERP的测量 临床神经生理学 2001年 112年 4 713年 719年 10.1016 / s1388 - 2457 (00) 00527 - 7 2 - s2.0 - 0035084667 达席尔瓦 f . L。 Niedermeyer E。 脑电图:基本原则、临床应用和相关领域 2005年 美国费城,宾夕法尼亚州 Lippincott Williams &威尔金斯 雷 W。 科尔 H。 脑电图α活动反映了注意力的要求,和β活动反映了情感和认知过程 科学 1985年 228年 4700年 750年 752年 10.1126 / science.3992243 2 - s2.0 - 0021839919 Klimesch W。 Doppelmayr M。 Russegger H。 Pachinger T。 Schwaiger J。 诱导α和频带能量的变化人类脑电图和关注 神经学字母 1998年 244年 2 73年 76年 10.1016 / s0304 - 3940 (98) 00122 - 0 2 - s2.0 - 0032513156 Alkozei 一个。 Killgore w·D。 情商与降低脑岛反应蒙面愤怒的脸 NeuroReport 2015年 26 10 567年 571年 10.1097 / WNR.0000000000000389 2 - s2.0 - 84931057885 Alarcao s M。 丰 m·J。 情感识别使用脑电图信号:一项调查 IEEE情感计算 2019年 10 3 374年 393年 10.1109 / taffc.2017.2714671 2 - s2.0 - 85021838158 Tomarken a·J。 戴维森 r . J。 戴安娜 j·B。 休息大脑额叶不对称预测情感反应的电影 人格与社会心理学杂志》上 1990年 59 4 791年 801年 10.1037 / 0022 - 3514.59.4.791 2 - s2.0 - 0025506972 福克斯 n。 如果不离开,这是正确的:脑电图仪不对称和情感的发展 美国心理学家 1991年 46 8 863年 872年 10.1037 / 0003 - 066 x.46.8.863 2 - s2.0 - 0026209914 可恩 j . A。 艾伦 j·j·B。 Harmon-Jones E。 自愿的面部表情和额叶皮质半球不对称 心理生理学 2001年 38 6 912年 925年 10.1111 / 1469 - 8986.3860912 2 - s2.0 - 0035197310 赵 G。 张 Y。 通用电气 Y。 额脑电图不对称和中线权力差异离散的情绪 行为神经科学前沿 2018年 12 10.3389 / fnbeh.2018.00225 2 - s2.0 - 85057070295 Bos d . O。 EEG-based情感识别 视觉和听觉刺激的影响 2006年 56 3 1 17 郑 w l。 郭 H.-T。 陆 B.-L。 揭示情感识别的关键渠道和频带从脑电图深深的信念网络 学报2015年第七届国际IEEE /磨床神经工程会议(尼珥) 2015年4月 法国蒙彼利埃 10.1109 / ner.2015.7146583 2 - s2.0 - 84940389103 穆罕默 Z。 Frounchi J。 阿米里 M。 使用脑电图信号小波情感识别系统 神经计算与应用 2016年 28 8 1985年 1990年 10.1007 / s00521 - 015 - 2149 - 8 2 - s2.0 - 84954321631 Valenzi 年代。 伊斯兰教 T。 Jurica P。 Cichocki 一个。 个人的情感分类使用脑电图 生物医学科学与工程》杂志上 2014年 07年 08年 604年 620年 10.4236 / jbise.2014.78061 王 Z.-M。 胡 S.-Y。 首歌 H。 频道选择脑电图情感识别使用归一化互信息的方法 IEEE访问 2019年 7 143303年 143311年 10.1109 / access.2019.2944273 2 - s2.0 - 85073671133 Yousaf m·A。 谢赫。 问:Z。 Awais M . M。 萨利姆 年代。 哈立德 M。 Javaid M . M。 因为它使得基于脑电图实时人类情感识别 神经信息处理程序国际会议 2015年11月 土耳其伊斯坦布尔 182年 190年 戴维森 r . J。 前额叶皮层的影响:“做”观点额脑电图不对称研究呢 生物心理学 2004年 67年 1 - 2 219年 234年 10.1016 / j.biopsycho.2004.03.008 2 - s2.0 - 2342446576 Jenke R。 同行 一个。 巴斯 M。 特征提取和选择从脑电图情感识别 IEEE情感计算 2014年 5 3 327年 339年 10.1109 / taffc.2014.2339834 2 - s2.0 - 84908451369 布拉德利 M . M。 朗 p . J。 测量情感:自我评估人体模特和语义微分 行为疗法和实验精神病学杂志》上 1994年 25 1 49 59 10.1016 / 0005 - 7916 (94)90063 - 9 2 - s2.0 - 0028307950 Irtel H。 的pxlab self-assessment-manikin尺度 2008年 Balconi M。 Vanutelli m E。 Grippa E。 静息状态和个性组件(BIS / BAS)预测大脑活动(EEG和fNIRS测量)为了应对情感线索 大脑和行为 2017年 7 5 e00686 10.1002 / brb3.686 2 - s2.0 - 85017445597 巴里 r . J。 克拉克 a。R。 约翰斯通 美国J。 布朗 c·R。 脑电图之间差异的孩子闭上眼睛,睁眼休息条件 临床神经生理学 2009年 120年 10 1806年 1811年 10.1016 / j.clinph.2009.08.006 2 - s2.0 - 70350022755 布雷纳德 D。 贝利 D。 Kleiner M。 有什么新psychtoolbox-3 2007年 Delorme 一个。 Makeig 年代。 EEGLAB:一个开源工具箱等实验分析EEG动态独立分量分析 神经科学杂志》上的方法 2004年 134年 1 9 21 10.1016 / j.jneumeth.2003.10.009 2 - s2.0 - 1242283941 Hooi l S。 这个 H。 Voon y V。 比较运动追踪大脑活动的脑电图topo-maps领域 学报2016年IEEE磨床生物医学工程与科学会议(IECBES) 2016年12月 吉隆坡,马来西亚 10.1109 / iecbes.2016.7843452 2 - s2.0 - 85015647980 Abo血型检测Zahhad M。 艾哈迈德 s M。 阿巴斯 s . N。 未来的艺术方法和国家优先车道个人识别基于脑电图信号的观点 专业生物识别技术 2015年 4 3 179年 190年 10.1049 / iet-bmt.2014.0040 2 - s2.0 - 84940489273 Varoquaux G。 Gramfort 一个。 米歇尔 V。 蒂里翁 B。 Grisel O。 Vanderplas J。 Pedregosa F。 在Python Scikit-learn:机器学习 机器学习研究杂志》上 2011年 12 2825年 2830年 常 C . C。 林 c·J。 许 c·W。 支持向量分类的实用指南 2003年