文摘

音乐可以唤起不同的情绪,这可能是通过不同的脑电图(EEG)信号。许多先前的研究已经检查特定方面的音乐之间的关系,包括主观情绪唤起和脑电图信号特性。然而,没有研究全面检查与音乐相关的脑电图特点和选择那些有潜力最强的歧视的情绪。因此,本文进行了一系列的实验来确定最具影响力的脑电图特征引起的音乐唤起不同的情绪(平静、快乐、悲伤和愤怒)。我们提取27-dimensional特性从每个12电极位置然后使用correlation-based特征选择方法来识别特性集最密切相关的原始特性但最低冗余。几个分类器,包括支持向量机(SVM), C4.5, LDA和摘要,然后用于测试的识别精度和选定的特性集。最后,详细结果进行了分析和选择的特性集和人类情感之间的关系显示清楚。通过10个随机检查的分类结果,可以得出结论:所选择的特性集Pz更有效的比其他功能使用时的关键特性集分类人类情感雕像。

1。介绍

识别的情感状态是一个重要的目标发展的先进的脑-机接口(bci)。对于这个应用程序,情感识别使用脑电图(EEG)得到了广泛关注,由于方便,高分辨率,脑电图记录的可靠性。音乐可以唤起强大的情绪,这些情绪与不同的脑电图信号模式。EEG信号的识别与这些情绪可能有助于阐明音乐欣赏的神经基础,促进音乐的发展规划情绪疗法(1),并提供生物标志物和研究神经精神疾病的新方法,如抑郁症和阿尔茨海默病(2]。

许多研究已经确定了EEG信号与不同的音乐特点,包括熟悉,加工水平,节奏,和主观情绪反应。Thammasan等人从数据库提取功率密度谱和分形维度情感分析利用生理信号(DEAPs),发现使用低熟悉音乐提高识别的准确性无论支持向量机(SVM)分类器,多层感知,或C4.5 [3]。Kumagai等人调查皮质反应和熟悉的音乐之间的关系。他们发现两座山峰的互相关值明显增大,当听不熟悉或炒音乐而熟悉的音乐。总的来说,这些发现表明,大脑皮层的反应比不熟悉的音乐,所以更熟悉的音乐欣赏的分类应用bci [4]。Santosa等人设计一系列的实验,在不同的噪声水平,如没有噪音(NN),中层噪声(MN)和高级噪音(HN)被添加到音乐。14名受试者进行四个不同的听觉环境:音乐片段,噪声段,音乐+噪声段,整个音乐干扰噪音段。然后,他们的反应数据进行分析来确定背景噪音的影响在半球偏侧性音乐处理(5]。洪教授和Santosa调查是否听觉皮层的激活引起的不同的声音可以区分使用功能性近红外光谱(fNIRS) [6]。Bigliass等人用音乐刺激干扰研究大脑如何控制行动在处理两个任务在同一时间(7]。Lopata等人报道的强活动额叶α乐队,这是与音乐的心理意象后,已打了和研究,在主题音乐即兴表演训练受试者相比,没有训练。因此,加工水平(例如,创造性处理)影响脑电图反应。此外,这些结果表明,音乐创造力可以学习和改进,这些变化是可衡量的脑电图(8]。Phneah和这个比较了脑电图反应引起的最喜欢的subject-selected选择音乐来“放松”基于α波双耳节拍,发现放松的音乐有更强更持久的生理和心理的抚慰作用[9]。因此,脑电图信号可以帮助mood-modifying音乐的选择。Bridwell等人相比,结构化的脑电图反应诱发吉他笔记和随机的笔记,发现在200 ms波形更强烈激活的结构化序列。此外,这项研究的结果是,4赫兹注意模式出现的统计规律的敏感性有所区别“听觉古怪”[10]。Martinez-Rodrigo等人发现不同的脑电图反应θ和α乐队表达节奏变化的两个古典奏鸣曲,一个由两部分构成的形式,另一个在隆多形式11]。周等人相比处理音乐意义传达的音高变化方向先天性失歌症。十二讲普通话的失歌症和12控制进行了识别(隐性)和语义一致的判断(明确的)任务而他们的脑电图波形记录。作者得出结论,失歌症能够处理标志性的音乐意义通过多种声学线索自然音乐中,但不是通过音高变化的方向12]。许多研究人员研究了人类情感之间的关系和他们的脑电图信号。陆等人选择了9个音乐段落的刺激和使用方差检验和将他们分成三组t以及根据情感的二维模型。分析EEG信号,它们的功率密度谱中提取不同的乐队和主成分分析(PCA)降维用于特征选择。他们发现情感识别精度通过SVM较高使用β和γ乐队的平均功率信息与其他的乐队。因此,β和γ乐队似乎对情感歧视(包含信号信息有用13]。迪等人提出了一个分析过程,以研究人类情感的影响使用不同频率的声音刺激引起的脑电图特征(14]。Kurbalija等人提出了一个情感识别方法使用基于距离从脑电图信号时间序列分类。结果表明,脑电图信号可以用成功来构造模型识别的情感,个人,和其他相关的任务(15]。小林和中川情感分形分析方法(EFAM)在他们的论文中。他们情绪评估基于EEG数据提出一个BCI系统可以识别情绪包括喜悦、愤怒、悲伤、快乐和使用这些信息来操纵电动轮椅(16]。赵等人的脑电图信号采样志愿者当他们看情感电影。后提取脑电特征,采用支持向量机作为分类器识别人类情感(17]。伊万诺维奇等人收集脑电图数据从十25到40岁之间的男性和提出了一个自动实时分类算法使用脑电图数据援引自诱导的情绪[18]。Yoon和涌提出了贝叶斯theorem-based分类器使用监督学习算法识别人类情感根据志愿者的脑电图数据。在识别、快速傅里叶变换(FFT)分析用于特征提取19]。

EEG信号的复杂性阻碍了选择最优的特性集歧视情绪诱发的音乐。为了弥补单一特征识别的缺乏,许多先前的研究试图提取一个或多个EEG信号的线性或非线性动态特性为区分不同的音乐刺激通过机器学习。例如,研究防止轻度抑郁,李等人816年提取特征(17从16个电极3频段)的特点,提高了识别率使用CFS降维和机器学习。他们还建议从FP1电极位置信号,FP2, F3, O2,轻度抑郁和T3最强烈相关(20.]。徐和左提出基于互信息算法和主成分分析,以弥补缺乏非线性主成分分析的特征之间的关系仅使用数据库的2005年国际BCI竞争。联合功率谱估计后,连续小波分析、小波包分析,和Hjorth参数计算,他们新算法用于单独PCA算法选择和比较结果。他们发现的降维算法改善了分类精度使用SCM作为分类器(21]。

尽管在这个领域取得了许多成就,为情感识别仍存在一些问题。首先,情感识别的主要结果关注视觉情感识别。研究在识别情绪诱发的音乐越来越认可率较低。但在人类日常生活中,亢奋的情绪是有效和持久,允许更清晰的观察大脑活动在这种情绪状态(22]。其次,EEG信号的空间分辨率很低。因此,研究大脑认知的影响规则基于功能差;他们中的大多数只能精确到一个特定的大脑区域,但它是不可能提出更精确的大脑认知机制。研究大脑认知的有效性规则基于特性的不理想。他们中的大多数只能位于一个特定的大脑区域,但是很难构造脑电图电极之间的关系和情感的分类(23]。最后,由于脑电图的复杂性,大多数以前的研究在脑电图信号之间的关系特点和music-evoked情绪都集中在一些特定的特征分析。然而,很少有研究进行了全面客观的分析整个大脑的脑电图信号与music-evoked情绪,然后选择那些有识别力的最高权力对各种分类器(24]。

在提出的研究中,我们想要获得最具影响力的EEG信号的特性集人类情感分类。为了实现这一目标,18-dimension线性特性和9-dimension非线性特征提取每一个电极,和correlation-based特征选择(CFS)法选择有影响力的特性集。为了验证所选择的特性集的影响,包括摘要的分类方法,支持向量机,C4.5和LDA用于人类情感分类的过程。实验结果表明,所选择的特性集Pz电极和C4.5分类方法更有效的在人类情感识别。

2。方法

如图1在这项研究中,有五个阶段:收集志愿者的主题数据,脑电图记录在听音乐,提取脑电特征,情感分类,并详细分析验证、降维,和准确性提高。

2.1。源的音乐刺激

在这项研究中使用的音乐刺激的1000首歌曲的数据库,由穆罕默德Soleymani选择和同事日内瓦大学的免费音乐情感分析的存档(http://freemusicarchive.org/)。对于每一个歌,数据库中的采样率是44100 Hz,长度是45。每首歌也标有唤醒维度和价维度分类的二维模型(25,26]。分类,我们把数据分成四组根据平均得分最高,有22个样本方差在“快乐”和“平静”组,20个样品在“悲伤”和“愤怒”组。平衡数据数量,20音乐样本选择每一个情感。的平均分数,觉醒的方差,上述数据库提供的价值。如图2之间没有显著差异,得分在不同组之间通过检查相关组使用方差分析(方差分析)。如表所示1,唤醒维度得分的悲伤和冷静是相同;分数一样价维度愤怒的和冷静的。所以,我们只是相比12双表中显示方差的同质性测试。然后,根据审稿人的建议,我们使用方差分析表2。这是显示 值都小于0.05,这表明有显著差异的四价和唤醒维度情感雕像。四种情绪可以被看作是不同类型的数据,作为观众的不同刺激引起脑电图信号在实验27]。在实验中,得分最高的数据唤醒和价维度被定义为“快乐”或“欢乐,”两个维度得分最低的被定义为“悲伤,”,唤起最高和最低的价“愤怒”和数据定义为“平静”相反的情况。

2.2。脑电图记录

参与者被八位研究生没有音乐背景(23.11±3.14岁,六名男性和两名女性)。提供个人信息和之前的实验中,受试者知情同意。他们被要求避免刺激,避免活动之前可能引起强烈的情绪一天的实验。实验开始时,脑电图电极应用,受试者被要求保持冷静与闭上眼睛2分钟不打任何音乐。为了避免延滞效应,音乐是在订单平静、快乐、悲伤和愤怒在脑电图记录。每个音乐通道是45年代长,为了得到相同的音乐的数字,我们在每个音乐情感组选择20音乐段落。避免志愿者疲劳,学科之间大约10 - 15分钟的休息每一块20音乐段落在给定组。每个主题被要求重复实验2或3天后,共有16个数据集。由于一个试验的失败,然而,只有15个数据集。

NCC医疗NCERP-P系列脑电图电极系统和24脑电图地图是用于所有录音(图3),脑电图电极排列按照10 - 20国际体系。两国的平均阻力乳头状突起参考和头皮记录5 k·欧姆电极,采样率为256 Hz,电源的频率是50赫兹。数据处理之前,眼睛权力由ICA EEG设备过滤。原始信号自适应滤波过滤去除50 Hz电源频率噪声,最后信号通过小波滤波和预处理。

3所示。数据分析

3.1。特征提取

许多先前的研究在脑电图与人类情感只有检查线性特性(28- - - - - -30.]。然而,非线性动力学的发展增强了我们理解大脑的复杂高维混沌系统,和非线性动态特性现在广泛应用于脑电图研究[31日- - - - - -33]。如图4,脑电图数据获得第一次预处理和过滤噪音和50赫兹频率信号通过自适应滤波过滤。ICA信号然后过滤提取15 s脑电图时代为每个音乐通道位于中间的45年代的音乐。这是因为我们希望避免志愿者的情绪开始时测试和疲劳的最后测试。所以,第一个和最后一个15秒的数据被删除。FP2,我们专注于电极FP1 F3, F4, F7, F8, Fz, C3, C4、T3、T4, Pz这些职位紧密相关的情感。18-dimensional线性特性(峰值,意思是,方差、中心频率、最大力量,和权力的三个频段,θ,α和β)+能量非线性动力学特性(奇异谱熵,Lempel-Ziv复杂性,谱熵,C0复杂度,最大李雅普诺夫指数,样本熵,近似熵,K熵和关联维数)提取。

后被表示为线性特性。峰可以作为 在哪里 是抽样脑电图数据。

均值和方差的均值和方差 中心频率可以表示为 在哪里 小波变换和规模价值 采样频率; 时小波中心频率范围是1; 中心频率时的规模。如果 脑电图数据的自相关函数 ,最大的力量可以被定义为 在这,

功率总和的总和

获得的非线性特性可以根据下面的引用。近似熵提出了1983年,平卡斯(34]。这是一个正数,EEG信号,值越大,复杂性越高或不规则性越强。样本熵是一种改进的近似熵大富翁和摩尔人35),这可以减少计算误差,提高计算精度。关联维数是分形维数的一个重要分支,Grassberger和Procaccia提出的1983年(36]。提出了K熵也被称为信息维度和Kolmogrov和提高了西奈半岛。它可以表示根据文献[37]。LZ复杂性越高,就越不规则时间序列的变化。它显示的速度给定时间序列与它的长度增加,导致新模式增加。新模式显示了一个下降趋势随着时间的增加,这意味着原始数据序列的变化慢。它可以表示根据文献[38]。是否最大李雅普诺夫指数大于零的判据是判断系统是否混乱,而且它可以表示根据文献[39]。C0复杂度的概念是要分析的时间序列分解成随机序列和常规序列。它可以表示根据文献[40]。奇异谱分析重建一维脑电时间序列的延迟到多维相空间。奇异值分解后,分解量的重要性决定根据能量的顺序(41]。根据[谱熵可以表示42]。的过程中,首先,通过傅里叶变换转换信号,然后计算信号的功率分布和单位功率归一化。

3.2。特征选择

CFS方法,它被广泛用于特征选择和数据清洗,全面评估之间的关系特点和分类以及特征之间的冗余(43,44]。该方法的核心思想是消除冗余特征,选择独特的与课堂有关的特征使用相关分析(从原来的特性集45]。简而言之,CFS计算特性之间的相关性以及浓度特征和类别之间的特性。计算公式如下所示:

绩效是一个评估的特征子集年代,在那里年代包含k的特点, 代表平均特征之间的相关性 和类别c, 代表平均相对论之间的价值功能。公式(5)表明,特征子集年代,当每个特性和类标签之间的相关性更大,和每个两个特性之间的相关性较小,绩效的价值要大得多,这意味着特性集年代是更好的一个。

之间的关联特性可以使用信息增益方法计算。假设y是属性的可能值吗Y,然后的熵Y是计算

如果一个特定的属性X是已知的,熵的计算方法YX条件是

功能的附加信息X有助于Y被称为信息增益。信息增益和两个特性之间的关系是正的。信息增益定义为

由于信息增益是一个对称的测量方法,它必须规范化。为此,我们使用以下公式:

相关系数描述两个变量之间的相关性的强度,与值接近1显示更强的相关性。

贪婪的渐进搜索算法用于生成候选特征子集的特征集。使用该算法,特征选择产生一个特征排序的序列相关性的程度 ,然后使用分类器来识别特征子集( ),( ),( ),( ),( )。

如表所示3,对于每一个功能,我们计算的平均价值每个志愿者的价值。从结果,如果我们设置阈值为0.1,平均价值的价值功能4、8、10、14、16、17日,20日,21日,22日,23日,25日,26日高于阈值,而其他功能要低得多。他们被选为同意的有影响力的特性表中的数据4

3.3。分类器验证

支持向量机、决策树和神经网络是最常见的用于机器学习分类方法。在这项研究中,支持向量机,C4.5 BP神经网络,LDA用于验证特征选择后的识别率(精度)。我们使用10%交叉验证的方法,10%的数据训练数据,然后把100次重复的平均值来确定正确的速度和识别率。最后,如图5,每subfigure,横轴是电极和纵轴是识别率。对于每一个分类方法,使用Pz、T3和T4电极的数据,我们可以得到更高的识别率比使用其他电极。所以,这三个电极中选择分类过程。此外,详细比较结果,识别精度值使用三电极的数据通过四种分类方法如表所示5

根据分类结果,识别速度的特性选择慢性疲劳综合症(子集)识别率大于降维使用支持向量机之前,C4.5和英国石油公司。但对LDA方法,情况相反。根据之前的验证研究,LDA是一个健壮的情感分类器(46]。但在目前的研究中,英国石油(BP)、支持向量机和C4.5取得了良好的分类精度。

为了评估分类器性能,ROC曲线的四个不同的分类器如图6。ROC曲线C4.5和LDA的分类器是好的,和AUC平均值较大,所以LDA和C4.5分类器的性能优于BP和支持向量机。

统计特性分析,两个样品t测试进行不同的情感特征和不同的电极(显著性水平 )。然后,每个电极被配对测试的每个特性t以及和的数量特性表示拒绝零假设被记录。表6检查是否相同的特性无关电极不同的情绪刺激时,和表中的值表示的数量 值大于0.05。从t以及结果表6,大量的不相关的功能比其他更大的电极T4和Pz电极。

3.4。功能测试

上述分析表明,慢性疲劳综合症的特征选择更有效的歧视比原来的功能。确定最有效的功能在原来的特性集,最优特征子集的特征,这意味着特性集包含nCFS一志愿,选择的特性进行了分析。以来最优特征子集选择由志愿者CFS有点不同,有必要考虑最优识别率得到使用最优特征子集,对所有的志愿者。因此,我们提取特征子集的识别率对所有科目和验证大多数科目的最佳特征子集。从分析如图7数,当功能n改变从2到27日,电极T4和Pz是最有效的识别music-evoked的情绪。此外,识别精度比其他更好的C4.5分类方法的精度和T4和Pz电极比P3。相对应的数据图7如表所示7

这使用信号从不同的电极和不同分类器识别分析表明,识别准确性没有太多的改善或者甚至减少在选定的特征子集有10多个维度,无论识别算法或脑电图通道使用。每个音乐组的前十维特征子集选择15个数据集构建一个频率分布直方图。在直方图中,更有效的功能更高的频率选择了慢性疲劳综合症。如图8三个电极,有15个志愿者的实验数据不同的特性在频域。总选择乘以每个特性的CFS每个志愿者如表所示4。我们选择的特性选择时间高于20特性与类标签密切相关,如功能4(α中心频率),8(θ的平均值),10(θ中心频率)、14(β平均值),16(β中心频率),17(β最大功率),20 (K熵),21(近似熵),22(最大李雅普诺夫指数)、23日(C0的复杂性),25(谱熵),26日(Lempel-Ziv复杂性)。上述特性包括6-dimensional线性特性,6-dimensional非线性特性是最终选择最优的特征子集。这代表了大多数科目最有效的特征组合。

4所示。实验和分析

4.1。线性特性

我们发现,β波占最大的比例由CFS的线性特性,与先前的研究一致的情感识别(47]。的线性特性,带中心频率也明显的重要性,可能是因为中心频率最能代表和区分。

在这项研究中,EEGLAB被用来分析的线性特性。的步骤如下。首先,小波被用来处理频带划分(θ,α和β)15个数据集。然后,EEG数据期间获得音乐唤起四情绪,和相关频段叠加平均。最后,EEGLAB进口的每一种情绪都和脑地形图构建使用12 emotion-related电极。

如图9,当主题是听生气或安静的音乐,乐队正面能量较高。当听快乐的音乐,θ和α频带能量更高的枕叶皮质区地区,而β频带能量高的额头。听悲伤的音乐时,α波表现出一个更广泛的活动范围。比较这些活动模式,阿尔法乐队似乎变化主要与情绪诱发的音乐,这表明α乐队听具有情感冲击力的音乐时更加活跃。

4.2。非线性特性

分析的非线性特征选择的特性集,如图10,我们构建了一个频率直方图所选择的特性,研究了不同的情感和非线性特征之间的关系。

Pz电极,从直方图分布在图6的特性10,我们可以找到一些,情感分类之间的关系。“愤怒”的价值主要是分布在较低数值段的最大李雅普诺夫指数的柱状图。它是一样的谱熵的柱状图。但对于“平静”,数值分布差异不太明显的除了C0直方图的复杂性。“快乐”的价值主要是分布在数值越高段C0复杂度,直方图的熵K,谱熵与“愤怒”。“悲伤”的价值主要是分布在高数值段的直方图近似熵和熵谱。

T3电极,如图11柱状图,我们可以发现一些差异的“愤怒”和“悲伤”根据近似熵,熵K,谱熵。但是,功能和情感之间的关系不太明显比电极Pz和T4。

T4的电极,从直方图分布在图6的特性12,我们也可以找到一些,情感分类之间的关系。“愤怒”的价值主要是分布在较低数值段C0复杂度,直方图的最大李雅普诺夫指数,LZ复杂性,谱熵。但对于“平静”,数值分布差异也不明显除了LZ直方图的复杂性。“快乐”的价值主要是分布在数值越高段C0复杂度,直方图的最大李雅普诺夫指数,LZ复杂性,谱熵。“悲伤”的价值分布非常类似于“快乐”的分布,除了一些年代小的差异近似熵和熵K。

非线性特性的比较的值分布直方图,能找到一些差异之间的四种情绪状态。一些差异是显而易见的,如“生气”,“快乐”和“悲伤”。但对于“平静”,差异不明显。

4.3。检查和可重复性

然后我们之间的情感识别精度6-dimensional线性特性相比,6-dimensional非线性特性,所选的十二特性和27-dimensional特性使用不同的算法。识别率较高的非线性特性对所有算法比线性特性,可能是因为非线性脑电图特征差异大于同一频段内频率特性的偏差,如中心频率和最大频率的平均值。因此,非线性特性可能更适合分类的情绪唤起音乐。所选特征与原始27-dimensional特性。精度没有明显高于原来的设置,可能是因为这些特性选择基于学科之间的比较数据集和没有任何个人的最佳设置。然而,小数量的维度与等效精度表明,删除冗余功能。因此,十二特征选择可以被视为主要的脑电图特征区分情绪平静,由音乐引发愤怒、快乐和悲伤。所以,我们选择了Pz电极的非线性特性作为情感识别最好的特性集。结果如图所示13

测试的重复性分类选择的特性集的有效性,我们使用了15个志愿者的EEG信号重复性检查数据源。分类程序为每个志愿者重复10次。对于每一个人,脑电图数据中选择四个情感个子包括快乐、悲伤、冷静,和愤怒。每一个情感的志愿者,8个随机选择的脑电图数据作为测试数据,和其他72个脑电图数据作为训练数据。分类结果列在表中8。它表明,平均识别利率都高于85%,Pz的非线性特性对情感识别电极是有效的。

DEAP数据库也被测试。我们使用相同的数据标签的文章(1]。价和唤醒维度的得分1 - 3被认为是低组和维持高组,最后,超过20个脑电图诱发的数据视频被选为每一个志愿者。12-dimension特性本文中提到的特性集了。结果是,分类精度高于在本文提到的统计特征。,如表所示9C4.5分类器来说,正确分类率84.91%和89.65%价和兴奋。

5。结论

本研究分析EEG信号的线性和非线性特性记录在音乐唤起不同的情感反应(平静、快乐、悲伤和愤怒)因为它使得基于脑电图和确认这些功能最有效的准确识别的情感。12脑电图电极的脑电图特征取得了27个维度。统计分析显示,电极T3、T4和Pz是最有可能与音乐相关的刺激。CFS方法用于识别这些功能最有效的因为它使得基于脑电图的情感识别没有冗余。然后,我们使用不同的分类器来测试选择的特性集是否比原始特征数据更准确。结果可以总结如下:(1)情感分类的算法C4.5是更有效的比LDA EEG信号,BP神经网络和支持向量机。(2)我们使用脑地形图和频率分布直方图来确定最佳的三个电极的线性和非线性特性的子集,并获得了六维线性特征(中心频率的α乐队,意思是θ,θ波的中心频率,意味着三角洲乐队,三角洲的中心频率乐队,和最大的力量δ波)+六维非线性特性(K熵、近似熵、最大李雅普诺夫指数,C0复杂度,谱熵和LZ复杂性)。这些尺寸可能是最具代表性的特征分类的music-evoked情绪。(3)我们比较歧视精度之间的线性和非线性特性的不同组合,发现非线性特性更有效。最后,选择的12维的特征是最初的27尺寸准确,表明冗余特性被淘汰。然后随机检查10倍的分类结果,可以得出结论,选择6 Pz更有效的非线性特征比其他功能使用时的关键特性集分类人类情感雕像。

数据可用性

在这项研究中使用的音乐刺激是来自数据库的1000首歌曲,由穆罕默德Soleymani和同事选择日内瓦大学的免费音乐情感分析的存档(http://freemusicarchive.org/)。

的利益冲突

作者宣称没有利益冲突。