文摘
解码人类情感的一个主要挑战从脑电图(EEG)不变的数据发现表示国际米兰,intrasubject差异。大多数以前的研究集中于构建一个个人歧视模型每一个主题(主题相关的模型)。构建subject-independent模型是一个困难的问题由于高数据可变性之间不同的主题和不同的实验相同的主题。本文探讨了,第一次,因子分析作为一种有效的技术来提取时间和空间脑电图特点适合解码人类情感的建立脑机接口在不同科目。我们的研究结果表明,早期波(颞窗刺激出现后的200 - 400毫秒)携带更多的信息价的情感。同时,空间位置的特性,影响情感价走强,发生在大脑顶叶和枕叶区域。所有歧视模型(神经网络、支持向量机、资讯和RF)展示更好的歧视的积极的价。这些结果密切匹配实验心理学假设,早期时期刺激呈现之后,大脑反应图像高度积极的价是强大。
1。介绍
脑电图(EEG)是一种有效的无创技术来分析大脑活动通过测量表面的电活动主题的头皮。脑电图是特别有用的脑-机接口(bci)的发展。BCI是指大脑之间的直接沟通途径和外部设备,如电脑。在本文中,我们关注BCI称为情感计算的分区,研究情绪的神经机制。目前的工作的目标是无法准确区分人类情感积极或消极价基于提取脑电神经签名。价,当用于心理学,指的是“肯定”或“否定性”被人当暴露于某些刺激或事件。
处理脑电图数据带来一些挑战。脑电图的脑电波记录信噪比很低,噪音来自各种来源。例如,敏感的录音设备可以很容易地接电气线路噪声环境。其他多余的电噪音来自肌肉活动,眼球运动,或者眨眼。脑电图缺乏空间分辨率;但是它有一个好的时间(毫秒)决议记录缓慢和快速变化的动态的大脑活动。因此,为了识别感兴趣的大脑活动,脑电图信号的相关内容需要与噪声和背景分离过程。
脑电图BCI系统的施工带来很多好处,还几个缺点。最重要的是,脑电图是一种非侵入性方法来测量大脑活动。这消除了需要昂贵和有风险的手术,如电生理学、皮层的设备(如针头或管可能发生在脑部直接插入材料,或electrocorticography,数组的下电极植入头骨。两个系统风险永久和威胁生命的损害病人的大脑,需要昂贵的手术安全专家来实施。也用于设计一个BCI,脑电图不需要固定的病人和其他非侵入性成像系统如功能性磁共振成像(fMRI)和脑磁图描记术(MEG),这两个只能由大型和昂贵的设备。脑电图有能力生产高时间分辨率的数据,这是一个近实时系统的必要性。
从脑电图研究方法提取的情绪模式加剧了过去十年。因为它使得基于脑电图的全面列表情感识别系统中提供了(1]。有效特征关联脑电图发现模式和情感在时间和频率域。在频域中,EEG能量和功率,功率谱密度(PSD)和光谱力量不对称(ASM)的一些乐队,如β(至少需要补充16至32 Hz)和γ(32 - 64 Hz),是最常见的选择。在时域中,分形维数(FD),高阶口岸(特殊),和样本熵已经成功地利用2]。最近的策略提出深度学习网络中提取高层表示原始脑电图信号(3,4]。缓解过度拟合问题,应用主成分分析(PCA)提取最重要的组件初始特性集。混合方法利用多维信息,如脑电图和面部表情(5)和脑电图结合生物和眼动跟踪技术(6),被证明比单一形态(只有EEG信号)情感分类。
执法的研究通常构建个体歧视模型为每个主题(主题相关的模型)。构建subject-independent模型是一个困难的问题由于高数据可变性之间不同的主题和不同的实验相同的主题。提取的特征确实提高情感歧视的性能;但是他们的计算特性(例如,熵,FD,和小波变换)转向更难以被非专家在机器学习和数据挖掘。
本文的贡献是双重的。首先,我们提出一个新的时空特性设定明确的物理,也就是说,当地的振幅和延迟(发生时间)/选择脑电图电极。第二,我们建议,第一次情感计算、因子分析(FA)作为一个替代方法来提取最重要的组件的特性集。广泛应用PCA相比,足总保留之间的关系因素和特性集,因此结论更容易被心理学家和神经。提出的结合特性和足总寻找最具代表性的神经造成情感价的描述符,不变的试验和主题。
许多先前的研究是基于情感分析的公开数据集DEAP,脑电图和外围32受试者的生理信号同时记录为他们观看音乐视频7]。在目前的工作,在大学期间生成的数据实验使用威。寿命EEG信号,即与事件相关电位(erp),注册期间当受试者已经暴露于高唤醒图片(8]。虽然目前与不同的数据结果,我们的研究结果支持先前的神经生理学研究关于早期和晚期脑电图波之间的相关性(N1 P1, P2、N2成分)和各自的延迟与人类情绪状态(9- - - - - -11]。这也是一个宝贵的贡献的努力理解情感的神经的关系。
本文以以下方式组织。节2提供先进的特征提取技术的概述。节3实验数据集描述。节4所选模型详细的歧视。结果基于提取的神经解码人类情感的描述符中废弃的部分5。总结了结论部分6。
2。不变特征提取
在本节中一些最成功的应用特征提取与降维技术综合性数据框架进行了综述。
2.1。回声状态网络的特征提取
Bozhkov et al。12]介绍了一种特征提取方法使用回声状态网络(ESN)。ESN是一种特定类型的递归神经网络,也被称为一个水库计算,图1。连接在储层随机初始化并保持不变的ESN的训练。输入层与储层和输出层及其权重也随机初始化和未经训练的。只有重量连接储层到输出层的输出训练(13]。ESN由于低数量的计算优势的训练重量限制了其提取底层数据特征的能力。
(ESN提出的修改14)来解决这个问题,水库权重迭代更新应用内在可塑性(IP)适应规则。IP计算储层神经元的平衡态,这种适应一步改善了低维投影平衡态的输出层。
2.2。区间特征提取
Kuncheva和罗德里格斯15]介绍了区间提取特征的特征提取(人生)由来自不同长度的信号随着时间的片段。
如果的值是信号在时间吗在哪里 跨越了ERP集然后形成嵌套的时间间隔使用剩余的样品 。区间长度是不同的,例如,一个序列的间隔 ,结束与 。以下数量从每个时间间隔:(我)平均振幅:(2)标准偏差:(3)协方差: 在哪里和的开始和结束时间索引和间隔的长度吗 。
2.3。独立分量分析
独立分量分析(ICA)是通常用于“清理”脑电图数据通过消除嘈杂的电极,眨眼,和其他文物。ICA产生一个矩阵最大的独立组件当乘以一个分离线性静态变换矩阵的原始数据 。
斯图尔特et al。16]将ICA与支持向量机(SVM)分类是否脑电图数据表明视觉物体的存在刺激。穆勒et al。17也使用ICA和SVM歧视多动症与健康成人通过脑电图数据捕获/勿动蛋白任务中去。在这两项研究[16,17]矩阵发现应用Infomax算法(18]。Infomax联合熵最大化非线性转换为输入向量的集合体。
解决前面的方程 ,
此外, 在哪里是th独立组件和是其各自的代数余子式。可以获得的 是一个稀疏矩阵,所有条目等于零,除了吗生。最后, 是项目的过滤的原始数据到空间独立的组件。这个过滤器是用于个人ERP波分解成单个组件。
2.4。分级概率聚类
Masulli et al。19)提出了一种模糊分级概率聚类(GPC-II),其中每个数据点可以属于不止一个集群。的重心给出了集群的所有点的意思是重的程度(会员)属于集群 :
GPC-II应用在实验中去/勿动蛋白任务被试看面孔的照片,并要求按下一个按钮时,显示“表示中性的情绪。“我们的目标是找到集群在综合性脑电图记录数据。GPC-II运行在每个迭代中与大量的集群和集群只覆盖一个试验(singleton)移除。邻居簇合并基于Jaccard指数作为衡量一对亲密的集群。合并两个集群是如果他们的指数超过一个阈值Jaccard索引值。新的质心计算的平均重心之前的集群成员值的元素。这个过程应用迭代,直到没有更多的邻近的集群可以合并。
2.5。最优特征选择
最优特征选择(OFS)是一种确定性的贪婪算法,在每个阶段的局部最优选择(20.]。OFS可以以两种方式实现:选择向前或向后消除。
提出选择。建立基于特征的数据模型。选择最好的k1特性。让所有两两组合k1选择特性和建立新的数据模型。下一组的最佳选择k2特性和所有3×3的组合。重复这个过程,直到没有更多的改善模型性能。后续的特征子集的选择组合可能会有所不同,以反映在提取过程中经验和应用程序。
逆向淘汰。模型训练的完整特性和权重分配给每个人。特性的最小的重量然后修剪。重复这个过程直到模型性能恶化低于某个阈值。
2.6。主成分分析
一般来说,主成分分析(PCA)是指用于强调变化的统计过程的主要数据组件计算和显示出强劲的模式数据集。它常被用来使数据容易探索和可视化的一切在一个2 d图(通常称为biplot)。
考虑到 是随机变量下的研究。主成分分析将包括获得它们的线性组合变量如下: 以这样一种方式 和所有对 , 不相关的变量。
为了执行一个主成分分析数据集,有必要获得特征值和特征向量的协方差矩阵。
2.7。因子分析
因子分析(FA)是一种探究的方法类似于主成分分析。就像分组聚类分析的相似的情况下,足协组织相似的变量到相同的因素(21]。这个过程通常被称为识别潜在的变量。由于其探究的本质,它不区分独立和依赖的变量;它只使用数据相关矩阵。
换句话说,FA减少模型中的信息通过减少数据集的维数。这个过程可以有多种用途。它可以用于简化数据集,例如,减少变量的数量预测回归模型。如果因素分析是用于这些目的,通常因素旋转后提取。足总认为不同的旋转方法,确保因素是正交的。因此,两个因素之间的相关系数是零。例如,它在回归分析完全消除多重共线性的问题。
最常用的方法是旋转最大方差法,这是一个将在以下部分中使用。最大方差法由正交旋转方法(产生独立因素)的数量降至最低,有很高的每个因子上载荷的变量。这种方法的目的是简化的解释每一个因素。
探索性因素分析的步骤(我)收集和研究数据:选择相关的变量。(2)通过主成分提取初始因素()。(3)选择保留许多因素。(iv)选择评估方法和评估模型。(v)旋转和解释结果。
因子分析的数学模型 其中每个矩阵表示如下: :多变量随机向量和变量 :因素向量和 因素共同随机变量。 :矩阵的载荷的因素;的系数代表的重量th变量th因素 :向量的错误。
总之,因子分析模型认为,可以通过他们的相关性分组的变量。预计,当两个变量之间存在高度的相关性,他们同样将相关因素(在某种意义上,将高载荷因素)。
3所示。数据描述和预处理
在本节中,我们描述用于演示的数据搜索常见神经解码人类情感签名可行的各种主题。
erp时收集26名女性志愿者被暴露于24高唤起图像与积极或消极的内容从国际情感系统[图片22]。每个图像伪随机顺序显示3倍,每个试验持续了3500 ms。12个功能(amp1 amp2,手臂、amp4 amp5, amp6, latency1, latency2, latency3, latency4, latency5,和latency6)提取来自21个通道的erp记录,根据10 - 12系统定位,和2小城镇通道采样在1000 Hz。的最大和最小值统计平均值信号,计算和过滤使用零相位滤波方案,检测和特征对应的时间和振幅特征前三个极限和最大值后发生 (12]。数据矩阵由252年开始()的特性和52(列例子)行。例子对应于每个参与者的平均类相关联的数据。类定义的例子是积极的(1)或负面(0)的内容呈现的形象。注意功能的数量远远高于例子的数量减少,因此特性是强烈推荐。
录音设备NeuroScan提供初始过滤,动校正,基线补偿,在时代和分裂的信号。特征提取之前记录脑电图信号进一步过滤与四阶巴特沃斯滤波器通频带(-15 - 0.5)赫兹(12]。数据也归一化如下: 在哪里原始数据点吗和是数据的平均值和标准偏差分布。
4所示。歧视模型
典型的歧视模型selected-Neural网络(神经网络),随机森林(RF)、支持向量机(SVM)和最近的邻居(资讯)。这个选择反映出本研究的焦点找到合适的神经描述符,更少的依赖于分类器的特征。数据被分为训练和验证子集(76%)和测试子集(24%)。倍交叉验证(CV)使用 。在每个简历迭代,25名受试者被用于培训和一个主题(她的积极的和消极的价读数)被用于验证。首先,情感检测基于所有252特征进行特征选择技术提出了部分2前应用情感检测。分类器的最优结构和hyperparameters后选择一个网格搜索的序列倍的简历如下所述。
神经网络(NN)(我)完全连接神经网络和两个隐藏层:第一个3神经元和第二层一个神经元(图2)。(2)的学习速率进行优化的范围(0.01 ~ 1.0),与最优值等于0.3。(3)动量是优化的范围(0.0 ~ 1.0),与最优值等于0.2。
支持向量机(我)支持向量机与数据类型的内核 是使用。(2) 被优化的范围(0.1 - 10),与最优值等于1。
提高了支持向量机的性能应用自适应提高meta-algorithm(演)。演算法符合额外的副本与调整权重数据集上的分类器分类错误实例,重点分类器最困难的分类实例(23]。
再邻居(资讯)(我) 被优化的范围[1 - 10],与最优值等于5。(2)距离计算办法最近的邻居。两个距离措施比较研究:(1)切比雪夫两个点之间的距离和 ,与坐标和 ,是 (2)余弦相似度是衡量两个非零向量之间的相似度表达的夹角的余弦值(24]。结果在下一节中得到应用资讯与余弦相似性距离测量证明提供更好的歧视。
随机森林。随机森林(RF)由多个决策树。我们运行射频树木和最大的树的深度 。最佳的射频结构被发现10棵树和最大深度为20。
5。结果
在本节中获得的结果与统计软件RapidMiner (RM),扩展与RM特征选择(25]。实验运行在电脑上运行Windows与英特尔酷睿i7 10 - 5500 u CPU和8 GB的RAM内存。
所有歧视模型的性能测试数据总结表1。情感价识别跨科目太低时,所有的功能都被作为分类器的输入提供(第二列在表中1)。这某种程度上是一个预期的结果考虑到高维特征空间的例子的数量。运行分类任务与任何一个预处理步骤后的特征选择技术部分中给出2提高了性能比直接歧视大脑状态。然而,因素分析(FA)是显示是获胜的方法提取不变的特性。在四个分类器,支持向量机和神经网络目前的最高识别率。
表2介绍了因子分析中使用包执行软件R图书馆,考虑四个因素和标准最大方差法旋转(26]。足协建立一般的变量之间的关系。第一个四个因素解释约占总数的70% 252年初始变量的变异性。表显示了最强的关系因素和原始数据变量,可以解释如下:(我)时间的特性(振幅,延迟):早期波(Lmin1 Lmax2,即。,temporal window of 200–400 ms after the stimulus onset) have higher influence on data variability. This matches experimental psychology hypothesis related to temporal dynamics of emotions. According to [27),早期波携带更多的信息比唤起感情的价。晚波不歧视对情感价。(2)空间特性(渠道):空间位置的特性,对情感价较强的影响,发生在顶叶(Pz渠道P3, P4和P7)和枕(渠道O1,盎司,和O2)的大脑区域。
歧视率表的最后一列1得到与模型训练四个因素。更详细的分类器的分析描述了数据3- - - - - -6。类似的数字混淆矩阵性能指标。注意,召回度量(正确的分数分类正面例子)的分类率最高。这个结果对应于更好的歧视的积极的价,这也是按照假设的生物心理学(28]早期时期刺激表示大脑反应后,图像与高度积极的价,更强。
6。结论
本研究的目的是确定共同的神经签名基于人类情感的积极和消极的价可以可靠地歧视跨多个学科。大脑活动的注册与事件相关电位(erp)。我们探索跨学科培训歧视模型进行预测的可行性基础提取不变的神经描述符,隐藏在erp。本研究的核心是选择功能的方式。的结合少量的时域(ERP振幅和延迟)和空间(选择频道)特性有可能减少主体间变异性和提高代表模型的学习有效的跨多个学科。
基于这项研究的结果我们认为因子分析(FA)的erp是一种很有前途的方法来提取统计学科之间大脑活动的潜在相关性,因此解码人类的情绪状态。然而,之前更强的结论的能力足总解码的情感,需要进一步的研究来回答其他问题如歧视两个多的情绪。事实上这是一个有关问题对所有报道工作情感神经科学(1]。歧视通常局限于二、三、四valence-arousal情感类或最大。一个有趣的问题也是人类个性集群基于脑电图,例如,区分高与低神经质的人格类型。此外,实验参与者的数量对揭示稳定的跨学科特性很重要。回顾文献中参与者的平均数量大约是10 - 15,和最大是32 (DEAP)。我们需要比较不同的高维数据集技术为了进一步发展情感计算。
的利益冲突
作者宣称没有利益冲突。
确认
这项研究工作是由索菲亚特克斯公园通过R&D&I财团和人工智能CAD系统实验室,在项目的上下文”开发和实现无线机器人控制的概念通过脑电图信号从大脑活动,”和国家基金通过FCT(基础科学和技术),在项目的背景下UID / CEC / 00127/2013。