文摘

当面对各种压力,人类将有不同程度的不良心理情绪,尤其是抑郁和焦虑。如何有效地获取心理上的数据信号,并使用先进的智能技术识别和决策是心理学和计算机科学的一个研究热点。因此,个人情感倾向分析方法提出了基于脑功能成像和深度学习。首先,EEG向前模型建立了根据功能性磁共振成像(fMRI),和信号源的传递矩阵头部大脑皮层表面电极。因此,激活fMRI情感实验的结果可以被映射到三层的头部模型获得脑电图地形图反映情绪的程度相关。然后,结合数据增强(混合物)与三维卷积神经网络(3 d-cnn),一个基于M-3DCNN emotion-related脑电图地形图分类方法。混合用于生成虚拟数据,原始数据和虚拟数据用于训练网络,训练样本的数量扩张,3 d-cnn的过度拟合现象减轻,3 d-cnn用于特征提取和分类。实验数据分析表明,与传统方法相比,该方法可以保留情感相关的脑电图信号在更大程度上和获得更高精度的情感五个分类维度在同样的特性。

1。介绍

情感往往涉及人们的直接需求和主观态度和经常与其他心理过程复杂的相互作用。它是一个全面的思想,感觉,和行为。精神状态的一个重要组成部分,情感的测量和识别一直是一个人们想要解决的问题。情感识别一般指定性或定量鉴定(评价)一个人的情感通过外部观察和测量。科学的识别情绪的前提是要有一个科学的情感分类模型1- - - - - -5]。因为情感往往伴随着大脑的高级认知活动,涉及大量的主观成分,情感的客观和准确的评价一直是研究人员的难题。

近年来,随着现代神经科学技术的不断进步,取得了一系列重要成果的大脑认知神经科学通过脑电图(EEG)、功能性磁共振成像(fMRI),和功能性近红外光谱仪器(fNIRS) [6,7]。这使得研究的新突破认知问题,如知觉、注意、记忆,规划、语言,和意识层面的大脑神经。认知神经科学的不断发展和大脑活动测量技术已逐渐建立了一个主观世界和客观世界之间的桥梁。人类逐渐进入真正的大脑阅读时代。在这些手段,脑电图是收集大脑细胞的自发和有节奏的电活动信号通过电极组,以反映有关大脑的功能活动。这种电信号总是伴随着生活,反映了人们的很多心理活动和认知行为。除了特征不能伪装,脑电图具有实时差分和可移植性。因此,越来越多的学者和机构对情感识别使用脑电图作为研究工具。

如何确定各种情绪状态的脑电波模式通过这些脑电图特点和如何通过相应的脑电图未经训练的样本分类模式中完成的任务的学习和分类的情感模式。选择一个好的分类器可以发挥重要作用的解释和分析EEG模式在不同的情绪状态。基于脑电图情感模式识别方法可以分为无监督学习方法和监督学习方法(8,9):(1)无监督学习方法包括模糊聚类,k最近的邻居,等等。他们都分类样本自动根据样本之间的欧氏距离;(2)不同于无监督学习,训练分类器时,监督学习方法知道或手动标签样本的类别标签,逐步修改分类器通过样本的类别信息。然后,使用训练的分类器在测试样本集进行测试。常用的监督学习方法主要包括支持向量机(SVM),线性判别分析(LDA),高斯朴素贝叶斯(GNB),深度学习,等。其中,更好的影响是深刻的学习。

目前,学习方法的发展非常迅速。其中,卷积神经网络(CNN)已被证明有很大的发展前景在计算机视觉领域,广泛应用于图像分类、目标检测和图像分割10- - - - - -14]。CNN包含多个隐藏层。输入信息可以习得一层一层地获得高层次、高水平的抽象和区别的特性网络。高级功能可以用于分类获得良好的分类效果。与人为设计的特征提取方法相比,CNN的方法可能更适合emotion-related脑电图地形图像分类。

2。文献综述

预处理后,获得相对纯粹的EEG信号,这也是必要的EEG信号的提取特征。在情感识别基于脑电图,特征提取是一个非常重要的环节。只有真正提取情感相关的特性我们可以提供保证最终的情感识别的准确性(15- - - - - -17]。Mitsukura [18)设计的带通滤波根据五个常见的频段滤波器最初的脑电图,以便计算五个频段对应的频带能量作为情感识别脑电图特征。白等。19)利用傅里叶变换计算原始EEG信号的功率谱密度的电极在θ,α和β频段情感识别的脑电图特征。Masruroh et al。20.)利用非线性动力学的方法从EEG信号中提取特征和使用的空间复杂性区分两种不同的状态和反思。Wankhade和Doye21)提出了深度学习的方法,结合小波分解提取和识别脑电图频域特性,和情感识别和分类的准确性明显提高。脑电图特征的提取和选择可以提供一个可靠的信息来源分类器,这是影响情感识别的准确性的关键。然而,因为它使得基于脑电图上述情感识别方法仍然不能满足需求的稳定性、准确性和实用性。此外,为了提高情绪识别基于脑电图的稳定性和准确性,是非常重要的,选择适当的分类器做出适当的改进,但仍有少在这一领域的研究。

CNN是一个深入学习网络模型受到动物视觉系统。其网络作文模仿视觉系统中的各种细胞的原则构建网络模型(22- - - - - -24]。CNN最初是专为二维数据的特征提取。它可以直接建立映射关系从低层特征到高层语义特征,取得了举世瞩目的成就领域的二维图像分类。赵et al。25)提出了一个基于三维卷积驾驶员疲劳状态识别网络。大量的理论和实验表明,3 d-cnn可以从空间信息中提取特征图像的维度和额外维度的同时,以提高网络的分类性能。Cai et al。26)提出了一种视频分类方法基于三维(3 d)卷积神经网络(CNN),它使用卷积过滤器和全球平均池层获得更详细的功能。

摘要提出了一种基于脑功能成像的心理情感分类方法和深度的学习。首先,针对情感相关渠道的选择在脑电图,fMRI介绍辅助分析,以及脑电图emotion-related信道选择方法提出了基于EEG转发模型,可以使用大脑活动信息通过fMRI协助脑电图通道选择。然后,针对样本数量不足的问题将会导致网络的过度拟合现象,本文结合数据增强(混合物)与3 d-cnn分类和提出了一种基于M-3DCNN emotion-related脑电图地形图分类方法。最后,通过实验数据验证了该方法的有效性分析。

3所示。心理情感分类基于脑功能成像和深度学习

3.1。fMRI-Assisted Emotion-Related脑电图地形图

作为两个主要的神经影像工具非侵入性脑功能的研究中,脑电图和fMRI一直高度关注和广泛应用于临床诊断和学术研究,因为他们的高时间分辨率和高空间分辨率的优点,分别。目前,脑电图和fMRI的融合已成为前沿热点。作为一个重要的技术领域的神经成像,功能磁共振成像具有高空间分辨率的特点,可以弥补缺乏空间信息通过脑电图在一定程度上获得。

功能磁共振成像信号的统计分析方法主要包括两个大脑活化分析方法:相关系数估计和一般线性模型(GLM)参数估计。前者只能计算体元时间序列之间的相关性和单个任务参考系列和不能用于复杂的实验设计。的漠视,参数估计方法可以估计多个任务的影响系数参考序列同时体元时间序列,然后执行多个任务的比较分析。前者可以被视为一种特殊情况。GLM的基本原理可以由以下公式描述27,28]: 在哪里 是体素反应的时间序列值。 设计矩阵,每一列代表一个解释变量,共有k解释变量。通常是通过实验设计参数和血流动力学响应函数的卷积和一般线性漂移和常数偏差项。 要估计的参数,对应的系数k解释变量。 是误差项,它通常表示与高斯白噪声。GLM的目标是找到最优的一组值的平方和最小化错误。

全球语言监测的基础上,基于迭代的健壮的GLM再加权最小二乘(irl)是小样本和大回归更有效。功能磁共振成像数据处理软件SPM8 (https://www.fil.ion.ucl.ac.uk/spm/software/spm8/)用于本文使用这种方法。

脑电图向前模型来源于脑电图提出问题的解决方案,这意味着头皮表面电位分布计算当源分布和头部模型是已知的。数学上,脑电图的提出问题可以被描述为泊松公式: 在哪里 电导率。 的体积是电流源产生的电流密度。 代表了潜在的大脑产生的电流源的头表面。在这篇文章中,开源软件(https://fieldtrip.fcdonders.nl/download.php)是用于构建EEG模型。

该方法的主要思想可以被描述为下面的公式: 在哪里 从头部皮层传递矩阵表, 是电极的数量, 大脑皮层上的网格数量, 在大脑皮层激活度矢量网格,然后呢 是每个电极之间的关联度和情感。

首先,获取的情绪相关的脑区激活使用fMRI情绪实验数据,然后向前传递矩阵是通过脑电图模型由大脑标准结构图像,以获得脑电图地形图反映情感相关的程度,这对渠道选择提供指导脑电图情感识别。生成emotion-related脑电图地形图的具体流程如图1,主要分为三个部分:(1)emotion-related激活的大脑区域从情感功能磁共振成像实验数据获得。(2)建立一个标准的头部模型通过大脑标准结构图像,图像和数据的每个注册标准大脑通过SPM软件的标准化的步骤。利用边界元法(BEM)和输入获得的三层模型到实地考察软件负责人,转移矩阵l从头部皮层网格表可以获得。(3)每个通道之间的相关性和情感被脑电图向前计算模型。


图1
具体的过程生成emotion-related脑电图地形图。
3.2。混合方法

在分类任务中,通常采用经验风险最小化网络优化模型。然而,经验风险最小化的原则是记住在训练数据而不是概括数据。如果样品在测试组没有出现在训练集,它可能导致分类错误在测试集。此外,根据大数定律,当样本数趋于无穷时,经验风险会预期的风险。然而,emotion-related脑电图地形图的特点是小样本大小。因此,如果使用这种方法来优化网络在emotion-related脑电图地形图分类任务中,模型可能不是训练有素。

为了解决这个问题,深度网络容易过度拟合是由于训练模型的不足,研究人员提出了混合方法(29日,30.)来解决这个问题。混合方法的计算方法如下: 在哪里 代表了虚拟数据混合的混合方法, 和 两个样本训练集的随机选择,然后呢 是重量。

使用混合方法,网络可以被训练使用的线性凸组合相同或不同类型的样品和他们的标签,它可以规范网络。因此,本文涉及的像素emotion-related脑电图地形图获得虚拟数据,随机选择一条数据的数据集,混合样品和标签根据重量,和训练网络的虚拟数据生成的混合方法和原始数据。

3.3。原则3 d-cnn

一个完整的CNN通常是由输入层、卷积层(Conv),池层和完全连接(FC)和输出层。其核心结构是隐藏层卷积层和池层组成。一个完整的卷积神圣的网络结构如图2。


图2
完整的CNN结构图。

CNN最初是专为二维数据的特征提取。它可以直接建立映射关系从低层特征到高层语义特征,取得了举世瞩目的成就领域的二维图像分类。然而,滑动计算二维平面中提取的信息是不够的。大量的理论和实验表明,3 d-cnn可以从空间信息中提取特征维度和维度的额外信息图像的同时,以提高网络的分类性能。

在2 d-cnnjth特征的地图lth卷积层神经元 在 可以通过以下公式计算: 在哪里 和 ,分别代表二维卷积核的长度和宽度, 代表的特征图l−1层, 卷积内核连接吗米th特征图的层l−1 是抵消, 代表了激活函数。

3 d-cnnjth特征的地图lth卷积层神经元 在 可以通过以下公式计算: 在哪里 代表三维卷积内核和的高度 卷积内核连接吗米th的特征图l−1层。

3.4。基于M-3DCNN情感分类方法

本文结合数据增强(混合物)与3 d-cnn分类和提出了一种基于M-3DCNN emotion-related脑电图地形图分类方法。M-3DCNN网络使用混合方法用于数据增强。获得的数据的混合方法和原始数据被发送到3 d-cnn网络构造的特征提取和分类。为了降低空间分辨率的损失,M-3DCNN网络使用体积而不是池步操作。网络结构如图3和网络参数如表所示1。


图3
M-3DCNN网络分类方法的原理图。
表1
M-3DCNN网络参数。

批正常化(BN)是用于网络建设。BN层也是一个广泛使用的深层神经网络训练技术。通过批处理规范化操作,每一层的输入神经网络在训练过程中保持相同的分布,以提高网络的训练速度,加速收敛过程,减轻梯度爆炸的问题。M-3DCNN的伪代码如表所示2。

表2
M-3DCNN算法伪代码。

4所示。实验和分析

4.1。实验数据集和平台

功能磁共振成像和脑电图实验数据都是通过功能性磁共振成像技术(西门子3.0 t扫描仪)。具体的扫描参数如表所示3。

表3
扫描参数。
4.2。分类效果评估标准

总体分类精度(OA)和平均分类精度(AA)是用来评估模型的分类性能。(1)总体分类精度(OA)代表的比例的正确分类的类别数的测试集的总数在测试集样本类别,和表达式如下公式所示: 在哪里 代表类别的样本总数在测试集, 代表类别的测试样品的数量, 代表样品实际上属于一类我分为类别正确吗我。(2)平均分类精度(AA)代表的平均值的比例正确的数量在每个类别分类类别测试集的总数测试样本的类别,及其计算方法如下公式所示: 在哪里 代表类别的总体分类精度我样品在测试集。

4.3。Emotion-Related脑电图地形图

三个科目,emotion-related激活的大脑区域提取,分别皮质的激活程度矢量网格计算和映射到脑电图地形图通过转发模型,结果如图所示4。

(一)
(一)
(b)
(b)
(c)
(c)
图4
Emotion-related脑电图地形图。(一)主题1;(b)问题2;(c) 3。

我们可以看到在图4电极的分布与更高程度的情感相关性主要是集中在额叶和枕叶。另一方面,我们可以发现,还有一个大型主体变化不同的情感激活的大脑区域,也反映在派生的脑电图地形图情绪相关。

4.4。网络参数选择

两个指标:总体分类精度(OA)和平均分类精度(AA),被用来评估实验结果在这一节中。在网络参数选择实验中,10%的随机选择样本作为训练样本,剩下的样本用于测试样品。

4.1.1。确定卷积核的数量

卷积核的数量的一个重要影响因素的分类精度M-3DCNN网络。数量k卷积的内核中选择第一层是8,16日,32岁,和64年,分别。最初的学习速率设置为0.003,最小数量的批量设置为100,和轮网络训练的数量是300。实验结果如图所示5。所有10个重复实验的平均结果。


图5
的卷积核的数量对分类精度的影响。

从图可以看出5情感的分类精度相关的地形图不会继续增加与卷积核的数量的增加,和分类精度将达到饱和的一定数量的卷积核。分类精度达到饱和后,增加卷积核的数量可能会导致网络的退化,导致分类精度的下降。因此,最优数量的卷积核是32。

10/24/11。空间大小的确定

如果所选样本空间大小太小,分类精度可能会减少由于不完整的信息。本文通过比较3×3,5×5,7×7,9×9,11×11和13×13选择最好的空间大小,最初的学习速率设置为0.003,最小批量的数量设置为100,和轮网络训练的数量是300。实验结果如图所示6。所有的结果都为10次重复实验的平均值。


图6
空间大小对分类精度的影响。

从图6,可以看出M-3DCNN不再继续增加在达到最优分类精度在11×11空间大小,因为输入图像的空间大小越大,运行时间越长。合并后的分类精度和运行时间,M-3DCNN选择输入11×11的情绪地形图的空间大小。

4.5。情感识别的比较分析

验证的有效性提出了emotional-related M-3DCNN地形图分类、五情感类别(强阳性,弱阳性、中性、弱负,和强烈的负面)分类使用M-3DCNN和其他深度学习的方法。卷积M-3DCNN网络设置内核数量和空间规模的最优参数。混合方法的重量设置为0.5。所有10个重复实验的平均结果。比较不同方法的分类结果如表所示4。

表4
不同的方法的分类结果。

从表可以看出4M-3DCNN方法具有更好的分类效果比其他深度学习的方法。OA和AA地形图相关的情感分类方法基于m-M-3DCNN高于SVM, 5.87%和4.73%分别;5.82%和3.62%高于1 d-cnn;4.93%和5.52%高于2 D-CNN;高于3 d-cnn和0.99%和0.51%。

5。结论

本文提出一种方法基于脑功能成像和识别心理情感倾向M-3DCNN。基于emotion-related脑电图地形图基于功能磁共振成像,该方法结合了混合方法3 d-cnn缓解过度拟合的问题小图像样本3 d-cnn深网络训练的过程。实验结果表明,与现有的其他方法相比,该方法可以改善情绪五分类的准确性在同一时间效率。

数据可用性

使用的实验数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称他们没有利益冲突的报告对于本研究。