文摘

本文提出了一种新颖的固定低秩空间滤波器估计大脑计算机接口(BCI)系统与应用程序识别情绪引起的电影。该方法结合等任务特征提取,特征选择和分类,通常独立解决“自下而上”的方式,在一个正规化的损失最小化问题。损失函数显式地来源于传统的BCI其最小化的优化方法,解决了非凸固定低秩约束。进行评估,进行了一个实验电影诱发情绪的数十名年轻人对象,并使用该方法估计的情绪状态。该方法的优点是,它结合了特征选择,特征提取,分类成整体优化问题与一个固定的低秩正规化,隐式地估计最优空间过滤器。该方法显示了基于csp的替代品竞争表现最好的。

1。介绍

脑机接口(bci)是一个快速发展的研究领域,结合了神经生理学的见解,统计信号分析和机器学习。bci通常是设计基于模式识别的方法,即从EEG信号中提取特征和使用分类器来识别用户的心理状态从这些特性1]。这些序列的方法被称为“自底向上”方案;给予大量的实验脑电图数据,更好地表征数据提取到最后获得顶部的分类输出。相比之下,歧视或“自上而下”的方法关注预测用户意图和基于两个标准:实证预测性能和规范。适当选择regularizers自动引入信号的稀疏分解,与传统的特征提取(2]。

提出了一种区别的方法使用一个低秩调整来估计空间过滤器中提取有效的特征研究。该方法的优点是,它结合了特征选择,特征提取,分类成单片低秩正则化优化问题,因为这种方法包括空间滤波器估计的统计推断模型的优化框架。下一个合适的选择规范,它诱发最好的推理模型,它含蓄地估计最优空间过滤器根据正则化的假设。

情感分类从脑电图数据最近引起了人们广泛的关注3,4]。情感也是一个重要的角色在人与人之间的沟通和互动。认识到人的情绪状态的能力是自然交流的一个重要组成部分。这一领域的研究仍然相对较新,仍有许多要做改进现有元素BCI还发现新的可能性。

提出的评价方法,实验电影诱发情绪的数十名年轻人对象,并使用该方法估计的情绪状态。结果与传统方法相比使用公共空间模式(CSP)。

本文的贡献是建议和明确固定的低秩限制歧视方法的推导及其应用与比较分析与传统情感识别方法。本文组织如下。部分2从脑电图描述情感识别的背景下,部分3描述了该方法。部分4介绍了数据采集和实验协议。部分5描述和讨论的结果。部分6总结了纸。

2。背景

2.1。情绪在大脑中

边缘系统,就像一个皮质脑干周围环负责最初的情感诠释从自主神经系统的信号。下丘脑是负责处理传入的信号,触发相应的内脏生理效应提高心率或皮肤电反应。

下丘脑的刺激信息传递到杏仁核,这是很重要的对于学习连接刺激情绪反应(奖励/恐惧)和评估新的刺激通过比较他们过去的经验。

对情绪加工杏仁核被认为是至关重要的。然而,由于它是一个底层结构边缘系统的其他部分一样,它不能被直接探测到从头皮记录。杏仁核与时间和前额叶皮质,这被认为是内脏感觉的方式解释认知,导致有意识地经历了一种情感的感觉(5]。

颞叶是必不可少的听力,语言,情感和在内存中也扮演着重要的角色。前额叶参与所谓的最高水平的功能。它负责认知、情感和动机过程。前额叶额叶皮质的一部分,据说是情感的控制中心,甚至决定性格。它是参与等判断和社会行为。这些函数是基于情感的体验。

2.2。价:半球形不对称

心理生理研究显示激活的差异的重要性两个皮质半球之间的主题显示对刺激的反应。左额戒断反应的失活是一个指标,这通常是与消极情绪有关。另一方面,右额叶失活是一个信号响应的方法,或积极情绪。

Harmon-Jones [6)表明,半球形差异并不表明情感价,但激励的方向(方法或退出行为的刺激)。情感价似乎与激励紧密相连的方向。因此,半球形对称模式表明情感价。

戴维森和福克斯7)发现,10个月大的婴儿表现出左额增加激活在回应一个影片剪辑的演员创造一个快乐的表情比一个悲哀的表情。额叶皮质活动被发现与面部表情的积极和消极情绪。

3所示。方法

3.1。总体框架

给定一个短高通脑电图过滤段,,在那里的渠道和数量吗是时间点的数量,数据被第一次带通滤波频带范围进行了研究。常用的二阶或权力oscillation-based线性模型可以写成:

在这里,是空间过滤器,的权重系数是吗特性,是一种偏见。分类器的第一个项目的信号空间过滤器。接下来,需要的力量投射的对数信号。最后它线性结合这些维特性和偏见。

来确定空间过滤器,经常使用CSP (1]。许多变异的原始CSP。(8]。系数和确定统计从训练的例子,即组试验和标签收集在校准阶段。标签对应的二进制类研究。

简要总结CSP计算空间滤波器,它是通过extremizing以下函数: 在哪里是EEG信号的空间协方差矩阵类如下: 我们假设一个零均值的脑电图信号。

自保持不变,如果新,extremizing相当于extremizing受约束。使用拉格朗日乘子法,这相当于extremizing以下函数约束优化问题: 空间滤波器extremizing这样的导数是什么关于= 0:

空间滤波器的特征向量对应于其最大和最小特征值。

3.2。模型校准

如果我们忽略的对数(1),它可以是新配方如下: 在哪里和的协方差矩阵是吗。最后,我们获得

请注意,两个矩阵的elementwise内积。确定参数、逻辑回归分析,煤级正规化。这相当于解决以下优化问题与训练的例子: 在哪里是th的奇异值和的等级限制。第一项是凸的。但由于低秩约束项是凸,不能保证找到最优点。为了解决这个问题,乘数的交替方向方法(小组ADMM) [9),希望它比其他局部优化方法具有更好的收敛性能。对于非凸问题,根据初始值,解决方案可以收敛于不同的点。

优化问题描述如下: 在哪里是一组与秩矩阵。小组ADMM解决它,它可以改写如下: 在哪里的指标函数。增广拉格朗日(使用了双变量) 在哪里叫做惩罚参数。所以这个问题的迭代优化小组ADMM 在哪里是投影。因此,是由进行奇异值分解,,并保持顶部奇异值;也就是说,

我们可以初始化和零w.l.o.g。原始和双重迭代残差定义如下: 这些小组ADMM所得残差收敛于零。

3.3。多个频段

该方法可以扩展为多个频带估算空间过滤器。让带通滤波数据通过过滤操作符。信号的协方差矩阵表示获得单独为每个频率通带。然后将这些作为一个大的块对角矩阵(14)。获取空间过滤器为多个乐队,这个块对角矩阵代替在(7)。解决方案是将有效地选择最优空间从多个频段特性:

3.4。该方法的优点

CSP估计空间过滤器根据相应的标准组件产生最小方差为另一个条件和最大方差,从而增加区别的能力。然而由于空间滤波器估计与推理模型,如逻辑回归,预测的最优滤波器只能使用推理模型的交叉验证和选择一个产生最佳的经验推理性能。

另一方面,我们建议的模型来自“自上而下”的方法结合了空间滤波器估计预测模型。因此通过专注于预测性能和选择适当的调整,如固定低秩在我们的模型中,它诱发信号的稀疏分解对应传统的特征提取。因此,它含蓄地估计最优空间过滤器最好的推理模型在假设。

4所示。情感识别

预测参与者的情感经历了从单一的脑电图段,采用预测模型估计从给定短脑电图段(5秒)的概率参与者经历积极或消极情绪。评价,5倍交叉验证由坚持执行一次数据集的测试,其余四期与标签数据集被用来估计参数。对每一轮,伸出数据集是用于测试来评估分类错误率。在每一轮中,分类错误率的比率计算的数量正确分类脑电图部分除以总数量的脑电图描记器部分的审判。

4.1。数据采集

二十三岁的健康成人志愿者参与的知情同意下是ATR的伦理委员会批准。其中,十个科目(男性= 3,女性= 7,年龄=)选择进行分析。从32凝胶头皮脑电图记录电极,如图1和四个小城镇配售眼睛周围使用eego放大器(ANT神经、恩斯赫德、荷兰)和24位分辨率。脑电图是采样在512赫兹。协议中描述的脑电图实验图2。引起情绪,一组用于参孙的影片剪辑et al。10使用了)。影片剪辑包括四类不同的目标情绪状态:积极的,消极的,中立的,好坏参半。每个片段的平均时间约为20秒。对于每一个审判,引起情绪,四个随机选择的影片剪辑播放相同的情感类不断没有间隔,其次是自我评估的问题。一次由四个不同的电影类的四个试验。在每次试验之前,一个随机颜色光栅模式显示为90秒洗出参与者的情绪状态。整个实验由七个交易日。的分析,然而,只有前五个交易日被使用,因为在过去两个交易日里,大多数参与者出现疲劳或昏昏欲睡。

4.2。预处理

EEG信号是从512到128赫兹和高通downsampled过滤在0.5赫兹。小城镇和肌肉工件自动删除使用AAR (11]。在32个频道中,只有26频道使用不含参考和前额频道,Fp1, Fpz, Fp2,此次被污染严重的构件。EEG信号rereferenced M1和M2的意思。所有的试验数据都从第一个影片剪辑的开始,直到最后剪辑的抵消。然后所有的试验数据都带通滤波4-47赫兹。最后,所有试验数据是相同的长度设置为80秒。训练和测试数据生成通过使用滑动窗口在每个试验数据。窗口的长度是5秒,窗户是两秒之间的重叠。

5。结果

图3显示分类错误率的可变性对所有参与者由于等级的变化的限制。分类错误率在折叠计算平均。达到高原后等级限制。这个数字表明,最优等级1到10之间存在约束无论参与者。

低秩约束优化的收敛时间图所示4。时间逐渐减少相互地随着级别的增加,到高原的一些约束。趋势非常相似的分类错误率在图3。也发现主题分类错误率较高的数据往往收敛的时间也更长。

图5显示平均分类错误率的变化通过改变带通滤波器的频带θ(4 - 7赫兹),α(8日至13日Hz),β(14-29 Hz),γ(30-47 Hz),宽带(4-47 Hz)的预处理步骤。我们使用等级6的频带。平均来说,β和γ乐队获得了更好的性能较低的乐队相比,也就是说,θ和α乐队。获得最佳性能时使用了宽的频带。

与其他方法进行比较分析,空间过滤器被CSP使用相同的预处理数据计算。自该方法使用等级6约束进行分析,六个CSP过滤器是用于替代方法。CSP过滤器自动选择了三个特征向量与特征值最高/最低。我们执行了5倍交叉验证与不同的分类算法,即ElasticNet, LDA, QDA,线性SVM (L-SVM)和RBF核函数支持向量机(R-SVM)。所有方法中,我们使用相同的特征向量选择采用CSP过滤器。注意,对于每个回合,空间过滤器都只使用训练数据来重新计算。

图6描述subjectwise比较的意思是该方法的分类错误率与等级6约束(中都)和六个与CSP常规方法。除了主题“S1”,该方法取得了更好的或比较的结果与其他方法相比。

表1描述了比较结果。分类错误率得到了平均科目。该方法优于基于csp的LDA、QDA L-SVM,与ElasticNet R-SVM方法和显示性能比较,最先进的方法。

5.1。讨论

如果所有的23个受试者的数据用于分析,平均分类错误率降至0.302 (0.103)到0.412 (0.131)在使用该方法时(中都)。这是因为排除受试者的结果显示低于或略高于水平的机会。这些结果的退化是常见的方法包括传统方法无关。因此,这些学科被认为不可靠的数据,所以我们手动选择十个主题分析。non-i.i.d培训/测试数据。因为滑动窗口方法;也就是说,有相邻数据之间的时间相关性。但是我们的假设是,即使违反i.i.d.假设,该方法在实践中会工作得很好。

的低秩约束线性模型(7)可以改变如下: 最后方程表明,空间过滤器,和应用到的协变矩阵从左和右,和空间的内积过滤信号用于特征向量形式。特征向量的权重系数对应于奇异值。请注意,空间过滤器和几乎是相同的,可能与不同的迹象,由于原来的线性模型的本质用(7)。因此,它对应于计算空间过滤信号的力量,同样基于csp的方法。

图的地形7代表六个代表性的头皮地图空间过滤器,通过均值聚类估计空间过滤器对象如图12。空间过滤器是由左奇异向量定义的。地形的颜色映射(红色)(蓝色)。

图8显示的差异意味着光谱功率密度(PSD)之间的积极的和消极的所有科目。PSD是计算平均PSDs的空间利用六个空间过滤器过滤信号估计所有科目。因此,意味着PSD代表总平均PSD空间过滤脑电图信号。虚线显示单位为情节的平均偏差。从这个图中,我们可以观察到阳性往往拥有更大的权力比-尤其是对β和γ频带。

5.2。价和中性

为了进一步研究之间的差异正/负价和中性,双向二进制分类进行了正面和中性和负面和中性。的分析,我们采用该方法与等级6约束如上所述正面与负面分析。预处理是之前一模一样,除了培训/测试数据与目标两类。在4-47赫兹带通滤波的数据。

图9描述了两种情况下的分类错误率:正面和中性和负面和中性为同一主体。均值和std.变异的分类错误如下:正面和中性()和消极的和中性的()。从这个结果,我们发现高分类性能对于积极的和中性的情况往往低消极的和中性的情况下的性能。

图10显示六个代表性的头皮地图空间过滤器(a)积极和中性和(b)负面和中性的,获得的均值聚类估计空间过滤器作为图的描述7。数据13和14显示所有科目的估计空间过滤器正面和中性和负面和中性,分别。

当我们描述的部分2,许多研究表明,半球形的不对称在额叶皮层是涉及情感和动机。如果的假设是正确的,我们的假设是头皮的地图估计空间滤波器对价与中性可能会显示额叶不对称模式,因此空间过滤器应该增加推理精度。

在图的地形10,其中一半是做显示不对称模式在额叶和左/右颞叶区。是困难的但略可观测的向左或向右偏侧性对应于正面或负面价的作品(6,7]。

数据(11日)和11 (b)之间的差异意味着PSD正面/负面和中性的所有空间过滤通道和主题。PSD是获得同样的积极的和消极的情况如图8。

从这些数据中,我们可以观察到积极的有更大的力量比中性β和γ乐队。另一方面,消极的也有类似的权力或略低于中性的乐队。

6。结论

在这篇文章中,一个固定的低秩空间滤波器估计提出了BCI系统与应用程序引起的情感识别的电影。该方法结合等任务特征提取,特征选择和分类,通常独立解决“自下而上”的方式,在一个正规化的损失最小化问题。我们明确地派生传统BCI的损失函数的方法,解决了其最小化通过凸优化固定低秩约束。

该方法来自“自上而下”的方法包含了空间滤波器估计预测模型。因此通过专注于预测性能和选择适当的调整,如固定低秩在我们的模型中,它诱发信号的稀疏分解对应传统的特征提取。因此,它含蓄地估计最优空间过滤器最好的推理模型在假设。比较分析的结果表明,该方法是基于csp的替代竞争和等效性能最好的。

在讨论中,我们表明,约有一半的重大头皮的地图空间滤波器估计对于积极和消极显示不对称模式在额叶和颞叶,同意先前的研究工作;即不对称模式在额叶皮层与情感和动机。我们也观察到积极状态往往表现出更大的力量比消极的状态对β和γ频带。相反的偏侧优势半球的活动是积极的和消极的情况下弱承认。

有一些未来工作方向和一些建议改善性能。首先,需要将该方法扩展到多类分类识别各种各样的情绪状态。第二,源空间分析可能有助于进一步研究皮层下的情感活动。最后,获得真正的培训/测试数据是原始的重要性尤其是bci取决于内感受器的投入,如思想和情感。一个可能的解决方案是基于评级的参与者评估标签。

相互竞争的利益

作者宣称没有利益冲突。

确认

这项研究受到了的影响程序委员会科学,技术和创新,日本。作者要感谢博士Motoaki Kawanabe宝贵意见和欣赏武Ogawa博士和Hiroki守屋的实验装置。