文摘

运动图像脑电图广泛用于脑机接口系统。由于脑电图信号的固有特征,准确、实时的多类分类总是挑战。为了解决这个问题,一个多级双子支持向量机的后验概率解决方案提出的排名连续输出和成对耦合。首先,两舱后验概率模型来近似后验概率的排名连续输出技术和普拉特的估算方法。其次,双子支持向量机的多类概率输出解决方案是由结合每一对类概率根据成对耦合的方法。最后,该方法是通过投票与多类支持向量机和双子支持向量机相比,和多级后验概率支持向量机使用不同的耦合方法。在分类精度和效果证明了该方法的时间复杂度UCI标准数据集和真实世界的脑电图数据从BCI竞争第四集2,分别。

1。介绍

在不同的脑成像技术、脑电图(EEG)是常用的由于其非侵入式收购,时间分辨率高、易用性和低成本(1]。基于运动图像的BCI系统提供了用户控制电脑光标的运动能力和互动机器人轮椅和探索虚拟环境(2]。头皮脑电图测量是一个高维测量,因此它反映了全球脑电生理活动。同时,它导致两个缺点3]。一方面,脑电图本质上是多元和展品高相关4)之间的测量在不同的电极电位(渠道)。另一方面,观察到的数据的低振幅和对噪声敏感的生物、环境和仪器。由于这些脑电图特点,需要适当的信号处理技术来处理噪声取消的问题,特征提取,分类多通道脑电图。

一个运动图像基于BCI系统的核心部分是一个模式分类的过程,在有效的分类方法实现高绩效是至关重要的。传统的学习方法已经应用于二进制脑电图分类,如Fisher线性判别,最近的邻居,人工神经网络,支持向量机(SVM) [5),贝叶斯分类器(6),和隐马尔可夫模型7]。由于良好的泛化性能,没有局部最小值,和稀疏表示的解决方案,支持向量机是结合不同的特征提取方法来提高分类性能的脑电图,但是他们不提供后验概率。他们实际上是用于构造一个分类器产生一个硬类的后验概率,而不是标签,因为它们可以适用于后处理和纠正错误引入的错误标记/嘈杂的实例(8,9]。普拉特提出了SVM和概率输出方法验证其性能在三个data-mining-style数据集(8]。最近,邵提出了两种概率估计双子支持向量机(TSVM)利用其优势支持向量机(10]。不同的支持向量机在一个基本方式,TSVM旨在生成两个非平行的平面通过求解两个小型二次规划问题,它是大约四倍的速度比支持向量机(11]。

考虑学习认识到几个运动图像的任务任务由一个给定的主题。这是一个多类识别问题。至于基于后验概率支持向量机multiclassification,通常是通过使用他们的多级扩展来解决通过单机方式(9)和多机方法(12]。前者涉及直接求解一个优化问题,而后者涉及分解多类问题的两种问题通过one-against-rest(浆)和one-against-one (OAO)。桨的方法,数据样本的数量对于一个给定的任务是整个数据的一小部分,因此两个类的大小在每个二元分类问题是不平衡的9,13]。通过使用OAO方法,提出了多类支持向量机的概率估计通过结合所有成对的比较(12),表明它比现有方法更稳定,也就是说,投票方案和方法(14]。

我们所知,没有以前的工作为双胞胎和多类支持向量机做的后验概率输出,或更特别多级TSVM建模后的排名连续输出和成对耦合。我们工作的主要优势是,多级后TSVM模型可以提供分类精度高的后验概率和较低的时间复杂度比传统的支持向量机方法,它适用于BCI的应用程序。为了处理多类分类的运动图像脑电图,兼职后验概率TSVM (PPTSVM)提出的解决方案是将两种PPTSVM与成对耦合。首先,两舱PPTSVM模型近似后验概率的排名连续输出技术(10和普拉特的估算方法8]。其次,解决方案的多级概率输出提供了TSVM结合每一对类概率根据成对耦合的方法(12]。最后,该方法是通过投票与多类支持向量机相比,多级TSVM通过投票,和多级后验概率支持向量机通过耦合方法。该方法的分类精度和时间复杂性体现了UCI标准数据集和真实世界的脑电图数据从BCI竞争第四集2 a。

本文的组织结构如下:部分2州多类的后验概率TSVM模型包括简要介绍标准TSVM两舱PPTSVM配方及其多级扩展通过成对耦合。部分3提出了一些实验结果在基准数据集和运动图像脑电图数据验证了该方法的有效性。最后,给出了结论部分4。

2。基础模型描述

2.1。双子支持向量机的配方

两种问题,模式分类是用一组行向量,在那里,让代表模式所属的类。与经典的软边缘SVM分类器发现一个超平面从两类分离模式,TSVM寻求两个非平行超平面(11]。让类的模式数量+ 1−1,分别给出了和,在那里。简单的表达式,类+ 1的模式和−1是用矩阵和,分别。在非线性歧视,与非线性TSVM内核找到以下kernel-generated表面: 在这里,,是一个适当的选择的内核,在哪里和是一个非线性映射函数。

两个超曲面的参数通过解决以下两个二次规划问题: 在积极的常量和是惩罚参数和和是适当的参数向量维度和表示规范。目标函数有明确的几何意义;例如,函数(2)表明,第一项往往保持类的超曲面接近点+ 1,而约束要求的超曲面的距离至少1类−1分。

通过引入拉格朗日乘数法和利用Karush-Kuhn-Tucker(马)条件下,上述沃尔夫双重配方的优化问题可以获得如下(11]: 在哪里,,,是拉格朗日乘数的向量。一旦上述双重结构解决了获取表面(1),一个新的样本是分配给类(),这取决于两个表面是最接近,给出的 在哪里点的垂直距离吗从表面,。

2.2。多级后验概率TSVM

多级扩展TSVM还可以修改包括后验概率估计,而不是硬标签。在本节中,多级后验概率TSVM模型建立。首先,类似于(10),一个连续的输出值被定义为样本计算距离与非线性两种决定超曲面的TSVM内核。其次,两舱后验概率TSVM模型近似使用普拉特的后验概率的估算方法8]。在这里指出,当前支持向量机概率模型不能直接使用由于TSVM的不同机制和支持向量机。最后,一个解决方案的多级概率输出提供了TSVM结合每一对类概率根据成对耦合方法(12]。

2.2.1。两舱PPTSVM模型

在TSVM二进制分类,一旦表面(1),可以预测样本的标签。然而,许多应用程序需要一个后类概率而不是预测硬标签。由于传统TSVMs不提供这样的概率,两级PPTSVM的建模方法是由以下(8,10]。

以反映新的样本属于某个类的程度,让一个函数是两舱的连续输出TSVM [10] 在哪里是一个重量参数和两个相关变量和表示距离的最小值和最大值和从示例分别两个分离超曲面。在这里,距离和是由 在这里,样本的概率属于类()的值取决于输出函数其值范围是类似于支持向量机连续输出。值越大,样本的概率越大属于类+ 1,反之亦然。

根据后验概率估计方法提出了普拉特(8),后两种TSVM的输出可以使用参数的近似乙状结肠函数分类设置,扮演着重要的角色 在哪里和拟合参数,可以确定使用最大似然估计。通过这种方式,建立两级PPTSVM模型产生的后验概率。由于事实,即后验概率的综合效应是点的邻近样本,这样做的优点就是它可以给一个机会来纠正这个错误引入的错误标记或噪声点。

2.2.2。提出了多级PPTSVM模型

在多类模式识别中,有两种传统的方法来扩展二进制到多类分类问题。第一个方法夫妇拥有多个类的限制在一个单一的配方。另一个目标是将多类问题转换为一组独立的两种问题,不同的分解方法。成对耦合是所有成对比较流行的多类分类方法,结合在一起为每一对类(12]。在本节中,提出了一种多级扩展与概率输出TSVM基于成对耦合由于它的稳定性和有效性。

多级分类的样本需要歧视属于之一类和类标签来标示。我们的目标是估计类概率,决策规则,在那里,。让()估计成对类概率,让被期望的;也就是说,(12,14]。Hastie和Tibshirani提出了成对耦合方法来估计概率通过最小化Kullback-Leibler的类(吉隆坡)之间的距离和(14]。尽管该方法优于传统的投票规则,它只预测类标签而不是一个类概率(15),假设二项和采样模式是独立并不持有在分类问题中指出[14]。为了解决这个问题,提出了一种更稳定的方法(12]。类概率向量得到了以下优化配方: 目标函数(9)可以取而代之 的矩阵是半正定。它的解决方案可以通过解决linear-constrained凸二次规划问题(12]。实际的迭代算法描述如下。

输入。它是矩阵。

输出。它是类概率向量。

过程

步骤1。设置迭代次数,初始化的迭代误差的阈值迭代的最大数量,。

步骤2。计算矩阵和。

步骤3。计算最大偏差。如果,然后迭代过程停止,输出类概率向量;否则去一步4。

步骤4。迭代计算根据下面的伪代码: 。

第5步。如果迭代数量小于请转到步骤2;否则停止迭代和输出类概率向量。

实现多级PPSVM公式,给出了详细步骤如下:(1)有二进制PPTSVM为每个可能的两类模型,概率和相应的两两类估计在每一个样品吗。(2)采用迭代法来解决优化问题(10),获得类概率向量。(3)测试样本的标签是根据决策规则的歧视,。

3所示。结果与讨论

在本节中,一些实验进行对UCI标准数据集和BCI竞争数据集研究multiclassification方法的性能,验证该方法的有效性。六个算法用于multiclassification和分为两组。第一组产生硬类标签,由传统的SVM和TSVM投票(15]。第二组类概率估计,包括后验概率支持向量机通过最小化KL距离(14)(PPSVM_HT),后验概率支持向量机通过成对耦合(12](PPSVM),提出了后验概率TSVM通过最小化KL距离(14](PPTSVM_HT)以及成对耦合(12)(PPTSVM)。

多级后验概率TSVM构造基于二进制TSVM分类代码(http://www.optimal-group.org/Resource/TWSVM.html)提供的邵et al。10)和多级后验概率支持向量机代码可以参考mcpIncSVM包(http://www-ti.informatik.uni-tuebingen.de/ spueler / mcpIncSVM /)。六个方法,选择高斯核函数由于其有效性和稳定性实验。所有的方法都是在MATLAB中实现2013 PC上的环境2.5 GHz处理器和4.0 GB RAM。

3.1。在UCI数据集的实验

首先,我们提出的方法是评估在几个多级UCI机器学习数据集的存储库(16]。在这个实验中,五个数据集有多个标签选择和细节表中列出1。结果表明,类的数量从3到11,和功能维度也不同于两个十六岁。

首先在分类过程中,每个数据集分为训练集和测试集的比例为65%:35%。其次,倍交叉验证和网格搜索技术用于选择最佳内核参数和惩罚参数,,不同的方法,然后乙状结肠参数得到了。多次执行交叉验证使用不同的训练数据,以减少变异性的分区,分区是随机生成的“crossvalind”功能MATLAB生物信息学工具。确保一个公平的比较不同的方法,使用了相同的数据分区交叉验证。接下来,从训练集训练模型应用于预测测试集。分类过程重复100次,这是最后的分类结果的平均值。表2列出每个基准数据集的最佳参数。对于每个数据集,二进制分类模型。动物园,一个是在网格上进行双重的交叉验证点TSVM和SVM模型,因为它的类的最少数量是4。对于所有其他四个数据集,最好的模型参数是搜索的十倍交叉验证TSVM和支持向量机模型。的参数,,PPTSVM被设置为与TSVM是相同的,和惩罚参数,PPSVM也将同样的支持向量机,如表所示2。

性能评估的平均值和标准偏差的精度和时间成本。图1显示每个基准数据集的分类性能使用PPTSVM PSVM, TSVM和支持向量机。它表明TSVM-type分类方法执行同样在所有五个数据集,和SVM-type方法也是如此。同时,TSVM-type竞争者始终高于SVM-type竞争者因为TSVM-type方法解决两个小尺寸的二次规划问题,而不是一个规模相对较大。图也表明TSVM-type分类方法更高的精度以3的5数据集(Lineblobs、动物园和Vowel_gy)并执行最好的动物园,而SVM-type方法表现略好于两个数据集(虹膜和广场1)。此外,PPTSVM执行更好的在两个数据集(动物园和Vowel_gy)比其他算法,特别是获得约15%改善所有SVM-type竞争者数据集在动物园。它展示了潜在的优势TSVM-type模型在处理小样本。然而,所有动物园的数据集上的分类方法获得性能下降,因为其训练数据集的数量相对比较小,而且它属于不平衡数据,它有七类不同的类数。提出了(17)最近,有趣的是构造相应TSVM-type模型不平衡分类问题虽然不是本文的讨论范围。

3.2。在运动图像EEG分类中的应用

BCI的可用性数据从过去的比赛是一个重要的贡献来刺激研究的跨学科合作。本文选择BCI竞争第四BCI研究中心提供的数据集2在柏林,德国(18]。九个参与者(如A1 ~ A9)被邀请作为实验对象。对于每一个主题,四个不同的运动图像执行任务,也就是说,左手,右手,脚,和舌头。两次在不同的日子都记录了每个参与者组成的,每个会话6分隔开的短暂休息,一个运行由48个轨迹,因此总共有288试验每个会话。数据记录使用22 Ag / AgCl电极。测量信号和250赫兹和带通采样过滤0.5和100赫兹之间。

关于汽车图像的分类任务,参与的脑电图特征提取。公共空间模式(CSP)方法用于提取特征,因为它可以构建新的时间序列的方差最优的歧视两个种群的数据(19),因此它已经成功地应用于原始刺激脑电图的分类。标准CSP为二进制分类算法,及其多级扩展包含使用CSP在分类器,one-versus-the-rest CSP(表达),同时从多级数据协方差矩阵的对角化20.]。表达方法计算的CSP特性区分每个类与其他类的(20.]。CSP是多级扩展数据使用表达方案。脑电图描记器处理的详细步骤中列出以下;

预处理多通道脑电图数据使用一个五阶段巴特沃斯滤波器,获得一个带通滤波信号的频带编赫兹。

对过滤后的脑电图数据执行CSP算法使用表达方案,得到相应的特征向量: 在哪里表示CSP的信号处理,是操作计算向量的方差,代表的数量空间过滤器。对于四级数据,有4个投影矩阵和最优方向在每个投影矩阵。当16,特征向量维度是在实验中获得的。

认识到运动图像的类任务使用不同的分类和比较他们的表演评价而言,意味着kappa值和时间成本。作为性能度量BCI竞争,kappa系数考虑错误的分类,发生的频率的分布是归一化(21]。kappa系数表示在接下来的平等: 在哪里,整体协议,等于分类准确性和协议的机会等于一个简单的分类器的准确性。如果实际数量的样本同样分布在类,预期协议的机会,kappa系数是由 例如,50%的准确性在两舱问题相当于25%的准确性在四级问题,但kappa值是零在这两种情况下,因此它可以用来做一个公平的比较多类问题。

实验包括两个部分。在第一部分中,每个块从BCI竞争第四集2训练数据随机分为训练集和测试集比例为65%:35%,和十倍交叉验证进行交叉验证训练集,然后训练模型应用于预测交叉验证测试集(训练数据的一部分)。类似于在UCI数据集描述的参数选择过程,参数,,PPTSVM被设置为与TSVM是相同的,和惩罚参数PPSVM也将同样适用于支持向量机模型参数的搜索TSVM和支持向量机模型。表3总结的最佳参数为每个主题在BCI竞争第四集2 a。

图2使用kappa系数和成本提供了分类结果与平均值和标准偏差的10×10倍交叉验证。结果表明,后验概率TSVM-type分类方法通过不同的成对耦合技术执行同样的kappa值BCI竞争第四集2 a。这同样适用于不同的后验概率SVM-type方法,结果配合的示威游行12当类的数量很小;例如,它是4的BCI竞争第四集2 a。所有TSVM-type竞争者有明显优势的时间和成本实现更高kappa值5科目(1、3、4、8和9)而SVM-type竞争者做得更好在4主题(2、5、6和7)。在所有九个科目,PPTSVM方法平均收益率上升意味着比TSVM kappa值(0.634)(0.632)和PPTSVM_HT(0.630),但略低于竞争对手最好的支持向量机(0.658)。相比之下,结果在22)使用CSP的多级扩展算法通过表达方法和朴素贝叶斯Parzen窗口(NBPW)分类器,我们的方法平均收益率上升意味着kappa值对所有受试者比NBPW算法CSP(0.538),但低于NBPW与滤波器组算法CSP方法(0.663),雇佣额外的基于互信息的特征选择对CSP的经典算法。另一方面,几乎四倍的速度比传统的支持向量机方法,因为我们的方法的平均花费的时间是20.040秒,而支持向量机是80.593秒,在时间复杂度和优势有助于BCI的应用程序。

在实验的第二部分,从交叉验证的训练集训练模型应用于整个评价集。分类结果使用平均kappa值绘制在图的算法3。表明PPTSVM方法达到更高意味着kappa值3主题(1、3和9)。相比之下,SVM通过投票产生最好的平均意味着kappa值评估数据(0.480)所有九个科目,和PPTSVM方法获得更高的平均意味着比TSVM kappa值(0.454)(0.452)和PPTSVM_HT (0.449)。

比较的结果数据2和3,评估数据结果始终低于所有六个方法的交叉验证结果。特别,PPTSVM收益率较低意味着kappa值平均超过所有受试者评估数据比交叉验证结果(0.634)(0.454)在所有九个科目。

4所示。结论

摘要后验概率双子支持向量机由排名连续扩展到多类案件和成对耦合。提出的性能测试方法的分类精度和成本的时间在UCI标准数据集和真实世界的脑电图数据从BCI竞争第四集,而多类支持向量机/ TSVM投票规则(15通过最小化),多级后验概率支持向量机(TSVM KL距离(14),和成对耦合在12),分别。实验结果表明,该方法产量平均意味着kappa值略高于TSVM投票并通过最小化PPTSVM_HT KL距离的BCI竞争第四集2 a。此外,它可以实现相对性能接近SVM时间复杂度较低的竞争对手在UCI数据集和BCI竞争第四集2 a。在BCI的减少时间复杂度是有价值的应用程序也和它的后验概率输出是用于多通道信息融合。

虽然我们的方法可以产生令人满意的分类性能和较低的时间成本,它仍然是在离线环境而设计的,因此值得研究的框架的增量学习和适应多类的后验概率TSVM未来工作。很有可能有多级机器学习问题,很少与他人相比,一个或多个类和构建TSVM-type模型的不平衡分类问题也是未来工作的一部分。

利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作是由中国国家自然科学基金支持下格兰特(没有。61201302,61201302,61372023),中国国家奖学金基金(没有。201308330297),浙江省自然科学基金(LY15F010009)。作者要感谢UCI标准数据集的提供者和BCI竞争第四集2 a。评论家的评论,我非常欣赏。