通过多个内核学习EEG-Based癫痫识别

文摘

领域的脑-机接口,使用脑电图信号是很常见的疾病诊断。在这项研究中,一个样式正则化最小二乘支持向量机提出了基于multikernel学习和应用于癫痫异常信号的识别。算法使用风格转换矩阵来表示样式信息包含在示例中,演化目标函数,优化通过常用的替代目标函数优化方法,并同时更新风格转换矩阵和迭代过程中分类器参数。为了使用学到的样式信息在预测过程中,两个新规则添加到传统的预测方法,和风格转换矩阵是用来规范分类前的样品风格。

1。介绍

由于支持向量机(SVM)的建议(1)和相关理论的发展,内核方法已经成为一种有效的方法来处理非线性部分数据。因为分类算法的性能在很大程度上取决于数据的代表性,内核方法使用相对简单的功能操作将样本映射到高维,避免特征空间的设计和复杂的特征空间的内积计算。例如,在[2),提出了一种快速内核岭回归通过使用内核的方法。在过去的几十年,内核的机器学习的方法已经应用在许多领域(3- - - - - -5]。

然而,一些数据集包含样品不均匀分布、异构特性,或不规则的数据;单粒方法只使用单一特征空间表现不佳。因为不同的内核函数有自己的特点,即使在相同的应用程序,使用不同的内核函数的影响可能是非常不同的,这使得核函数及其参数的选择对算法的性能有重要的影响。因为一个内核函数往往不能满足需求在某些实际应用场景,multikernel学习相结合多个内核函数已经吸引了更多的关注[6]。

multikernel学习所产生的组合可以是相同的组合核函数在不同参数或不同核函数的组合(7]。经过多年的研究,与单一核函数相比,multikernel学习具有较强的灵活性,更高的可解释性,更好的性能在数据降维8),文本分类(9)、领域适应(10),和其他领域。

虽然multikernel学习算法充分结合了不同的核函数的映射能力数据,从本质上讲,它只使用样品的物理特性,包括相似性和距离和不考虑程式化的隐式信息数据集在现实情况。在实际应用中,除了代表内容信息,数据集往往包含各种各样的样式信息,和样品相同的风格通常存在于组织的形式。例如,有两种方式把字母图所示1(一),即,by the content shown in Figure1 (b)和字体显示在图1 (c),每个字体被认为是一种风格,和这些数据被认为是程式化的数据。

我的样式信息数据,学者们做了许多类型的研究。在文献中提出的二阶统计模型(11)应用于数字识别的问题,但它只有一个好的影响数据服从高斯分布,导致算法的应用场景的限制。双线性判别模型提出了文献[12在行为识别数据方面取得了良好的效果,但算法的计算成本是相对较高的。域贝叶斯算法在文献[13)提高了朴素贝叶斯算法来确定样本组的样式信息,但它需要指定一个明确的数据分布类型的算法。然而,数据的分布在现实情况往往是复杂和困难提前确定。提出的算法在文献[14,15)使用一个映射到我的样品的样式信息,达到良好的结果回归和分类问题,但是它使有限的使用样本的物理特性。矿业样本历史信息的时序风格模型提出了文献[16)和双层聚类模型的用户的年龄和性别信息提出了文献[17)有效地利用样式信息数据的无监督的问题,但该算法只是针对特定字段,和样式信息的使用是有限的。

由上述学者的启发,我们建议风格正则化最小二乘支持向量机基于多个内核学习(SR-MKL-SVM)来挖掘和利用物理相似之处采样点,在样本隐含的样式信息。除了使用每个基本内核函数的物理特性数据映射表达样本之间的相似度,算法使用风格变换矩阵来表示我的样式信息中包含的数据集和目标函数。在培训过程中,交替优化策略是用来更新风格变换矩阵除了分类器参数,使用和开采样式信息同步更新内核矩阵。培训获得的使用示例样式信息预测的过程中,添加两个新的预测规则的传统multikernel最小二乘支持向量机的预测方法。因为样式信息包含在示例使用有效地训练和预测过程中,大部分的程式化的数据集的实验表明,SR-MKL-SVM是相对近期的和古典multikernel支持向量机算法是有效的。

2。相关的工作

2.1。Multikernel学习

让和两个样本向量;是一个函数从输入空间映射到特征空间。如果有一个函数 ,可以被定义为哪一个 然后我们打电话内核函数。Multikernel学习期望达到更好的性能通过结合不同的内核函数的映射。有很多方法可以结合(6内核函数。在这项研究中,我们使用以下方法来找到一个最终的组合核函数基于基本的内核函数 。如果我们使用代表核函数的系数,最后综合核函数作为制定 在哪里

根据美世(Mercer)的理论,结合核函数由上述方法仍然满足Mercer条件。

2.2。最小二乘支持向量机基于Multikernel学习

让 训练样本集; 和 相对应的标签吗 。目标函数的最小二乘支持向量机(LSSVM) Suykens提出的18可以制定 在哪里代表了映射在高维度,和分类超平面的参数, 误差项,是正则化参数。

拉格朗日乘数引入方程(4),它的对偶形式可以进一步得到斯莱特约束规范: 在哪里 是内核矩阵。(11),我们可以得到以下两个方程, 在哪里 和 。

通过集成K到(2)和(3),我们可以获得多个内核最小二乘支持向量机(MK-LSSVM)

让 ,和替换 与 ;我们有

很明显,(8)是一种半无限线性规划(单列直插式组件)的问题,可以解决许多现有成熟的优化工具箱。一个看不见的样本 ,MK-LSSVM预测它通过以下方程:

2.3。MK-LSSVM算法流程

的算法步骤MK-LSSVM算法1所示。

3所示。SR-MKL-SVM

3.1。目标函数

让 是一个训练集,可分为集组根据风格。每组样品有相同的风格,和上标组样品的数量 。 是th样本组 。根据上述定义,目标函数SR-MKL-SVM可以制定 在哪里 是内核的权重系数矩阵,在哪里是预定义的内核的数量矩阵, 是风格的风格转换矩阵的样本吗 ,和 是单位矩阵。

前两个子公式标准MK-LSSVM表达式,使用弗罗贝尼乌斯的第三子公式是一个点球的术语规范,用于控制程度的风格转换的风格转换矩阵的示例中,参数在哪里 使用。显然,当是大,样本的偏差后小风格转换从原来的风格;否则,它是更大;特别是当 设置,有吗 。

3.2。优化

该算法的目标是最小化的价值 。很难直接优化目标函数。我们可以使用交替优化方法获得足够可用的局部最优解。当和 分别给出优化问题的目标函数呢 和 ,和上述两个过程不断重复,直到收敛或超过最大迭代数。具体而言,(1)当修复 ,配方的优化问题(10)转换成 上面的公式是对标准MK-LSSVM样本的问题风格转换后 可以由算法1节2.2的文章。此时,样本映射到高维不能直接计算,但合成内核矩阵由style-converted样本可以更新的内核方法获得style-converted内核矩阵。使用内核的特定方法方法获取style-converted合成矩阵将在内核部分3.3本文的(2)当 是固定的,那么方程的优化问题(10)转换成

上述公式是一个线性约束的二次规划问题 ,可演绎成吗为每一个独立的问题要解决。这时,合成内核的参数矩阵和分类器是固定的,类似于原始的LSSVM,对偶形式引入拉格朗日乘子后可以得到方程(12):

让 ;我们有

让 得到 。可以看出,这个公式具有相同的马(18LSSVM)条件。

通过交替优化的过程中,可以知道在训练分类器参数的过程中,样品风格转换的转换矩阵作为训练数据。在第一次迭代中,风格转换矩阵初始化单位矩阵。这时,风格转换后的样本是一样的原始样本,没有风格转换生成。因此,第一轮SR-MKL-SVM训练得到的分类器参数与原始MK-LSSVM相同。在随后的迭代过程中,由于风格转换矩阵的优化,每种风格的样本组进行风格转换矩阵的转换,逐步接近标准的风格。充分考虑这个时候训练的分类器参数中包含的样式信息示例作为一个整体。同时,解决风格转换矩阵的过程从方程(14)不仅使用的物理特征样本获得的训练,还有效地使用的样式信息数据。此时风格转换矩阵训练包含每个样式组样式信息。根据上述分析,训练分类器的过程参数和风格的风格转换矩阵充分利用信息包含在示例中,两个过程相互促进。

3.3。风格的转变

自维样本映射到高维空间后可能是无限的,样本风格转换后的值不能直接获得。在这一点上,合成核矩阵中的每个元素的帮助下可以更新内核方法获得风格后的合成核矩阵变换。

因为合成核函数还需要满足允许内核的定理, ,让对合并后的地图的核心矩阵的合成;由公式(9),您可以使核心矩阵的合成 ;让 ;后你可以风格转换的核心矩阵元素 在哪里 是核心风格转换和后矩阵元素吗 ;公式(15可以更新)

因为 公式(16可以更新):

3.4。算法

的训练算法SR-MKL-SVM列出如下。

SR-MKL-SVM使用交替优化方法来解决这个问题,可以分为两个步骤。第一步是内核矩阵权重系数和分类器参数优化的步骤可以分为两个子过程,分别。,solving the kernel weight SILP problems and solving the linear programming problem of the classifier parameters for the synthesis of kernel matrix at the same time, the time complexity和 ,分别。由于 ,的总时间可视为复杂性 。第二步是优化style-standardization矩阵,这一步的时间复杂度 。因此,总时间算法训练过程的复杂性 ,在哪里米是预定义的基本内核的数量矩阵,样品的总数量,数据集是风格的数量,和iter是算法的迭代次数。

与典型的MKL-SVM相比,MK-SRLSSVM算法的过程中,培训风格变换矩阵正则化处理风格样品,但multikernel支持向量机(SVM)算法在解决基本的核函数的过程中权重系数应用于解决需要调用原始的SVM算法本文;用最初的LSSVM子空间,SVM训练过程是至关重要的在解决二次规划问题,培训过程的性质解决线性规划问题的LSSVM。因此,SR-MKL-SVM的计算复杂度,这一步是远远低于典型的MKL-SVM算法。该算法提出了优化解决单列直插式组件问题的权重系数,这是优于支持向量机算法,优化权重系数通过求解SDP问题或QCQP问题和与multikernel支持向量机算法,使用单列直插式组件和其他问题解决权重系数。因此,SR-MKL-SVM有相同的复杂性作为典型的支持向量机算法。

3.5。预测规则

两个新的预测规则定义基于MK-LSSVM为了使用重量,分类器参数 和风格的变换矩阵 。因为样品的风格可能会或可能不会出现在训练过程在实际应用中,两个新的预测规则规则2、规则3添加到传统的预测方法来处理这两种情况下,分别。

让 是整个测试数据集的一个子集,每个元素具有相同的风格,和 是一个示例。

规则1。传统的预测方法。

传统的预测方法只使用重量和分类器参数和预测的示例在测试数据集和获取相应的标签 :

规则2。测试样本的风格。

如果测试样本的风格已经存在的训练数据集,对应的风格变换矩阵在训练过程中获得可直接用于处理样品的风格转换,以便样品接近标准的风格。然后,预测的标签是通过使用传统的预测规则处理过的样品吗 。

可以获得部分3.3。

规则3。测试样本的风格是未知的。

如果样本组的风格不存在的训练数据集,有效利用样式信息获得的培训;基于直接外推的主意,我们考虑相同风格的样本组中包含的信息作为一种新的风格。详细的步骤如下:

步骤1。获得临时标签 测试数据集通过使用规则1。

步骤2。火车及其临时标签训练数据集获取新的重量 ,分类器参数 ,和风格的变换矩阵 。

步骤3。使用 预测测试集并获得正式预测标签 。

以来,大部分的数据现实场景中包含隐式或明显的风格特点,新的预测方法中添加SR-MKL-SVM考虑已知的风格和未知的风格。相对应的样式信息预测样本直接用来预测样品与已知的风格。直接外推法是用来预测未知的风格样品,和训练有素的样式信息有效利用,因此该算法具有良好的通用性。

3.6。分析SR-MKL-SVM

不同的支持向量机,只搜索最优分类超平面根据原始数据的物理分布,SR-MKL-SVM不仅考虑了数据中包含的物理特性也矿山数据的风格特征。本文整个训练样本用于优化分类器参数和处理不同类型的数据集,分别。对数据映射multikernel学习的优势,本文算法可以表示和处理数据包含更复杂的风格和充分利用训练风格样式信息进行正则化处理的原始样本训练和测试方法,以便风格转换后的数据分布更容易分裂。与传统的SVM和SR-MKL-SVM相比,我们发现SR-MKL-SVM可以充分利用程式化的数据中包含的信息来提高分类性能。

4所示。实验结果

4.1。数据

在本节中,我们介绍了脑电图波恩大学提供的数据来评估我们的方法。EEG数据集包括5组两组样本,详细信息如表所示1每组,随机选择样本,如图2。从图可以看出2样本来自不同团体的波动是非常不同的。例如,信号波动的患者组和健康人在E组明显不同。信号波动在C组和E组的患者在不同条件下也大大不同。

研究[19)提前显示特征提取的原始脑电图数据能有效地提高分类性能。在本文中,核主成分分析(KPCA) [5,20.)是用于从原始数据中提取特征。在本节中,降维后的数据用于实验。上面可以看出,样本数据集的数量是500,类别的数量是2,样品尺寸是70。同一组样本被认为有相同的风格。

为了验证该算法的有效性,选择不同的数据组,形成两种类型的数据集。第一种数据中包含的所有风格测试集训练集同时存在。第二种类型的数据是测试集的风格没有发现在训练集,和建筑数据集的详细信息如表所示2。

以下4.4.1。癫痫EEG数据集

数据集DS.1和DS.2第一类型的数据;DS.3和DS.4第二种类型的数据。所有的数据都是随机的,和10个实验在相同的参数下,平均结果。规则2、规则3用于预测两种类型的数据。所有算法的实验结果和参数(21- - - - - -32)如表所示3。

从实验结果表3,可以得出结论:决策树算法在数据集DS.1波信号识别效果最好,和NLMKL算法在数据集DS.2最好的分类精度,领先其他所有算法包括这个算法。该算法的结果在第一个两个数据集是不如DT和NLMKL,但是差异很小。

从上面的结果,我们可以看出该算法的有效性和稳定性提高脑电图信号识别的准确性开采和利用每组样本中包含的不同的波动特性。

5。结论

为了使用样式信息包含在示例中,提出了一种风格正则化最小二乘支持向量机(SR-MKL-SVM)基于多核学习。除了利用多核学习物理的表达样本之间的相似度,算法还矿山和使用样式信息包含在样本来提高算法的分类精度。SR-MKL-SVM将样式信息包含在样本为目标函数,采用风格转换矩阵标准化样本,采用正则化方法来限制程度的风格转换,并优化分类器参数和风格标准在训练过程中转换矩阵。除了传统的预测方法,预测新规则,可以使用训练有素的样式信息。程式化的数据集实验表明算法的有效性和实用性。

数据可用性

最初的脑电图数据是可用的,并且可以下载http://www.meb.unibonn.de/epileptologie/science/physik/eegdata.html。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是支持部分由中国国家自然科学基金资助61876217。