使用污染社区模糊看到下面成了一个分类模型

文摘

研究了模糊分类模型。它是基于污染(强大)模型产生模糊期望风险措施描述分类错误。最优分类参数模型导出了模糊期望风险最小化。表明一个算法计算分类参数减少到一组标准的支持向量机任务加权数据点。实验结果与合成数据说明该模糊模型。

1。介绍

统计机器学习的主要目标是预测一个难以察觉的输出值基于观察到的输入向量。一个特殊的非常重要的问题统计机器学习的分类问题可以看作是一个任务,将一些对象分为类按照它们的属性或特征。很多模型构造了解决机器学习问题在过去几十年。然而,很大一部分的模型是基于严格的假设,例如,大量的训练数据,已知类型的噪声概率分布,point-valued观察,等等。同时,真正的应用程序不能满足所有这些假设或其部分由于以下几个原因。为了放松的一些限制性的假设,提出了许多方法。方向发展相应的方法之一是模糊分类模糊集理论的主要思想适用于各种分类问题。

大多数模糊分类模型可以有条件地分为三组。两组假设有精确的观察,但模糊集是用来考虑观测的不同贡献或为了考虑不精确的结果,例如,不精确的分离表面。根据第一组模型精确的观察,会员或隶属函数值是分配给每一个点的训练集按照某些规则(1- - - - - -5]。因此,不同的输入点可以作出不同的贡献的学习决定表面。然后初始分类问题已经解决了加权分类问题的方法,例如,通过提出的支持向量机(SVM)方法Vapnik [6]。根据第二组模型,模糊分界面,例如,模糊超平面特征空间,构造(7,8]。换句话说,一个分类问题的解决方案的结果是一组超平面的隶属函数模型。第三组的模型假设,学习观察区间值或模糊数值(9- - - - - -11由于测量工具的缺陷或不精确的专家信息如果用作数据。应该注意的是,基于模糊集的方法可用于推广两级分类成多级分类。特别是,Wilk和沃兹尼亚克12)提出了相应的方法利用模糊推理系统。

大多数模糊模型的主要困难是如何确定点的隶属度函数从训练集。因此,提出了一种模糊分类模型在给定的论文的基础上,构造隶属函数可用统计数据通过使用著名的延伸污染附近或污染(强大)模型(13]。有以下几点主要思想基础提出的模型。

经验概率分布推导经验期望风险的接受(衡量分类错误)和使用的标准支持向量机被一组概率分布,这是由应用受污染的模型。,它是假定污染可以任意概率分布。因此,我们可以构造一个预定义的值不精确的分类模型。然而,使用的主要困难污染模型的价值是未知的,没有规则或方法的决心。因此,下一个想法是利用所有的值并构建一个模型,该模型涵盖了所有值。

注意,产生的一组概率分布的基础上污染的一个固定的模式是凸的。这意味着期望风险的预期损失函数在一个区间的上下界限。此外,我们得到了一组嵌套间隔的不同的值从0到1,它可以被视为一个模糊集,这意味着我们获得模糊期望风险分类参数或参数的参数化界面。下一个任务是找到的分类参数模糊期望风险最小化。这个任务是解决了支持向量机的框架通过一个特殊的排名指数范围模糊期望风险的措施。期望风险的模糊性度量强烈依赖于在训练集的数量。这是假定模糊性数据点的数量的增加而减少。

从先前的想法,可以看出该模型包括第一和第二组的特性模型。

为了简化提出了分类模型的描述,我们认为看到下面成了一个分类模型或著名的新奇检测模型(14- - - - - -17]。此外,我们限制自己通过研究提出的一个模型Scholkopf et al。16,18]。然而,这个模型可以很容易地扩展的二元分类模型。显示是很重要的构造模糊分类模型的主要原则。

本文组织如下。部分2介绍了标准看到下面成了[提出的分类问题16,18]。的受污染的健壮的模型及其特性被认为是在部分3。一组概率分布模型和模糊期望风险产生的测量研究了在相同的部分。计算最优分类的支持向量机方法参数中提供了部分4。在本节中,一个可能的方法是分解的二次规划问题。数值实验合成和一些实际数据说明部分提供了该模型的准确性5。节6,结束语。

2。看到下面成了一个分类

假设我们有标记的训练数据,在那里是观察,的数量是一些;例如,它是一个紧凑的子集。根据论文(16,18),一个著名的看到下面成了分类(新奇检测)模型的目标是构造一个函数它的价值在“小”地区捕获的大部分数据点和其他地方。它可以通过将数据映射到特征空间对应内核和分开起源与最大利润。

让是一个功能图这样的数据点映射到另一个高维特征空间。换句话说,这是一个映射到一个内积空间这样的内在产品的形象可以通过评估计算一些简单的内核,如高斯内核: 是内核参数确定的几何结构映射内核空间的样本。

分类的目的是找到一个超平面将数据从原点与最大利润。我们使用的参数这是类似于用于支持向量机(19]。它表示分数的输入数据。

寻找最优参数和,下面的二次程序必须解决: 受

松弛变量用于允许点违反约束。使用乘数,我们引入拉格朗日函数:

(所示19对偶问题的形式) 受 的价值可以获得的

替换后得到的解决方案到决策函数的表达式,我们得到

3所示。健壮的模型和模糊的预期损失

3.1。健壮的模型和预期的风险

健壮的模型在分类问题由于利用机会避免一些强烈的假设基础标准的分类模型。所指出的徐et al。20.),利用鲁棒优化分类并不新鲜。有很多发表的结果提供各种健壮的分类和回归模型(见,例如,(21- - - - - -24])的箱式集被认为是不确定性。一个流行的健壮的分类模型是基于假设输入受加性噪声,和每一个数据点是唯一已知的属于欧式球的内部。另一类鲁棒模型是基于放松强假设概率分布的数据点(见,例如,25])。

我们考虑一个模型可以部分被认为是这些模型的一个特例,是基于使用的框架- - - - - -污染(强大)模型([13])。他们是由引出贝叶斯先验分布作为真正的先验分布的估计。的污染模型是一个类固定的概率和是一组,在那里是任意的,。率反映出不确定性的量(26]。换句话说,我们把一个任意概率分布从单位单纯形用。根据这些模型,,是所有概率的下界的集合和上界。当然,假设受到单位单纯形是一个可能的类型的吗受污染的模型。一般来说,有很多不同的假设产生特定的健壮的模型。

让我们重写问题一般形式的最小化期望风险(6] 这里的损失函数是铰链损失函数表示为

标准支持向量机技术是假设经验(非参数)概率分布的使用导致了实证预期风险

经验概率分布的假设意味着每一个点的概率。这是一个太大的假设当点的数量并不大。其有效性可能产生怀疑。因此,为了放松点的强有力的条件概率,我们应用受污染的模型。根据该模型,我们更换的概率分布的概率分布。换句话说,有一个不为人知的精确的“真正”的概率分布,但我们不知道,只知道它属于一组。

3.2。模糊期望风险

让是一个属于一组概率分布。自组是凸的,那么每价值期望风险的值吗限制一些上下边界,这样每一个点的期望风险对应的区间概率分布。请注意,通过。这意味着拥有

如果我们考虑所有可能的值的参数,那么我们得到的嵌套的间隔与参数。此外,预期的风险区间是在一定程度上减少了,最大的间隔发生。这组间隔可以视为一个模糊集与隶属函数的期望效用。类似的想法获得模糊集通过污染的健壮的模型已经被Utkin提到和甲虫(27]。

由固定的期望风险的上限可以找到下面的编程问题的解决方案: 受

获得的优化问题是线性优化变量,但目标函数依赖。因此,它不能直接通过众所周知的方法解决。为了克服这个困难,注意,然而,所有的点属于单纯形在有限维空间。根据线性规划理论,一些一般性的结果最优解决前面提到的问题是实现单工的极端点,和其极端点的数量。极端的单纯形的形式 这意味着拥有

相同的下界可以写:

3.3。模糊决策问题,其解决的方式

现在,我们可以编写一个新的标准决策的最优参数。的参数最佳的敌我识别所有吗,拥有。接下来的问题是如何比较的模糊集。这是模糊文学中最具争议的问题之一。大多数排名方法是基于模糊集转换成实数,排名指数。在这里我们提出使用索引(28),可以写在考虑决策问题 在这里是一个参数的悲观。它可以被视为一个谨慎提出的参数(29日]。注意参数反映了模糊厌恶的程度。决策者越模糊厌恶,越高的影响是广义期望效用的区间下限。对应于严格的模糊厌恶;表达了最大的模棱两可的态度。这里假定,变量是一个函数的例如,。

然后我们编写一个新的决策准则。参数最佳的敌我识别所有吗,拥有

上面可以看出,最优参数可以通过求解优化问题如下:

表示。最优期望风险是现在的形式 在哪里

我们可以看到前面的目标函数由两个主要部分组成。第一部分是修改后的实证预期风险。第二部分可以被视为维奇则以乐观的参数在决策问题,利用我们没有自然的状态信息。如果将值从0到1,那么目标函数的凸组合维奇标准和期望效用的条件概率的状态下自然是相同的。此外,也可以作为目标函数对Hodges-Lehmann标准(30.),。这意味着我们不确定每一个点的概率是难以置信,这是补偿更保证维奇的方法与一些系数根据函数。有趣的是,模糊分类问题转化为标准的决策问题包括几个决策标准。

之前解决计算参数的优化问题,我们必须定义函数确定隶属函数的模糊的预期损失。正如我们已经指出的,最简单的方法是假设。然后我们得到

然而,这种方法并不考虑的可能依赖模糊集(模糊性)在训练集的数量。我们假设模糊性的增加和减少。

让我们考虑的意思在目标函数(22)。如果,那么最优参数定义只有两个单点最大化和最小化。这是一个极端的例子,当我们假设经验概率分布是完全错误的。这发生在我们有少量的训练集点。另一个极端的例子。这种情况下对应的标准方法分类的基础上,实证预期风险。它是由Vapnik[显示6),第二种情况可以适用于大型的观测值。因此,我们可以状态通过和由小的值。

一个可能的功能满足上述条件是或。因此

下一个任务是最小化函数在参数和。这个任务将解决支持向量机的框架。

4所示。支持向量机方法

为了使用模糊分类问题的支持向量机方法,我们使用铰链损失函数(10)。让我们添加标准Tikhonov正则化项(这是最受欢迎的处罚或平滑项)(31日)目标函数(22)。平滑(Tikhonov)术语可以被视为一个强制唯一性约束通过惩罚函数与野生振荡,有效限制容许的空间解决方案(我们指32正则化方法的详细分析])。此外,我们引入以下优化变量:

这导致了二次规划问题 受

如果我们假设,那么目标函数可以分解目标函数的形式

最优参数和对应的最小值,。

主要目标函数最小化,而是一个双目标函数,就可以形成所谓的拉格朗日,鞍点的最优。此外,如果我们的主要目标函数最小化,双目标函数表示通过最大化。拉格朗日是 在这里,拉格朗日乘数法。因此,双变量必须满足积极约束对所有。鞍点可以通过设置导数等于零:

在这里指标函数的值吗如果。使用(30.)- (33),我们得到以下双重优化问题: 受

这个函数用拉格朗日乘数法可以重写为

因此,我们找到的最优值通过;也就是说,持有

让我们写Karush-Kuhn-Tucker互补条件:

它遵循从第二个条件单值的这样。在这里,我们假设不一致。因此,对所有。回到约束(35)- (36),我们得到和

它遵循从之前的约束优化问题(34)- (36)可以分解成问题: 主题(40),。

的最优值,对应于最小的目标函数值,和最大目标函数值,。

所以,我们有简单的二次规划问题的解决方案可以通过众所周知的方法和工具。

5。实验

我们通过几个例子说明本文提出的方法;所有计算都使用统计软件r .我们调查执行该方法的性能和比较它与标准支持向量机方法,考虑到精度(ACC),这是正确的比例分类情况下的样本数据和常被用来量化分类方法的预测性能。ACC的概率估计分类器的正确反应,它是一个重要的统计测量看到下面成了一个分类的性能测试。在新奇检测,ACC的总和两个精度的措施:正常的准确率衡量算法如何识别新的著名的例子的例子和新奇的准确率为未知新奇的例子做同样的例子。ACC正式可以写成 在哪里的标签吗th测试例子。

我们将表示该模型的精度测量ACC_模糊ACC和标准的支持向量机_圣。

所有实验都使用一个标准的高斯径向基函数(GRBF)内核,内核参数。不同的参数值已经测试,选择那些导致最好的结果。

我们认为我们的方法的性能与合成数据有两个功能和。训练集生成两个子集组成的,按照正常的概率分布例子(第一子集)生成平均值和例子(第二子集)平均值。标准差是子集和两个功能。在这里是一个异常的例子在训练集的一部分。这些参数和是。的参数被。

图1说明了轮廓依赖于参数模糊模型(厚曲线)和标准的支持向量机(短划线)非常小的点数在训练集()。的参数将值,,。从图片可以看出,该地区有界的“模糊”轮廓随。的值提供了谨慎的战略决策。从第一张图片可以看到,该地区有界的“模糊”轮廓比同一地区相应的标准模型。当区域几乎一致乐观策略(见图1 (c))。数据2和3说明类似的依赖关系和,分别。

的精度测量不同条件下表所示1。从结果可以看出给定表测量精度的模糊模型比相同的衡量标准的支持向量机。当然,这个关系发生时相当小,正常的数据有一个大的污染(在例子吗)的比例。

作为一个进一步的例子我们所有分析模型应用于著名的“彩虹”UCI机器学习数据集的存储库(33]。数据集包含类(虹膜Setosa、虹膜Versicolour、虹膜Virginica)每一个实例。特征的数量(厘米花萼长度,萼片宽在厘米,花瓣长度在厘米,花瓣宽度在cm)。我们假设例子从虹膜Setosa类是不正常的。实验中,我们随机选择点,这样点是来自积极的标签和例子点从负面标签的例子。在这里。模型的参数,。这是调查的准确性措施取决于数量的训练数据。特别是,如果我们把,然后,。如果我们把,然后,。一个可以看到模糊的方法提供了更好的数值结果与标准方法相比,当例子的数量相当小。

6。结论

在本文中,提出了模糊看到下面成了一个分类模型,基于应用受污染的模型。分类的算法计算最优参数减少到一个有限数量的标准支持向量机任务加权数据点,权重的分配按照预定义的规则来源于比较模糊期望风险的措施。很容易实现的标准函数统计软件包R。

实验结果与合成数据和著名的“彩虹”数据集来自UCI机器学习库报告表明该模糊模型优于标准由少量的观测方法。由于该模糊模型,我们不需要为污染参数指定一个特定的值。然而,我们必须定义的函数和参数。

应该注意的是,该模型可以很容易地扩展二进制或多类分类。这是一个为未来的工作方向。

我们已经调查了只有一个模糊指数排名比较模糊数字。然而,有许多有效的指标的应用程序框架的分类问题的模型可以给更好的分类精度和更好的模型。这也为未来工作的另一个方向。

承认

作者想表达他的感谢匿名裁判和这个期刊的编辑的宝贵意见有所改善。

引用

1. y, z气、d燕和x曰,“一种改进的模糊支持向量机的信用评级,”网络和并行计算李,k c . Jesshope h·金,J.-L。Gaudiot, Eds。,卷。4672of在计算机科学的课堂讲稿施普林格,页495 - 505年,柏林,德国,2007年。视图:谷歌学术搜索
2. c·f·林和s·d·王,“模糊支持向量机,”IEEE神经网络,13卷,不。2、464 - 471年,2002页。视图:出版商的网站|谷歌学术搜索
3. c·f·林和s·d·王”,为模糊支持向量机训练算法与嘈杂的数据,”模式识别的字母,25卷,不。14日,第1656 - 1647页,2004年。视图:出版商的网站|谷歌学术搜索
4. c·f·林和s·d·王,“模糊支持向量机与自动设置,会员”支持向量机:理论和ApplicationsStudies模糊性和软计算艾德,l . Wang,卷,177研究模糊性和软计算施普林格,页629 - 629年,柏林,德国,2005年。视图:谷歌学术搜索
5. w·m·唐“模糊支持向量机与一个新的模糊隶属函数来解决两级的问题,“神经处理信件34卷,第219 - 209页,2011年。视图:谷歌学术搜索
6. 诉Vapnik,统计学习理论约翰·威利& Sons,纽约,纽约,美国,1998年。
7. p y,“支持向量机、模糊看到下面成了”模糊集和系统,卷159,不。18日,第2336 - 2317页,2008年。视图:出版商的网站|谷歌学术搜索
8. 江x、z易和j . c . Lv”与一个新的模糊隶属函数模糊支持向量机”,神经计算和应用,15卷,不。3 - 4、268 - 276年,2006页。视图:出版商的网站|谷歌学术搜索
9. r . Burduk”概率误差全局最优分层分类器与直觉模糊观测,”混合人工智能系统,吴x大肠Corchado e . Oja写到,和b . Baruque, Eds。卷,5572在计算机科学的课堂讲稿施普林格,页533 - 540年,柏林,德国,2009年。视图:谷歌学术搜索
10. r . Burduk”,在贝叶斯分类错误多级识别与模糊观测任务,”模式分析与应用,13卷,不。1,第91 - 85页,2010。视图:出版商的网站|谷歌学术搜索
11. l .诉,Utkin Coolen”区间值回归和classifiocation模型在机器学习框架,”学报》第七届国际研讨会上不精确概率:理论和应用程序(ISIPTA 11)f . Coolen g . de Cooman Th。下,m . Oberguggenberger Eds。,pp. 371–380, Innsbruck, Austria, 2011.视图:谷歌学术搜索
12. t . Wilk和m·沃兹尼亚克,“软计算方法应用于分类器的组合看到下面成了,“Neurocomputing,卷75,不。1,第193 - 185页,2012。视图:谷歌学术搜索
13. p . j .休伯健壮的统计数据。约翰·威利& Sons,纽约,纽约,美国,1981年。
14. c·坎贝尔和k·p·班尼特,“新奇检测的线性规划方法,”先进的神经信息处理系统t·k·利恩,t . g . Dietterich诉Tresp, Eds。卷。13日,页。395 - 401年,麻省理工学院出版社,2001年。视图:谷歌学术搜索
15. 诉Cherkassky和f . m . Mulier学习数据:概念、理论和方法,Wiley-IEEE出版社,2007年。
16. b . Scholkopf r·威廉姆森a . Smola j . Shawe-Taylor和j·普拉特,“新奇检测,支持向量方法”先进的神经信息处理系统,第532 - 526页,2000年。视图:谷歌学术搜索
17. d . m . j .税收和r·p·w·Duin“支持向量域描述,”模式识别的字母,20卷,不。11 - 13,1191 - 1199年,1999页。视图:出版商的网站|谷歌学术搜索
18. b . Scholkopf j·c·普拉特j . Shawe-Taylor a . j . Smola r·c·威廉姆森,“估计一个高维分布的支持,”神经计算,13卷,不。7,1443 - 1471年,2001页。视图:出版商的网站|谷歌学术搜索
19. b . Scholkopf和a·j·Smola学习与内核:支持向量机,正规化,优化和超越美国剑桥,麻省理工学院出版社,质量,2002年。
20. h, c . Caramanis, s . Mannor“健壮性和支持向量机的正规化,”机器学习研究杂志》上,10卷,第1510 - 1485页,2009年。视图:谷歌学术搜索
21. a . Ben-Tal l . e . Ghaoui, a . Nemirovski鲁棒优化美国新泽西州普林斯顿大学,普林斯顿大学出版社,2009年。
22. j . Bi和t .张”,与输入数据的不确定性支持向量分类,”先进的神经信息处理系统l . k .扫罗、y维斯和l . Bottou Eds。,卷。17,pp. 161–168, MIT Press, Cambridge, Mass, USA, 2004.视图:谷歌学术搜索
23. f .教务长和t·福塞特在“健壮的分类不精确的环境,”机器学习,42卷,不。3、203 - 231年,2001页。视图:出版商的网站|谷歌学术搜索
24. l .徐、k .谎言和d·舒尔曼”通过凸局外人消融健壮的支持向量机训练,”21世纪国家会议上人工智能(AAAI 06年)麻省理工学院出版社,页536 - 542年,波士顿,质量,美国,2006年7月。视图:谷歌学术搜索
25. g·r·g·Lanckriet l . El Ghaoui c Bhattacharyya,和约旦,“一个健壮的极小极大方法分类,”机器学习研究杂志》上,3卷,不。3、555 - 582年,2003页。视图:出版商的网站|谷歌学术搜索
26. j . o·伯杰统计决策理论和贝叶斯分析施普林格,纽约,纽约,美国,1985年。
27. l . v . Utkin和y . a .甲虫”,使用不精确的狄利克雷模糊决策模型”,国际期刊《运筹学的数学,5卷,不。1,第90 - 74页,2013。视图:谷歌学术搜索
28. l·m·坎波斯和A·冈萨雷斯”主观排序模糊数的方法。”模糊集和系统卷,29号2、145 - 153年,1989页。视图:谷歌学术搜索
29. 在j·舒伯特。ρ在决策理论装置Dempster-Shafer理论”,国际期刊的近似推理,13卷,不。3、185 - 200年,1995页。视图:谷歌学术搜索
30. j·l·霍奇斯·e·莱曼,“利用以前的经验达到统计决策,”数理统计年鉴中,23卷,不。3、396 - 407年,1952页。视图:谷歌学术搜索
31. a . n . Tikhonov和v . y . Arsenin解决病态问题诗人温斯顿,华盛顿,美国,1977年。
32. t . Evgeniou方法、m .铁棒和a·维利“正规化,统计学习理论进行数据分析。”计算统计和数据分析,38卷,不。4、421 - 432年,2002页。视图:出版商的网站|谷歌学术搜索
33. 答:弗兰克和a .亚松森UCI机器学习库,2010年。

版权

版权©2012列弗诉Utkin。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。