定量分析和发展增量FCM算法与Tsallis熵最大化

文摘

Tsallis熵是一个香农熵参数扩展。通过extremizing Tsallis熵模糊的框架内——集群(FCM),类似于统计力学分布函数的隶属函数。在Tsallis entropy-based DA-FCM算法相结合是由确定性退火(DA)的方法。该方法的挑战之一是确定一个适当的初始温度和退火值,根据数据分布。这是复杂的,因为隶属函数改变其形状通过降低温度或增加。温度和之间的定量关系进行检查,结果表明,为了改变同样,必须对温度和逆变化。因此,在本文中,我们提出并研究两种组合方法增量和减少温度用在Tsallis entropy-based FCM。在拟议的方法,被定义为温度的函数。实验使用费舍尔的虹膜数据集,执行和建议的方法来确定一个适当的确认在许多情况下,值。

1。介绍

统计力学调查一个物理系统的宏观性质组成的多个元素。近年来,一个受欢迎的研究领域的应用统计力学模型或信息科学的工具。

存在一个强烈的模糊隶属度函数之间的关系——集群(FCM) [1)和最大熵和熵正则化方法(2,3)和统计力学分布函数。FCM,换句话说,当正规化或最大化Shannon-like熵,收益率(殖利率)一个成员函数,类似于玻耳兹曼(或吉布斯)分布函数(2,4),当正规化或最大化fuzzy-like熵(5),FCM收益率隶属函数类似于费米狄拉克分布函数(6]。这些成员函数适用于退火方法,因为它们含有一个参数对应于一个系统的温度。使用熵最大化方法的优点是,可以解释和模糊聚类分析统计物理和信息处理的观点。

Tsallis [7)取得了nonextensive扩展的波尔兹曼吉布斯统计提出熵与泛化参数的广义形式,在极限去香农熵方法。Tsallis熵是适用于众多领域,包括物理、化学、生物科学、网络和计算机科学,它已被证明是有用的(8- - - - - -10]。例如,Tsallis熵可以适用于属性选择在网络入侵检测11]。它还可以利用一个优化函数的阈值图像分割12]。在[13,14),Menard等人讨论了模糊聚类的框架nonextensive thermostatistics。通过考虑到可能主义的约束,可能主义的隶属函数是派生的,和其属性被认为从不同的观点。

另一方面,基于Tsallis熵,熵的另一种形式(或一定程度的模糊性)隶属函数可以定义。隶属函数的形式可以派生extremizing熵(最大化)的框架内FCM (15]。相比与传统的熵最大化方法(2,3),这种方法产生优越的结果(15]。

确定性退火(DA) (4模拟退火)是一种确定性的变体,它可以应用于聚类16]。通过应用DA FCM使用Tsallis熵,DA-FCM算法使用Tsallis熵了(15]。至于另一个应用程序的例子哒,在17),参数化的DA期望最大化算法。

隶属函数的重要特征之一,这种方法是集群中心作为一个加权函数的隶属函数的力量。我们也注意到它改变它的形状以类似的方式通过减少系统温度(退火)或通过增加。然而,它仍然未知如何适当值和初始退火温度应根据数据分布决定的。

本研究的目的是为了克服上述问题,其中包括定量分析温度和之间的关系,发展增量算法通过集成和温度。

分析表明,温度和影响几乎相反。基于这些结果,我们开发了两种增量算法Tsallis entropy-based FCM,被定义为温度的函数。这些算法比较与传统Tsallis entropy-based DA-FCM方法。

在第一个算法,增加以保持类似的形状与传统减少的方法。在第二个算法,被定义为一个逆减少pseudo-temperature。

实验使用费舍尔的虹膜数据集执行18),证实,在许多情况下,适当的值是自动从温度决定的。此外,提高分类的准确性,提出的方法优于传统方法。

然而,它也发现计算的迭代的数量取决于,有时就比传统的方法;这表明,应该在一定程度上进行了优化。

2。熵最大化方法

让()的数据集维实空间,分为集群。此外,让()集群的中心,让()是隶属度函数。此外,让 FCM的目标函数是最小化。

2.1。对FCM熵最大化

Tsallis熵定义为 在哪里的总数是微观系统的可能性。

基于(2),熵(或一定程度的模糊性)的隶属函数定义如下:

目标函数可以写成

的规范化约束下 Tsallis熵函数给出 在哪里和拉格朗日乘数法和必须确定,以满足(5)。

extremizing (6)对,固定条件收益率以下隶属函数: 在哪里

同样,集群是由的中心

和满足 导致 通过与统计力学类比,这种关系可以内部能量和作为一个人工系统温度(19]。

3所示。的依赖关系在温度和

在(9),作为重量值,它决定了。在本文中,为了简单起见,将。这使得分母(7)成为之和相同形式的分子。在数据1(一)和1 (b)的分子绘制的函数吗参数化的和,分别。在这些数字,为了检查的形状(下标在这个公式省略)之间的距离的函数的中心集群和各种数据点,被认为是一个连续变量。

的程度变得越来越窄随着温度降低,分布变得狭窄。这将导致代替退火或增量聚类减少。

4所示。温度和定量关系

正如在前一节中所述,和反向影响的程度以类似的方式,从而改变与增加或减少。因此,为了检查之间的定量关系和独立,我们改变它们,如下。

首先,我们定义

然后,计算的修正和一些常量和。接下来,通过减少,我们决定值的残差的平方和最小化这两个函数:

在这些计算,参数设置如下:被设置为;的领域被设置为;采样点的数量的剩余工资的总和(和在(13)将和、职责)。

为的值,,,和减少从,值的平方和最小化残差(表达的)如图2(一个)。

图2 (b)另一方面,显示了结果的情况下被设置为和降低了从,20.0,100.0,200.0。

近似曲线在图2(一个)和2 (b)拟合得到的数据如下公式: 在哪里和拟合参数。这些参数的最优值在表中进行了总结1和2。结果发现,几乎等于,这表明成反比。此外,它可以看出不改变它的值,增加而增加。因此,通过使用之间的关系和如表所示1和2,增量聚类是可能的。

5。增量FCM算法

在本节中,我们发展使用Tsallis熵的增量FCM代替退火。我们首先考虑的参数和在(14)和。在这种情况下,来自由以下方程:

温度是举行在集群。

的增量FCM算法使用Tsallis熵最大化提出了如下:(1)设置集群的数量,最高温度的阈值,温度参数,减少收敛测试和,增量参数。(2)随机生成初始簇的位置,并将每个数据点分配给最近的集群。设置当前的温度。(3)计算出隶属函数使用(7)。(4)计算集群中心使用(9)。(5)比较之间的差异目前上一次迭代的中心和中心。如果收敛条件满意,然后去步骤(6),否则返回步骤(3)。(6)比较目前的中心和中心之间的区别在前面的迭代中获得的。如果收敛条件满意,然后停止。否则,更新使用(15),并返回到步骤(3)。

6。实验1

在实验1中,传统的分类结果还原法和增量方法在前一节中比较检查如果他们给类似的结果。

在实验中,我们使用费舍尔的虹膜数据集18),包括150年的四维向量的虹膜花。数据集包含三个集群的花:多色的,virginica, setosa。每个集群包含50个向量。

参数设置如下:

,,的初始值被设置为,在传统的退火方法。冷却时间的退火方法,我们使用快速退火(VFA) [15,20.)与。

6.1。分类的结果减少和增量方法

最大、最小和平均数量的分类错误的数据点的传统减少和增量1000次试验总结在表的方法3。

最大、最小和平均数量的计算迭代所需的传统减少和增量1000次试验总结在表的方法4。

表3和4表明,增量迭代方法减少误分类,需要更少的计算比还原方法;即使是如此为了增加最小化残差的平方和的和。这表明,存在一个形状之间的显著差异在减少和增量。

在图3改变的函数绘制。如这个图所示,和被获得和分别用(15)。

通过比较的情节和和和可以看出,当,两个有类似的形状。然而,当和很大,有一个陡峭的坡比呢;这导致缺乏协议的聚类结果。

7所示。修改增量FCM算法

在前一节中,这是证实增量聚类对FCM使用Tsallis熵最大化可用。

在本节中,我们考虑一个非常简单和通用算法,在其中是固定的,和被定义为的倒数吗,在那里是一个pseudo-temperature减少使用DA方法。也就是说,给药 在哪里任何小的常数(小常数为了防止添加从到达当;这需要被避免,因为限制的,Tsallis熵等于夏侬熵)。步骤(1)、(2)和(6)节中给出的算法5应该改变如下:(1)设置集群的数量,最高温度的阈值,温度参数,减少收敛测试和,最初的价值。(2)随机生成初始簇的位置,并将每个数据点分配给最近的集群。设置当前温度来。(6)比较目前的中心和中心之间的区别在前面的迭代中获得的。如果收敛条件满意,然后停止。否则,减少、更新使用(16),并返回到步骤(3)。

8。实验2

在实验2中,我们的分类结果进行比较还原方法和修改增量方法(以下该方法)在部分7。

费雪的虹膜数据集使用集群使用相同的参数是在实验1中,除了被改变的来传统的方法,被改变的来该方法。VFA被用作冷却时间的方法,和在(16)被设置为。

8.1。分类的结果减少和修改增量方法

最大、最小和平均误分类数据点的数量,需要计算的迭代次数为1000次试验的传统减少和总结了该方法表5和6,分别。在这两种情况下,被设置为。

表5和6表明,传统的方法分类较少的数据点增加。计算迭代所需的数量增加而增加,达到一个最大值。

更进一步的数据点的数量和该方法所需计算的迭代的数量接近这些数字的传统方法的极限和,分别。

在传统的方法中,增加,更进一步的数据点的数量减少;这是因为窄分布时大,因此聚类完成本地和优化。另一方面,所需的计算的迭代的数量会减少和降低,因为当很小,集群已广泛而有效地完成。

在该方法中,最初是,这几乎等于。因此,在退火的早期阶段,自动完成聚类广泛。这是因为修改方法不需要迭代。

总之,传统的方法不一致,,值最小化分类错误的数据点数量的增加计算的迭代的数量是必需的。然而,通过设置一样的值中使用的传统方法,该方法比传统方法更好的平衡分类错误的数据点的数量与计算迭代所需的数量。

8.2。修改的属性增量方法

在本节中,我们将研究该方法提高了集群的原因。

表7和8总结,改变从来,最大、最小和平均误分类数据点的数量和所需的数量计算的迭代1000次试验的方法。

在表8,计算方法所需的迭代的数量减少和降低直到。在这一点上,它开始增加,这表明存在极小值。这个属性的原因被认为是如下。当高达的相对大小太小,不能改变的形状吗,这增加了需要计算的迭代次数。然而,当的宽度非常狭窄,需要很长一段时间的中心集群收敛。由于这些原因,我们假设至少有一个最低的。

正如前一小节提到的,该方法可以限制分类错误的数据点的数量尽可能少的来点。因此,我们得出这样的结论:不明显影响误分类的数量。

总之,我们的实验证实,当增加的逆pseudo-temperature减少,该方法至少工作以及传统方法。然而,该方法计算所需的迭代的数量显然取决于的价值,它还不知道如何确定一个适当的值对于一个给定的数据集。

9。结论

我们制定的隶属函数Tsallis entropy-based FCM Tsallis熵最大化的功能。在这个配方,Tsallis熵参数的强烈影响聚类的准确性。

为了确定一个适当的值对于给定的数据分布,首先需要检查定量的影响的程度上。我们认为,为了减少残余的平方为减少和增量,必须增加温度的倒数。

根据这种关系,我们提出了两种增量方法和DA方法组合在一起。在第一种方法,增加根据近似函数最小化的平方剩余的。实验结果表明,与常规退火方法相比,该方法减少了误分类的数量和所需的计算的迭代的数量。

在第二个方法中,只是定义为减少pseudo-temperature的倒数。实验结果表明,这种方法在大多数情况下,确定一个合适的值,提高了精度,优于传统的方法。

然而,结果也证实计算的迭代的数量取决于,在某些情况下,它可以成为比传统的方法。这应该是可以避免的,使用的价值最大限度地减少迭代次数。

在未来,首先我们要估计的有效性近似法中使用的部分3和4准确。然后我们打算探索提高效率进行测试使用各种公式的收敛性和计算时间和。此外,我们打算开发一个更好的时间表退火和优化的方法。

利益冲突

作者宣称没有利益冲突有关的出版。

承认

本研究支持jsp KAKENHI批准号25330297。

引用

1. j . c . Bezdek模式识别与模糊目标函数算法,Prenum出版社,纽约,纽约,美国,1981年。
2. R.-P。李和m . Mukaidono最大熵的模糊聚类方法,”学报》第四届IEEE国际会议上模糊系统(FUZZ-IEEE /个人的95),第2232 - 2227页,1995年。视图:谷歌学术搜索
3. 宫本茂和m . Mukaidono”模糊c作为正规化和最大熵方法,”第七届国际模糊系统协会学报》97年世界大会(IFSA),卷2,页86 - 92,布拉格,捷克共和国,1997年6月。视图:谷歌学术搜索
4. 英国玫瑰,大肠Gurewitz g·福克斯,“确定性退火的聚类方法,”模式识别的字母,11卷,不。9日,第594 - 589页,1990年。视图:出版商的网站|谷歌学术搜索|Zentralblatt数学
5. A . De Luca和美国目的地”,设置的非概率熵的定义模糊集理论,“信息和控制,20卷,不。4、301 - 312年,1972页。视图:出版商的网站|谷歌学术搜索|Zentralblatt数学
6. m . Yasuda t . Furuhashi m .松崎,s . Okuma”模糊聚类采用确定性退火方法及其统计力学特性”学报第十届IEEE国际会议上模糊系统,3卷,第800 - 797页,2001年12月。视图:谷歌学术搜索
7. c . Tsallis”泛化的波尔兹曼吉布斯统计,”统计物理学杂志,52卷,不。1 - 2、479 - 487年,1988页。视图:出版商的网站|谷歌学术搜索|Zentralblatt数学
8. 安倍和y Okamoto、Eds。Nonextensive统计力学及其应用施普林格,2001年。
9. m·盖尔曼和c . Tsallis Eds。Nonextensive Entropy-Interdisciplinary应用程序,牛津大学出版社,纽约,纽约,美国,2004年。
10. c . Tsallis Ed。介绍Nonextensive统计力学施普林格,2009年。
11. c·f·l·利马f·m·阿西斯和c p . de Souza”的比较研究利用香农,Renyi和Tsallis熵属性选择在网络入侵检测,”《IEEE国际研讨会上测量和网络IEEE,页77 - 82年,Anacapri,意大利,2011年10月。视图:出版商的网站|谷歌学术搜索
12. w·魏、林x和g .张“快速图像分割基于二维最小Tsallis-cross熵,”第二届国际会议在图像分析和信号处理(IASP 10)2010年4月,页332 - 335。视图:出版商的网站|谷歌学术搜索
13. m . Menard诉Courboulay和中国。Dardignac”,可能性和概率模糊聚类:统一的框架内non-extensive thermostatistics,”模式识别,36卷,不。6,1325 - 1342年,2003页。视图:出版商的网站|谷歌学术搜索
14. p . m . Menard Dardignac, c . c . Chibelushi”Non-extensive thermostatistics为模糊聚类和极端的物理信息,“国际期刊的计算认知,卷2,不。4、1 - 63、2004页。视图:谷歌学术搜索
15. m . Yasuda”,熵最大化和非常快的确定性退火的模糊c均值聚类方法,”学报》5日联合国际会议在软计算和11日国际研讨会智能系统SU-B1-3, 1515 - 1520年,2010页。视图:谷歌学术搜索
16. f·罗西和n . Villa-Vialaneix”优化有组织模块化为地形测量图聚类:确定性退火的方法,”Neurocomputing,卷73,不。7号到9号,第1163 - 1142页,2010年。视图:出版商的网站|谷歌学术搜索
17. 郭w和s崔”q-Parameterized确定性退火EM算法基于nonextensive统计力学,”IEEE信号处理卷,56号7,3069 - 3080年,2008页。视图:出版商的网站|谷歌学术搜索
18. r·a·费雪”,使用多个测量数据的分类问题,”优生学的年报,7卷,不。2、179 - 188年,1936页。视图:出版商的网站|谷歌学术搜索
19. l . e . Reichl现代统计物理课程约翰·威利& Sons,纽约,纽约,美国,1998年。
20. b·e·罗森“函数优化基于先进的模拟退火,”IEEE学报》研讨会上物理和计算(PhysComp ' 92)IEEE,页289 - 293年,1992年10月。视图:出版商的网站|谷歌学术搜索

版权

版权©2015 Makoto Yasuda。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。