文摘

这项研究涉及数据和特性减少模糊建模。因为这些活动有利于减少模糊模型的有效性方面的建设和结果的解释模型,实现值得特别关注。有意义的一个子集的形成特点和基本实例的一个子集的上下文中讨论fuzzy-rule-based模型。与现有的研究,主要集中在特征选择(即输入空间的减少),立场主张是减少涉及数据和特性已成为有效的模糊模型的设计。减少问题是组合的性质,因此,要求使用先进的优化技术。在这项研究中,我们使用粒子群优化(PSO)技术作为一种优化车辆的形成特点和数据的一个子集(实例)设计一个模糊模型。给定问题的维数(作为搜索空间涉及功能和实例),我们将讨论合作版本的算法以及集群机制,形成整个搜索空间的分区。最后,一系列的数值实验使用几个机器学习的数据集。

1。介绍

模糊建模的两个主要方法生成规则依赖于人类专家的知识获取和知识发现的数据(1,2]。近年来,知识发现的数据或数据驱动的模糊建模已成为更重要的是(2- - - - - -4]。在许多情况下,有效地开发模型的能力是受到输入空间的维数和数据的数量。如果我们关心的是基于规则的模型,高维的特征空间的拓扑规则产生的诅咒维度(1,4]。规定数量的增加呈指数级增长,等于,在那里的特性和数量吗代表的数量为每个特性定义模糊集。

的因素,最有助于数据驱动的模糊建模的准确性与输入空间的大小和输入数据的分解。大量的数据点或实例在一个连续的输入输出域表现出对模糊模型产生重大影响。众所周知,更多的培训数据并不总是会导致更好的性能数据驱动模型。大量的训练数据建模能力具有重要意义。由于模糊集的数量决定了可实现的近似函数的家庭,更大的数据集呈现过度学习的训练数据的可能性1,4]。因此,模糊模型的有效性依赖于训练数据的质量。此外,主要缺点是模糊模型的相对低效率随着数据的大小增加,关于这两个数据点的数量数据集和特征的数量。此外,使用最广泛的方法之一,在模糊建模的模糊c均值(FCM)算法构造规则的祖先与维度的诅咒(5,6]。

维度的问题可以被解决通过减少模糊规则。还原法扮演两个重要角色:提高学习算法的有效性,自学习算法只集中在最有用的数据子集,同时也提高了计算效率,学习算法仅涉及数据小于原始数据集的一个子集(7]。减少可以通过删除冗余实现模糊规则利用模糊相似度的概念(3,7,8]。进化算法也被用于构建紧凑的模糊规则(9- - - - - -12]。进化算法优化模糊系统的结构和规则的参数(13,14]。然而,在许多情况下,一些变量不是至关重要的实现模糊模型。一个合适的方法来克服这个问题是实现特征选择之前构建的模糊模型。因此,在过去的十年中,特征选择方法结合构造模糊模型开发了用于降低维度的诅咒(15- - - - - -22]。这个过程减少了模糊规则的搜索空间,提高了模型的精度。

正如上面提到的,形成最佳的输入数据作为训练集构造的模糊建模也很重要。然而,据我们所知,没有研究已经完成,同时选择最好的特性和输入数据的子集构造模糊模型。大部分的研究都集中在减少模糊规则,并简化了系统的过程进行一次设计已经完成。在这里,我们提出一个方法,降低了系统的复杂性从设计阶段。然而,过程中构建的前提和结论部分模糊模型实现使用最好的输入数据的子集。

本文提出了一个全面的框架构造模糊模型的数值输入-输出数据的子集。首先,我们开发一个数据驱动的高维大数据集的模糊建模框架,能够自动生成一个基于规则的数值数据。第二,我们一起集成特征选择的概念和数据选择的统一形式,进一步完善(减少)的模糊模型。在这方面,PSO应用技术,以寻找最好的数据子集。为了提高算法的有效性技术,我们引入一个新的合作PSO方法基于信息造粒方法。第三,我们开发一个灵活设置应对使用的变量和数据优化设计的模糊模型。该方法允许用户选择变量和数据的预先确定的分数,可以用来构造模糊模型。

本文组织如下。我们简要地阐述所选数据和特征空间的方法减少部分2,然后在部分3,我们回忆起主要的PSO算法的特性及其合作版本,复形,这是兴趣的高维的问题。提出了模糊建模框架以及主要算法的发展提出了部分4。实验研究了在部分5,提供了和结论部分6。

2。选择的方法来减少数据和空间

一般来说,减少过程包括特征选择(FS)、(数据)实例选择(是),和减少结合这两个过程:选择(FIS)特点和实例。特征选择是一个主题的主要追求。FS的目标,这是常见的在系统建模和模式识别的问题,是选择最好的特征子集,这个新功能(输入)中形成的模型空间展览(分类)的最高精确度同时与透明度的增加产生的构造(23]。过程旨在丢弃无关和/或冗余特性(24]。一般来说,FS算法可分为三大类:过滤器、包装、和嵌入方法。过滤方法的选择标准是独立学习算法。与包装方法,选择标准是取决于学习算法,并使用它作为评价标准的性能指标。嵌入的方法结合了特征选择的培训过程。读者可以参考(23- - - - - -25为更多的细节。

实例选择(是),另一个类别的还原方法,涉及相关数据(实例)的选择反射知识相关的问题(26,27]。这三个主要功能形成的本质是包括启用,聚焦和清洁26]。

在这项研究中,如前所述,而不是接近特征选择和实例选择分开,我们关注的集成特征选择和实例选择模糊模型的建设。两个进程都同时适用于初始数据集,为了获得一个合适的功能和数据的子集构造模糊模型的参数。在文献中,一些集成特性的方法和实例的选择更注重类的分类问题(28,29日]。

的思想特征和数据减少以及混合方法讨论了在模糊建模的领域。表1提供了一个快照现有方法的多样性和优势获得通过完成还原过程。

3所示。粒子群优化及其合作版本

以人群为基础的算法提供了有趣的解决方案,因为可以使用任何有建设性的方法来产生初始种群,以及任何本地搜索技术可以用来改善人口中的每个解决方案(30.]。此外,以人群为基础的方法的优点是能够把好可能为了获得更好的解决方案。在FS大多数基于算法的方法,是基于气体。一些最近的研究(28,29日,31日)采用以人群为基础的优化技术进行寻找最好的解决应用问题的变量和数据的子集,但是所有人进行来解决分类问题。因此,在这项研究中,我们使用基于技术选择最佳的功能和数据的子集回归问题。在这里,我们实现粒子群优化(PSO)技术最好的智能搜索功能和数据的子集(实例)。

算法,进行由肯尼迪和埃伯哈特,集体行为的启发,鸟或鱼(32),是一个以人群为基础的算法,每个个体,称为粒子,代表候选人的解决方案。每个粒子通过搜索空间在给定的速度动态修改的根据自己的经验和结果在其本地最好的(磅)的性能。也是受别人影响粒子飞行经验导致最好的价值,全球最佳(gb)。底层的表达式在一代又一代的更新速度读取如下: 在哪里(搜索空间的总和等于特征空间的维数和数据)的大小。惯性权重()范围仅限于[0,1];随着时间的推移其价值观可以减少。认知因素和社会因素确定的相对影响来自于粒子的经验和当地最好的和全球最好的。和数字来自一个均匀分布在带来一些组件的单位间隔的随机搜索过程。

在这个研究中,我们采用PSO-based方法处理两个优化任务,即(1)选择最优特征子集和(2)选择最优的子集实例基于信息粒度的概念。为了减少使用标准算法的计算复杂度,我们采用合作PSO方法同时解决这两个优化任务。背后的动机合作算法的使用,提倡(33],是有效应对搜索空间的维数,这成为一个严重的问题,当大量的数据与一个大维度。这个维度的诅咒是一个重大障碍负面影响标准算法的有效性。合作的本质并行版本的算法本质上是一个寻找最优特征子集及其最优的子集的实例。合作战略是通过将候选解向量分成组件,叫做subswarm,每个subswarm代表整个优化过程的一小部分。通过这样做,我们实现分而治之的概念来解决优化问题,因此,这个过程将变得更加有效和快速。

信息共享机制的复形图所示1。合作搜索subswarm之间和其他是通过共享信息的全球最佳位置(在所有subswarm)。这里的算法采取两步向前,因为候选人的优势解决方案来自最好的位置仅供所有subswarm除了当前subswarms被评估。因此,该算法将不会花太多时间优化特性或实例有什么影响的整体解决方案。每个群的速度收敛于解决方案是明显高于标准的粒子群算法的收敛速度。

合作版PSO的本质是将数据分成几组,每组由一个单独的算法。的主要设计问题涉及的变量被划分为不同的群体。良好的指导原则是保持相关(相关的)变量在同一组。显然,这样的关系是无法提前知道。有几种可能的方法解决这一问题的上下文中详细手头的问题。(一)我们关心的是功能和数据的集合(实例),一种自然的方式将变量将形成两组(),一个用于功能(),另一个实例()。这个分裂是合法的,如果两个子集的维度很相似。(b)在某些情况下,其中的一个子集(数据或功能)可能会明显大于另一个。我们经常遇到的大量的数据,但是在某些情况下,可能存在大量的特性(例如,在微阵列数据分析)。这个特定的数据集合然后分成或特性K组。集群这些物品是一个可行的算法。运行模糊c k - means或产生集群(集团)用于个人PSO的变量。(c)子集都大,聚类实现的功能和数据,以及由此产生的、结构(分区)是用于运行合作算法。

算法1介绍了合作算法的伪代码实现优化流程(33]。首先,算法分为子空间,称为subswarms。在我们的例子中第一个subswarm表示特征搜索空间和其他实例搜索空间。是指粒子的位置的subswarms。为每个subswarm定义为全球最佳,当地最好的定义是。subswarms受雇于函数之间的合作,它返回维向量由连接所有subswarms全球最佳矢量,除了当前位置。在这里,th组件被称为并从subswarm代表任何粒子的位置。

4所示。PSO-Integrated Fuzzy-Rule-Based减少功能和数据模型

特性数据简化的问题本质上是组合性质,算法提供了一个有趣的和计算上可行的优化选择。下面我们从一般的优化设置,然后开始讨论搜索的算法实现过程(关键设计阶段是形成搜索空间的一个合适的编码机制)。尽管提出的一般性方法,我们专注于基于规则的模型,它通常出现在模糊建模,来帮助提供总体设计过程的详细视图。

4.1。整个还原过程

像往常一样在系统建模中,我们考虑一个监督学习离子场景,我们相遇在一个有限的训练数据集,。强调数据的性质和他们的维度,以及数据空间维特征向量可以被视为一个笛卡儿积的数据和功能。减少的本质是到达的笛卡儿积减少数据和功能空间,,在那里,和。的基数等于减少空间和,在那里和。

还原过程的总体方案概述如图PSO-guided减少的作用2。该计划可以分为两个重要部分,可以描述如下。(一)还原过程通过PSO:还原法处理功能降低和数据同时减少。PSO算法用于寻找最好的功能和数据构造的模糊模型。这里的大小选择功能()和数据()是由用户事先提供。PSO满足最大代后,进程停止,最后最好的功能和数据的子集是最好的构造模糊子集的数据模型。(b)评估过程:使用模糊c均值算法数值数据转换成颗粒的信息。在这里,信息粒度过程只处理数据的子集和特性()。接下来,随之而来的参数由模糊模型是用来评估选定的数据的性能和特性。在这个阶段,我们访问的性能构造模糊模型的能力以适应模型通过使用原始数据集的所有实例。

显然,原有的空间降低,在这个笛卡儿积模糊模型,用调频,设计以通常的方式(我们详细说明模糊模型的形式在随后的部分)。它的设计是根据一定的目标函数表达了所有元素的原始实例。减少空间的质量评估量化模糊模型的性能操作原始,non-reduced空间。施工中使用的相同的性能指标的模糊模型减少了空间是用来描述模糊模型的质量: 注意,上面所示的总和是接管所有元素形成的数据空间。通过另一个看整体减少计划,值得注意的是,减少在包装器模式,实现中,我们使用模糊模型来评估的质量减少的机制。

4.2。PSO-Based表示的搜索空间

数据和功能空间的减少涉及数据的一个子集的选择和功能的一个子集。因此,本质的问题是组合。这里使用PSO形成一个子集的整数索引的数据或功能的形成。例如,表示为一组索引吗整数的一个子集。从算法的角度,形成粒子作为字符串的实数的长度;有效地搜索空间是一个超立方体。第一子串的长度代表数据;第二个(拥有条目)用于优化特性的子集。粒子是解码如下。单独处理每个子串(解码)。真正的条目数量排名。结果是一个整数列表视为数据的索引。第一个条目的选择-安置子字符串。相同的过程应用于子字符串代表一组特性。一个整体解码方案见图3。

给定的信息PSO用于表示特征和数据的子集来构建数据驱动的模糊模型。然后,数值数据的信息的集合表示颗粒(一个模糊集)产生通过一些集群(模糊聚类)。关于颗粒(集群)的信息用于构造模糊模型。

在合作算法搜索空间的形成以更复杂的方式实现。合作方面主要涉及信息交换subswarms发现的最佳位置的不同。在这里,我们提出一个新的合作PSO(复)算法的数据还原过程和特性。选择合作成群的数量很重要,因为它会影响合作算法的性能模型。Sub-swarm 1代表了特征列和subswarm 2代表实例的特定数据集的行。图4说明了标准PSO和合作算法之间的主要区别。标准的粒子群算法包含一个群大维度的搜索空间。相比之下,合作算法,我们将搜索空间划分为两个subswarms: subswarm 1特征表示和subswarm 2实例表示。所有subswarms共享相同的基本粒子定义见图4。

一般来说,数据的维数(实例)选择高于特征选择。为了减少维数的诅咒的影响,我们将数据分解成几组通过造粒方法的信息。在本文中,我们使用模糊c均值(fcm)颗粒构造信息。因此,分解组的数量实际上是集群的数量(FCM)使用。例如,如果我们想要分解的数据分成三组,我们使用集群的数量等于三。结果,而不是只有两个subswarms,我们引入更多subswarms代表不同组的数据。

图5礼物的过程构建合作的subswarms算法通过分解成几个subswarms实例。正如前面所提到的,我们应用的概念肉芽分解数据组的信息。为了确定在每个分解组选定的数据,我们使用信息颗粒(隶属度)值来确定每组中实例的索引。在这里,我们使用一个“赢者通吃”的方案来确定单个组对于每一个颗粒,也就是说,在每个实例的索引的分解组相关信息颗粒得到最高程度的激活。我们表示相关的数据集th颗粒,: 在哪里是分解组,是颗粒为每个数据的信息,是数据(实例)和数据的数量和级别的信息造粒,分别。

4.3。Fuzzy-Rule-Based模型的一个类别

使整体呈现更专注,我们考虑一类fuzzy-rule-based模型由的集合”“规则: 在哪里(是集群的数量),颗粒形成的信息输入空间,然后呢是当地的一个线性函数与一些参数吗颗粒与相应的信息。颗粒的信息是由模糊聚类的方法,即模糊c均值(fcm)。相应的隶属度函数因此被描述为 在哪里,通过聚类形成的原型,然后呢,是一个模糊化系数。

5。实验研究

在本节中,我们报告我们的结果从一组实验中,使用几个机器学习的数据集(见http://www.ics.uci.edu/ ~ mlearn / MLRepository.html和http://lib.stat.cmu.edu/datasets/)。这些实验的主要目的是展示该方法的能力,量化的性能特点和实例的选择的子集,并到达一些一般性的结论。简洁的总结实验中使用的数据集提出了表2。所有数据关注连续输出。

5.1。参数设置

PSO和复参数的值设置使用标准形式如下。惯性权重的值,从1到0,是线性的优化。认知因素的值,和社会因素,分别为0.5和1.5,。在表3,我们还列出的参数的数值算法和复环境。人口的规模和数量的世代,我们使用一个更大的人口和大量的代通用版本的算法比复形,因为更大的这个算法在搜索空间。

subswarms用于优化方法的数量也是表所示3。PSO方法只包含一个群体的个人连接特性和实例。相比之下,对于复形,我们把搜索空间划分为几个subswarms能够相互合作,个人在subswarms用来表示搜索空间的一部分。复形的¹包含两个subswarms覆盖数据和特性,分别。在复²中,我们使用三个subswarms表示数据点;在这里使用的数据,数据的数量比特性的数量大,所以一个更好的平衡的维度空间。数据(实例)搜索空间分为三个subswarms和分解过程是通过运行实现模糊聚类(每个集群形成subswarm)。表中我们使用小尺寸的一代相比,颗粒的大小。这是因为在34进行施和埃伯哈特提到人口规模不表现出任何对PSO算法的性能产生重大影响。然而,粒子大小的高搜索空间的大小。我们需要更多的粒子捕捉大搜索空间选择使用标准PSO的实例。因此我们可以找到最好的解决方案的速度比使用更小的微粒的大小。另一方面,粒子的数量减少,当我们实现复形法。这是因为原大搜索空间被分成几组,和搜索的过程最好的子集是并行完成的。

5.2。实验的结果

在实验中,我们看了表演的平均均方误差(RMSE)获得所选的组合功能和数据的数量(实例)。住房的结果数据,可吸入颗粒物数据和帕金森综合症的数据和集群在表中进行了总结4,5,6,分别。实验重复10次,报告结果的平均RMSE值。我们也报告的标准偏差值的性能指标提供了更好的洞察性能的变化。值得注意的是,标准差降低涉及数据的增加和降低特征空间的维数。

结果的可视化形式的一系列热点图,见图6,7,8,帮助我们到达定性观察以及看一些定量的关系。在大多数情况下,性能指标仍相对较低,在一些地区的热量地图。这一发现表明,可用的数据有一些明显的冗余,展品设计模型产生负面影响。PM10数据,大大降低了模型的性能时,低比例的数据,开始增长的数量特征。这对不同数量的集群效应存在。同样的趋势是明显的其他数据集。有一个合理的解释这一现象:简单,模糊聚类形成的结构并不完全反映在数据的依赖关系(由于数据的稀疏的影响),和这个问题,反过来,导致恶化的模糊模型的性能。在这种情况下,一个会更好考虑一套合适的减少的特性。在所有情况下试验了,我们注意到一个最佳组合的特性和数据模型的最佳性能。表7总结了功能和数据的最佳组合。

使用的百分比数据之间的关系和由此产生的RMSE值显示在数字9和10。一些有趣的趋势值得注意。关键的数据必须形成一个模糊模型。增加数据的数量不会产生任何改进的曲线绘制数据9(一个),9 (c),9(一个)实现一个高原,甚至一些RMSE的增加是明显的。

考虑到使用一个固定比例的数据,我们看看特性集的性质。表8,9和10显示PM10的最佳特性数据,身体脂肪数据,分别和楼市数据。总的来说,所选特征子集几乎相同的不同数量的集群。此外,我们注意到,在大多数情况下,减少特征空间表现出一个有趣的“嵌套”属性,这意味着扩展特征空间构造包含形成之前。例如,对于房地产数据,我们得到以下的子集特点: 这里,相应的功能如下:6:平均每个居住的房间数量,9:可访问性指数到径向公路,13:地位低的人口比例,和10:全部价值每10000美元的财产税率。这种组合是相当令人信服。

PM10的数据,我们得出一系列嵌套的特点: 在相应的功能包括:1:PM10的浓度(粒子),7:每天小时的实验,6:风向,每小时和2:汽车的数量。

转向性能的群优化方法的比较分析,我们总结结果图11。对于所有数据,结合复比标准算法执行的。虽然两种算法显示相同的趋势特征的比例是100%然而,产生的RMSE复低于一个运行时算法获得。此外,结合复比标准PSO算法更加稳定。在大多数情况下,复形产生的误差标准偏差小于标准PSO的结果(见表11)。

图12显示了不同的特征子集选择百分比的特性用于模糊模型的建设。复形算法更一致而选择越来越多的功能。例如,功能6和13时选择使用30%和70%的数据。在选择用PSO算法相比,这里的特征子集的选择是不稳定,特别是当使用只有30%的数据。

表12提出了改善的百分比在使用复形算法相比,PSO算法。注意,在这个比例我们包括所有不同的组合特性的百分比和所使用的数据的百分比。改善的百分比较高,当处理一个小比例的功能和数据。例如,改进的比例是34%对10%的实例和50%的特性选择而改善的百分比小于10% 60%的实例和使用特性。这些结果发生,因为PSO方法处理大搜索空间选择特性和实例的一个小子集。与复形的搜索空间,大型搜索空间分解为多个subswarms降低原始搜索空间的维数。

表13,14,15,16显示RMSE在使用该方法的比较和标准的模糊建模方法。这里的标准模糊模型不使用任何功能和实例选择和坚持方法用于选择数据基于给定的百分比。使用标准的模糊建模的实验重复50次。如果我们分析表,我们可以观察到,我们的方法优于标准数据集的模糊模型的构建方法。这可以清楚的看到在使用复形法寻找最佳特征子集和实例。例如,在表中13如果我们用复形法的RMSE使用70%的数据是3.413,而标准方法的RMSE是8.312。这里使用的所有数据集进行相同的趋势。

图13展示了该方法之间的对比图和“标准”的模糊建模。在大多数的情况下,该方法表现出更好的性能。

它变得明显,一是可以减少输入数据的数量特征和实例。此外,选择的灵活性降低水平帮助用户集中在最重要的数据子集和特性(变量)。知识获得最好的子集的数据可以用于未来的数据收集。此外,用户可以投入更多的精力,只有最好的子集的数据分析提供更多影响的整体预测。

6。结论

在本文中,我们提出一个简单的框架,构建模糊建模从高维大数据。这个框架有几个优点,使它比其他框架更适合分享各种各样的现实问题。首先,同时特征和实例选择很容易适应构造模糊模型的结构。其次,最好的选择的子集的数据获得这个框架能够代表原始的大数据集。第三,我们构建一个最优(或次优)特性和数据基于PSO的集合。此外,合作开发算法为了克服限制使用标准的粒子群算法在处理高维搜索空间。的大小选择特性和数据用于构造模糊模型可以调整根据提供的反馈目前接受的性能模型的构建。

框架的有效性验证通过使用四个著名的回归数据集。实验结果表明,该模糊建模框架能够同时处理高维度和大数据集。此外,在模糊建模维度的诅咒问题是大幅减少。

在未来工作可以专注于改善合作PSO微调等参数的方法,例如,认知和社会参数。

确认

高等教育部门的支持(邻蒙古)马来西亚和马来西亚Teknikal大学马六甲(UTeM)。