HYEI:一个新的混合进化帝国主义竞争模糊知识发现算法

文摘

近年来,帝国主义竞争算法(ICA)、遗传算法(GA)和混合模糊分类系统已经成功地和有效地用于分类数据挖掘的任务。由于克服当前算法的差距与无效分析高维独立数据集,提出了一个新的混合方法,名叫HYEI发现通用的基于规则的系统。这建议的方法包括三个阶段,并结合一个基于进化论模糊系统和两个ICA程序生成高质量的模糊分类规则。最初,最佳特征子集选择通过使用嵌入式ICA特征选择,然后这些特性用于生成基本的模糊分类规则。最后,所有规则优化利用ICA算法减少长度或消除其中一些。HYEI已评估的性能通过使用几个基准数据集从UCI机器学习库。算法的分类精度达到分类精度最高的6 7数据集的分类精度问题,比较5个其他的测试问题,相比以前出版的最好的结果。

1。介绍

一般来说,模糊逻辑更接近人类的逻辑;因此它可以处理现实世界的噪音和不精确的数据(1,2]。模糊模型有几个优势。最重要的优势是,他们有灵活的决策边界,因此,他们的特点是高能力适应一个特定的应用领域和准确地反映其特性。模糊模型可以通过描述生成模糊分类规则集,然后改善减少长度和数量的规则。这种方法是一项复杂的任务,因为必须解决几个问题产生的模糊模型。首先,基本的模糊分类规则必须是定义良好的。在优化阶段,规则的长度减少,当一个规则的长度等于零则提到规则集的规则将被删除。产生规则集将更可判断的,因为它更少数量的规则。

在文献中已经提出几种方法改进的基于知识的模糊模型。在大多数的模型是使用公认的优化技术(即训练。与遗传算法、模糊规则(3])。

在这项工作中,我们提出一种算法来生成高质量的模糊分类规则包括三个阶段:(i)嵌入式特征选择,(2)基本规则集的创建,(3)规则集的优化。在第一阶段,基于最初的规则集,选择最好的功能通过使用嵌入式特征选择;嵌入特征选择、进化算法和帝国主义竞争算法使用这个阶段。在下一阶段,它生成模糊分类规则通过训练数据和初始规则集使用在前面的阶段。为了创造规则集,我们使用一个进化算法如遗传算法这一阶段。最后(第三阶段),减少的长度和数量的优化规则,生成最终的执行规则集。我们为这个阶段利用帝国主义竞争算法。

HYEI是密歇根州和匹兹堡的混合动力版方法。每一个模糊规则由其先行词模糊集表示为一个整数固定长度的字符串。每个模糊规则分类器,这是一组模糊规则,作为连接整数表示可变长度的字符串。HYEI算法同时增强了规则集的准确性和减少它们的复杂性。正确分类的准确性是衡量培训模式在复杂计算的模糊规则和/或总数模糊规则的前提条件。摘要七基准分类数据集应用于评估和报告结果显示较高的分类精度。

本文的其余部分组织如下。节2,我们将描述有关问题的相关工作。我们建议的HYEI部分3。部分4给出了实验结果。之后,我们讨论部分5。最后,我们得出本文的部分6。

2。相关的工作

作者在4]描述了两个系列的实验测试和常用的数据集的属性进行了探讨。第一个测试对比两个版本的理想的分区方法的一个变体贪婪multisplitting算法(5,6)和一个随机的分区方法。在这个实验中,他们使用一个版本的方法。第二系列的测试检查处理数值属性的影响对决策树学习。他们把理想和贪婪multisplitting策略到C4.5决策树(释放5)学习者和乳房W数据精度为94.9%,75.0%,糖尿病,72.7%玻璃,53.7%的心C,声纳为75.4%,94.4%,葡萄酒的算法描述。

作者在7)提出了一个通用的算法自动生成的模糊模型。该算法实现了在三个阶段。最初,清爽的模型。在第二阶段,转化为一个模糊。在第三阶段,所有进入模糊模型的参数是提高。该算法是新颖的和通用的,因为它可以集成不同技术的每个阶段。具体实现这个算法,使用决策树的创建的模型,乙状结肠函数,min-max运营商和最大defuzzifier酥模型的转换成模糊,和四种不同的优化策略,包括全球和局部优化算法和混合算法。该算法提供了几个优势和小礼品:脆的转换模型各自的模糊直接确保其全自动性质和它提出一组参数,表示每个模糊规则的重要性。乳房W数据精度为95.71%,77.34%,糖尿病,70.39%玻璃,76.27%的心C,声纳为75%,93.27%,葡萄酒的算法描述。

在[8提出了一个算法,用于复杂的算法,如神经网络或集合体通常导致非常准确的模型。作为替代,许多研究人员试图减少这种准确性与可理解性的权衡,转换精度高、不透明的模型转换为一个透明的模型,一种技术称为规则提取。成功的规则提取需要提取的模型不仅透明也可以理解的。这是通常转化为提取的模型必须相当小,从而使人类的检查和理解。在[8)的扩展G-REX的规则提取算法和评估。他们的算法成功地增加清晰度通过缩短提取规则。

作者在9)检查interpretability-accuracy权衡在模糊规则分类器使用多目标模糊基因机器学习(GBML)算法。提出了GBML算法是另一个混合版本的密歇根和匹兹堡的方法,这是实现进化多目标优化的框架(情绪)。每个模糊规则是由其先行词模糊集表示一个整数固定长度的字符串。每个模糊规则分类器,这是一组模糊规则,所指是可变长度的连接整数字符串。建议流程同时增加规则集的准确性和减少他们的复杂性。精度是衡量正确分类训练模式的数量虽然复杂性测量通过模糊规则的数目和/或模糊规则的前提条件的总数。他们研究了interpretability-accuracy权衡培训模式通过计算实验一些基准数据集。为每个数据集明确权衡建设设想。他们还研究了interpretability-accuracy权衡测试模式。由于过度拟合训练模式,明确权衡结构并不总是得到计算实验测试模式。 The proposed technique gained 97.34% accuracy for breast W dataset, 78.2% for diabetes, 66.07% for glass, 57.43% for heart C, 82.68% for sonar, and 96.96% for wine.

计算分析和计算可以帮助研究人员召集一群签名的某种疾病的基因(10,11]。从微阵列芯片的价格非常高,通常没有足够的组织样本可以从癌症患者,记录的数量在微阵列数据集通常是太高,不适合大多数机器学习算法。此外,加工和材料用于微阵列分析通常是制造商之间的不同,所以很难确定一组独特的基因,可以形成一个集成的数据集(12]。此外,当样品的数量为每个癌症类型通常是平衡的计算机分析。然而,癌症患者正常成年人的比例是非常小的现实世界。

因为基因的数量总是大于组织样本的数量(13,14),所以重要的挑战之一是选择小而有效的基因歧视的子集在成千上万的基因是一个非常有挑战性的任务;因此,基因选择成为最必要要求芯片的癌症分类系统。然而,最好的分类和混合基因选择是理解不佳,因为还有一个方法论的问题与培训相关微阵列数据。这是“过度拟合”的问题15]。简而言之,过度拟合意味着一个使用训练集可以得到良好的准确性,当小说数据使用,但无法获得满意的结果使用训练模型。这通常发生在少数应用高维样本。不巧的是,癌症肿瘤中存在这样一个问题发现使用微阵列数据集[16]。

作者在17)提出了一种新的迷因的方法是能够从癌症中提取模糊if - then规则可判断的准确数据。提出算法的第一个建议是迷因算法与多视图适应度函数的方法。多视图提供的新的适应度函数反映了两种评估程序。前程序,位于关键进化算法的结构,评估每一个模糊if - then规则根据指定的规则质量(不考虑其他规则的评估过程)。然而,后者的质量过程控制每个模糊规则根据整个模糊规则集的性能。该算法为14 _tumors数据集获得了69.43%的准确率。

改进的二进制粒子群优化(IBPSO)是用于18再来实现特征选择,基于事例()方法作为评估者IBPSO的基因表达数据的分类问题。实验结果表明该算法有效地减少了特征选择和减少功能的总数。由该算法获得的分类精度为66.56% 14 _tumors数据集。

3所示。算法

高维数据集是最重要的挑战性问题分类和特征选择算法在过去十年。因此,运行时持续时间增加;要花那么多时间,使预测精度降低和功能强大的计算机(最多RAM和快速cpu)需要实现。本节介绍了HYEI算法,解决了问题,我们在两个部分中详细解释。部分3所示。1简要解释了连续属性模糊if - then规则。一个启发式的过程也称为确定顺向类和每个模糊if - then规则的确定性等级培训模式。这种启发式的过程是一个改编版的已经首先介绍了(19]。的主要过程HYEI提出了部分3所示。2。

3.1。模糊规则库进行模式分类

让我们假设我们的模式分类问题是丙类问题维模式空间与一体的属性。我们还假设真正的向量,,给出了训练模式。整个模式规范化属性的值时间间隔。在提供的模糊分类器系统,我们使用模糊if - then规则的形式(20.]: 在哪里代表的标签模糊if - then规则,前期用独特的区间模糊集,代表的阶级,和的等级确定模糊规则。在计算机模拟中,我们使用一个典型的语言值集的算法1前期模糊集。

if - then规则的整数,在分类问题功能,是。是不可能使用这些规则在一个模糊规则库的数量属性(例如,)大(对癌症肿瘤的诊断,)。我们模糊学习系统搜索几个数字的if - then规则,能够识别癌症类分类精度高。由于结果类和确定性等级可以计算每一个if - then规则根据训练样本和一个简单的过程,我们的学习分类器系统负责寻找最佳组合的前期模糊集(21]。这个目标也许容易出现在第一阶段。然而,解决高维度的分类问题是非常富有挑战性和艰难,专门为我们的问题,有一个巨大的搜索空间州。

在我们的模糊分类系统,结果和每个规则确定性等级()将计算19]。

3.2。HYEI算法

本文基于帝国主义竞争算法的混合方法和遗传算法用于提取规则集,名叫HYEI;如图HYEI包括三个主要阶段1:(1)嵌入式特征选择,(2)基本规则集的创建,(3)规则集的优化。HYEI算法的轮廓图2。

3.2.1之上。初始化

假设模糊规则的数目在初始种群。摘要创建初始规则集,的数量if - then规则将随机生成基于现有的样本数据集和初始化前期语言值的规则的算法1。我们不在乎概率为零,所以每个规则最初的最大长度。模糊规则与数组的属性显示在图3。在这个数组用于语言值。2号1号意味着小,意味着媒介小,3号意味着媒介,4号意味着中等大,5号意味着大,0表示不在乎数量。

3.2.2。特征选择条件测试

有不同的方法来决定需要使用特征选择过程。的方法使用算法的特征选择过程被认为是一个指定的属性。另一种方法是使用一个训练算法来估计最好的属性的数量。在我们的算法中,我们已经考虑第一种方法。

3.2.3。嵌入式特征选择

在一些数据集存在的第一个问题如DNA微阵列是它的高维度;因此,为了减少这个问题的维度,事前分析过程阶段使用特征选择方法将运行。有不同的特征选择方法过程如包装器,过滤器,和嵌入算法。在我们的算法中,我们已经考虑了嵌入式特征选择算法在事前分析过程阶段。

在这个阶段,特征选择,需要一个数组,其中包含一组最佳属性的索引申请初始种群中所有的模糊规则。还一个帝国主义竞争算法需要找到最好的属性的索引。一个标准的帝国主义竞争算法和自定义的初始化工作,同化和幂函数。

(1)初始化函数。特征选择的目标是找到一个数组,其中包含一个子集的最佳属性的索引。该数组被称为“国家”在ICA。在一个维特征选择问题,是一个国家数组中。这个数组定义如下: 在哪里变量进行优化。这个国家的变量值表示为整数的数字。每个变量在这个国家可以解释为索引的属性。在我们的算法中,每个数组的长度是一个指定的数字用于HYEI算法的第二阶段。

在这个数组初始化函数,如图4基于nonrepetitive产生随机属性的索引。换句话说,每个数字在每个数组必须介绍一个属性的索引和每个数组不应该包含重复的数字。

(2)同化功能。在同化功能,帝国主义国家试图吸收他们的殖民地,让他们自己的一部分。更准确地说,帝国主义国家使他们的殖民地走向他们。这个过程是在帝国主义竞争算法建模通过移动所有的殖民地向帝国主义。在我们的算法中,这个过程是模仿用随机属性的数组索引数组从帝国主义殖民地。例如,在图5随机选择的数字在帝国主义和取代他们在殖民地同化功能和生产改变了殖民地。

(3)幂函数。每个国家的力量,同行的健身价值,其成本成反比。在幂函数,计算每个国家都包含许多帝国主义和殖民地。在我们的算法中,这个函数模型通过改变初始种群生成在第一阶段HYEI算法的选择存在于国家数组属性和计算新的人口使用的分类速度 TP,真正的阳性,代表病例数在这个训练集覆盖的规则的类预测的规则;FP,假阳性,代表病例数由上课的规则不同于类预测的规则;FN,假阴性,代表的病例数量不受规则但这类预测的规则;TN,真正的底片,代表病例数不受规则,没有规则预测的类。图6显示初始种群的方法选择属性与一个国家的数组。在改变了人口,其他属性,不存在在这个数组的意思是不在乎。

3.2.4。基本规则集的创建

当最好的属性的索引被发现之前的阶段,在这个阶段那些属性索引数组应用于初始种群,和基本规则集生成如图6。如果特征选择条件测试的结果是没有那么嵌入式特征选择阶段不运行在这个阶段;初始种群不会改变,把它作为基本的规则集。

3.2.5。规则提取

这个阶段是一个进化的模糊系统,以增量的方式模糊if - then规则学习,在进化算法优化模糊分类规则。这些训练实例的学习机制减少重量正确分类的新规则;因此,关注下一条规则生成周期模糊规则,占目前发现或分类错误的实例。在每个迭代的模糊规则分类最近的训练样本的分布比其他规则选择的人口被包括在最终的分类模糊规则库。这种进化模糊系统使用一个基本的规则集,在前一个阶段生成初始种群。在我们的算法中,遗传算法是申请这个阶段。

3.2.6。保存最好的规则,规则集

在这个阶段,最好的规则是几代的结果将被添加到最后学会了规则集。然而,这个操作可能只有在新规则中不存在最终学会了规则集。

3.2.7。停止条件测试

以来的大部分操作该算法处理随机参数,算法重复前面的阶段,直到所有的样本每个类由最终学会了规则集。

3.2.8。规则集的优化

在这个阶段一个帝国主义竞争对手算法是用来发现一个不在乎的面具规则。我们使用一个标准的帝国主义竞争算法和自定义初始化、同化和幂函数。

(1)初始化函数。在初始化函数中,数组长度的模糊规则阵列和多个规则集的规则创建和填充随机用0和1所示图7的数字0意味着旧值和1号意味着不在乎。

(2)同化功能。在我们的算法中,这个过程是模拟代替随机属性的数组索引数组从帝国主义殖民地嵌入式特征选择相同的同化功能。

(3)幂函数。在我们的算法中,这个函数模型通过改变规则集生成在“保存最好的规则在规则集”转换属性的值,数字“1”价值国家在“规则集优化”数组应用不在乎和计算规则集的分类速度。

4所示。实验结果

我们有7个数据集应用与许多数值属性:14 _tumors,威斯康辛州乳腺癌,克利夫兰心脏病、玻璃、酒、糖尿病和声纳HYEI分类系统的性能进行评估。这些从UCI数据集可用。类的数量,数量的模式,在每个数据集和属性的数量表1。图8在每个数据集显示数量的模式。一些数据集包括完整模式缺失值。这些模式并不是用于我们的计算实验。这是因为分类算法的性能通常取决于缺失值的处理算法的选择。

HYEI算法的主要参数表中列出2。它显示,根据该算法,我们将最优值设置为每一个参数,存在于每一个算法分别和正确。

图9显示分类HYEI率和几个著名的分类算法。

我们也分析算法的结果图9它显示了使用不同的性能特性集的算法。这些结果表明,该算法获得最高的分类精度。正如前面提到的,我们尽量详细解释了该方法更好的结果/数据集。的乳房W,如图9我们可以分析,提出精度是最高的,接近98%,也比方法(9)这是第二高的精度。下一个数据集属于糖尿病;图显示了算法(9大约是78%,但我们算法的精度约为85%,也在这个数据集精度是最高的。

根据图9,我们可以得出结论,该算法是正确在大部分的情况下完成的。但在肿瘤的情况下,因为它表明,一点点小于决策树。

5。讨论

该算法有一些优点和缺点。该算法能够应用和使用各种数据集选择维度。换句话说,HYEI能够适用于高维数据集,这是HYEI的重要特征。这意味着HYEI独立工作,不依赖于任何特定的数据集。然而,合理计算,结果表明,HYEI优于其他相关算法。另一方面,如果我们专注于特定的数据集将增强算法的性能。总的来说,新颖的算法也适用于每一个多维数据集和维度高。

6。结论

摘要HYEI算法基于一个帝国主义竞争算法和遗传算法,可以分类小数据集和大型数据集与一组精确的基因表达数据模糊if - then规则。它开始于低质量模糊if - then规则和结果的高质量的规则集。本文提出了一种算法,评估_tumors 14日,威斯康辛州乳腺癌,克利夫兰心脏病、玻璃、酒、糖尿病和声纳数据并与其他分类系统。结果表明,该算法优于几个著名的和最近的分类算法。

利益冲突

作者宣称没有利益冲突有关的出版。

引用

1. l . h . Tsoukalas和r . e . Uhrig模糊和神经的方法在工程约翰·威利& Sons,纽约,纽约,美国,1996年。
2. L.-X。王,在模糊系统新世纪出版社,纽约,纽约,美国,1999年。
3. w . Pedrycz和j . v . de Oliveira”一个算法框架,开发和优化的模糊模型,”模糊集和系统,卷80,不。1,37-55,1996页。视图:谷歌学术搜索
4. t . Elomaa和j . Rousu“将军和有效的数值属性,multisplitting”机器学习,36卷,不。3、201 - 244年,1999页。视图:出版商的网站|谷歌学术搜索
5. j . Catlett”变化的连续属性为有序离散属性,”机器学习- ewsl - 91,第178 - 164页,1991年。视图:谷歌学术搜索
6. 法和k . Irani”范围的连续值属性离散化分类学习,”不确定性人工智能国际联合会议,第1027 - 1022页,1993年。视图:谷歌学术搜索
7. t·p·m·g·Tsipouras Exarchos, d . i Fotiadis“自动模糊模型生成方法,”模糊集和系统,卷159,不。23日,第3220 - 3201页,2008年。视图:出版商的网站|谷歌学术搜索
8. r·康尼锡,约翰逊,l . Niklasson“增加规则提取的可理解性,”信息技术和智能计算的国际期刊,1卷,不。2、303 - 314年,2006页。视图:谷歌学术搜索
9. h . Ishibuchi和y Nojima interpretability-accuracy权衡分析的模糊系统多目标模糊基因机器学习,”国际期刊的近似推理,44卷,不。1,4-31,2007页。视图:出版商的网站|谷歌学术搜索
10. f·s . y . Wang Makedon, j·c·福特和j·克罗,“HykGene:混合方法用于选择标记基因表型分类使用微阵列基因表达数据,”生物信息学,21卷,不。8,1530 - 1537年,2005页。视图:出版商的网站|谷歌学术搜索
11. l . j . Buturović“卡式肺囊虫肺炎:一个程序监督分类的基因表达谱,”生物信息学,22卷,不。2、245 - 247年,2006页。视图:出版商的网站|谷歌学术搜索
12. l . Ein-Dor克拉,g .斯坦利·d·Givol和e . Domany”结果签名基因在乳腺癌:有独特吗?”生物信息学,21卷,不。2、171 - 178年,2005页。视图:出版商的网站|谷歌学术搜索
13. 刘贤美杨、r . e . Bumgarner和a·e·阿布“贝叶斯模型平均:一种改进的多层次的发展,基因微阵列数据的选择和分类工具,”生物信息学,21卷,不。10日,2394 - 2402年,2005页。视图:出版商的网站|谷歌学术搜索
14. j . h . Yu倪,j .赵”ACOSampling:蚁群分类不平衡DNA微阵列数据,文中针对欠采样方法”Neurocomputing卷,101年,第318 - 309页,2013年。视图:出版商的网站|谷歌学术搜索
15. A . Statnikov c . f . Aliferis Tsamardinos, d·哈丁和s .征收“multicategory分类方法的综合评价微阵列基因表达癌症诊断,”生物信息学,21卷,不。5,631 - 643年,2005页。视图:出版商的网站|谷歌学术搜索
16. t . Prasartvit a . Banharnsakun b Kaewkamnerdpong, t . Achalakul”减少生物信息学数据维度与ABC-kNN。”Neurocomputing卷,116年,第381 - 367页,2012年。视图:出版商的网站|谷歌学术搜索
17. a Zibakhsh和m . s . Abadeh基因选择肿瘤检测使用一个小说迷因与多视点适应度函数算法,”人工智能技术的工程应用,26卷,不。4、1274 - 1281年,2013页。视图:出版商的网站|谷歌学术搜索
18. L.-Y。壮族,H.-W。Chang C.-J。你和学术界。杨:“改进的二进制PSO特征选择使用基因表达数据,”计算生物学和化学,32卷,不。1,29-37,2008页。视图:出版商的网站|谷歌学术搜索
19. h . Ishibuchi、k Nozaki和h .田中”的分布式表示模糊规则及其应用模式分类,“模糊集和系统,52卷,不。1,21-32,1992页。视图:谷歌学术搜索
20. d .孟和z .贝聿铭提取语言规则使用模糊逻辑、遗传算法从数据集”Neurocomputing,卷78,不。1,48-54,2012页。视图:出版商的网站|谷歌学术搜索
21. 即Gadaras和l . Mikhailov”医学诊断的可判断的模糊规则分类方法,”人工智能在医学上卷,47号1,25-41,2009页。视图:出版商的网站|谷歌学术搜索

版权

版权©2014 d·塔拉努里·等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。