功能减少基于混合效率加权基因遗传算法与人工神经网络大数据的机器学习问题

文摘

大量的来自不同来源的数据生成和分析,从这些数据中提取有用的信息成为一个非常复杂的任务。处理大数据的困难源于许多因素如高数量的特性,存在丢失的数据,和各种各样的数据。最有效的解决方案,用于克服大量的大数据是还原过程的特性。在这篇文章中,一组混合动力和有效的算法提出了分类特征尺寸大的数据集通过合并与人工神经网络的遗传算法。使用遗传算法作为prestep显著降低的特征尺寸数据前处理分析数据使用机器学习技术。减少的数量特性简化了分类的任务分析数据及提高机器学习算法的性能,用于从大数据中提取有价值的信息。提出的算法使用一个新的gene-weight机制可以显著提高性能和减少所需的搜索时间。提出的算法应用于不同的数据集来挑选最相关和重要的功能在应用人工神经网络算法,之前和结果表明,我们提出的算法可以有效地提高分类性能的测试数据集。

1。介绍

近年来,主要增加开发新生成的数据是非常重要的健壮和可伸缩的工具,能够从大型数据集提取隐藏的知识和信息(1]。当数据集,我们正在处理海量数据,包括结构化和非结构化数据,它被称为一个大数据2,3]。大数据成为一个特定的分离领域以来,计算机工程社会很难使用传统的数据库和软件技术进行处理。大数据有其他不同的特定属性,例如速度指的速度数据产生,各种结构化和非结构化数据的存在,和可变性这意味着数据的不一致性。大数据的主要目的是帮助人们和公司提高他们的操作,使更快和更明智的决定。最近,大数据技术研究人员和公司已经收到越来越多的关注,许多会议和期刊建立了特别会议,讨论他们的问题和特点4,5]。

大数据的一个最关键的问题是降解性能的机器学习和数据挖掘算法在处理如此庞大的数据量(6]。这可能发生,因为许多因素如大量特性的存在,存在丢失的数据,和高计算传统机器学习和数据挖掘算法使他们不适合有效地处理大型数据集。提出了一些新的分类技术来克服大数据的挑战可以分类根据大数据的数据格式在处理和分类所需的类型。多数提议的分类方法是根据选定的特定应用程序,不得给好的结果如果它被应用到其他大数据应用程序(7]。为了有效地分类数据,通常是一个方便的算法需要从大量数据中提取相关信息作为prestep然后分类算法可以应用(8,9]。两个主要方法是用来减少之前可用的数据应用过滤数据的分类算法和功能降低。在这篇文章中,我们将集中在功能还原方法,识别最重要的特性(而不是使用他们所有人)只在下一步分类和使用它们。

分类过程可以被定义为一个方法对于识别类别或类(应该是两个或两个以上的类)的数据基于系统训练使用数据的类。在现实世界中,到处都是分类问题,我们可以发现成百上千的实际分类问题(6,10]。在大数据的分类问题,特征选择是非常重要的,因为它解决了大尺寸的问题只选择最相关的特性,可能导致正确的分类。消除不相关和冗余功能的过程被称为功能降低或功能选择,它有许多优点,如减少训练时间,减少学习分类器的复杂性,并提高分类的性能结果。虽然之前使用的特征选择算法分类来看,是非常重要的,可以显著影响分类的结果;这是因为存在的冗余和不相关的功能可能会导致不正确的分类系统的建立在训练过程中。

本文提出了三种有效的遗传算法选择相对之前,重要的功能应用人工神经网络算法。该算法使用新的机制即体重依赖型剂量校正对于每一个功能,可以迅速引导搜索过程最优的解决方案。结果表明,我们提出的算法可以有效地提高分类性能的测试数据集。

本文组织如下。部分2回顾了相关工作有关的方法用于提高数据挖掘算法,应用于大数据集。在部分3,4,5,我们现在和解释我们的算法来提高人工神经网络能够处理大型特征数据集的数据集和讨论。给出了部分实验和讨论6。部分7总结了纸。

2。相关工作

本文通过文献回顾,可以注意到,特征选择算法获得越来越大的兴趣,尤其是在大数据领域。在本节中,我们将总结特征选择问题上的研究工作并尝试列出最重要的算法,提出了解决这一问题。特征选择可以用于许多机器学习算法,如回归,集群、分类,而在这篇文章中,我们将只集中在特征选择与分类。

在文学中,特征选择算法可以分为两类:过滤方法和包装器方法(11,12]。包装器方法通常使用分类算法来衡量测试的性能特征选择方法。相反,过滤特征选择算法独立于其他分类算法和使用科学的方法来测量每个特性的美好。基于过滤器的特征选择方法往往不如包装器方法计算昂贵,因为它不需要分类算法的运行测试方法。然而,通常的包装方法获得更好的结果比过滤方法和性能(13,14]。

最早的工作特征选择是使用贪婪的搜索方法,如顺序向前选择和顺序向后的选择。在[15),作者提出了一种测量方法选择确定最好的特征子集选择基于转发技术。使用评价方法使用非参数估计的误差概率有限样本集。该方法的主要优点是直接测量和非参数评价子集。相反,顺序逆向选择提出了(16]试图开发一个正式的方法来测量一组特性或测试的有效性。作者主要考虑以下问题:“什么是一个有效的测试,这个效果是如何依赖之间的相关性,和的性质,个人测试吗?“(16]。不幸的是,转发的选择和顺序逆向选择方法受到称为嵌套效应问题,发生由于删除或选择一个功能只有一次。这意味着,如果删除功能在早期步骤中,它不能用于下一个步骤。为了克服这一问题,提出另一种方法是在17)合并两种方法一起应用正向选择方法一次然后跟随它的多个运行顺序逆向选择方法。许多其他研究工作提出了提高转发性能的选择和顺序逆向选择方法使用浮动搜索方法顺序向后漂浮的选择和顺序向前漂浮的选择(18,19]。

在另一个工作,风扇米娜,清华中心,和威廉·朱提出了一种特征选择算法,包括测试成本约束问题(20.]。新算法采用回溯算法是一个著名的算法用来解决许多具体的优化问题。作者认为回溯算法方便和高效的用于解决中型数据特征选择问题。此外,另一个启发式算法是发达与回溯算法并行使用,使它具有更强的可伸缩性,能够处理大型数据集。该算法的实验结果表明,发达启发式算法可以识别在很多情况下问题的最优解。

在进化计算算法(EC)的发展,许多研究人员试图利用这些特征选择的算法来解决这个问题。例如,在[21),作者提出了一种遗传算法,修改的范围考虑泛化误差的支持向量机(svm)。该算法比其他传统算法和批准其有效性时解决这样的特征选择问题。哦,et al。22)提出了一种新的遗传算法通过修改现有的一个更适用于特征选择。新算法的主要目标是本地搜索操作的杂交和遗传算法进行优化搜索过程。根据作者,杂交过程可以产生显著改善遗传算法的最终性能。

最近,一些混合bioinspired启发式方法提出了减少输入数据的特征尺寸等的工作Zawbaa et al。23),而混合算法来处理large-dimensionality小事例集特征选择问题。在[24),另一个算法来处理使用征收蚁蛉优化特征选择问题。花授粉算法(25)也在另一个研究使用进行属性约简后修改它使用新的自适应技术来处理这些问题。

多目标进化算法也被用来减少选择的功能。在[26),作者提出了第一个研究多目标优化粒子群优化解决特征选择问题使用粒子群优化(PSO)。算法通过生成一组nondominated解决方案被认为是候选人特征子集。作者研究了两种基于PSO的多目标算法。第一个使用nondominated排序算法和PSO算法,第二个算法使用拥挤距离,支配关系,和变异寻找最好的解决方案。比较这两个结果提出多目标算法与其他特征选择算法表明,该算法可以显著优于其他算法和多目标算法得到更好的结果。最近,有很多其他的新算法,特征选择问题,提出了使用多目标进化算法使用不同的技术(27- - - - - -29日]。

3所示。提出技术

特征选择问题成为最重要的一个问题,大数据的社会。此类问题的主要问题是大搜索空间的存在,它可以被认为是np难问题无法解决,直到测试所有的搜索空间。特征选择的另一个问题是特征交互问题导致翻译相关的一些功能冗余或弱的特性。相反,一些功能是非常重要的,当结合其他特性。进化计算(EC)算法有一个非常有用的属性,让他们解决特征选择问题的最佳选择,它不需要任何领域知识或假设解决特征选择问题的搜索空间。EC算法的另一个优点是进化的过程一组解决方案(EC)称为人口的加速收敛到最优解的过程。因此,我们的算法解决特征选择问题涉及机器学习的杂交算法和进化算法,在本节的其余部分描述。

3.1。该算法的主要步骤

我们的算法主要是著名的人工神经网络(ANN)合并算法作为分类算法用一个新的、高效的进化算法称为加权基因遗传算法(WGGA)。图1显示了该算法的主要步骤。首先,输入的数据集是阅读和使用的过程中产生一组随机的特性。之后,生成的特性集用于分类数据集使用ANN算法。根据分类的结果,我们提出WGGA算法生成新的候选集的特性有一个更好的性能。发展和优化过程重复多次直到达到停止条件。如果不能满足停止条件,评估新特性集的过程中继续寻找更好的解决方案。停止条件可以达到最大迭代次数,达到预定的性能值,或者两种情况下的杂交,以避免很长的运行时间。

3.2。加权基因遗传算法(WGGA)

在文献中,有许多进化算法提出解决一些优化问题。本文提出了一种新的有效的遗传算法,尤其发达国家处理特征选择问题。我们称之为加权基因遗传算法(WGGA),因为它存储重量为每个基因以提高算法的收敛能力。图2总结了该算法的步骤。

提出了加权基因遗传算法(WGGA)使用二进制表示编码解决方案。因此,每一个解决方案是用一个数组的大小等于数据集特征的数量。数组中的每个特性都表示为一个变量,和值1表明,此功能将用于安的分类过程,而值0表示,它将不会被包括在内。图3显示了一个示例的两种解决方案的编码特性的数量等于10。在第一行的数字3,有10个元素的数组,其中6有一个价值1和4的值为0,这意味着第一、第三、第四和第八特性将不会使用这个解决方案。在第二个解决方案,第二个和第七个特性只会被排除在分类过程。

在第一步中,WGGA算法随机初始化种群,然后每个解决方案的适应度函数计算人口使用ANN算法。每个解决方案的健身价值的分类精度,使用输入数据集的特性集。它可以使用以下公式计算: 在哪里 , , ,和表明真正的积极的,真正的负面,假阳性和假阴性的样本进行测试。每个基因的重量也由零初始化用于下一个步骤。

根据每种解决方案的评估,选择最好的两个解决方案用于交叉操作。在这项工作中,选择一点二进制交叉应用的最好的两个解决方案。在这种交叉,点是随机选择的,然后两个父母的反面交换生成新泉。图4显示了一点交叉的一个例子。

在突变步骤,只需根据突变百分比,固定数量的基因选择和标记所有人口的解决方案。为了确保解决方案的有效性,它是不允许一个解决方案的所有基因等于零人口。因此,在我们的算法交叉和变异过程后,再次检查解决方案,如果找到一个解决方案,所有基因0然后翻译成为一个基因与基因等于1。

最后,另一个重要步骤是进行基因根据其权重的修正。在每一代中,选择特性最好的解决方案是用来增加重量的特性。这个过程是通过简单地添加一个为每个选定的功能在每一代的最佳解决方案。之后,这些存储的数据是用来纠正错误的改变可能发生的变异和交叉过程。这个过程是运行后进行适当数量的代确保收集到的信息的可靠性和正确性的功能。因此,开展CC数代之后,描述图2。这种机制时,在每一代,每个特性的证人重量计算)除以其价值权重数组的迭代的数量完成,并导致值与另一个两个参数称为高参数(HP)和低参数(LP)。对于每一个基因(代表一个特性),如果其重量值大于惠普则直接分配给一个值为1。相反,如果它的重量值小于LP,然后直接分配给的值为0。使用这种机制,遗传算法可以更专注于弱者或semiweak特性,强大的功能总是选择的地方。这个过程可以显著提高的性能特征选择过程和减少搜索时间,在下一节中描述。

关于我们的算法的计算成本,可以看出它不添加任何重要的遗传算法。这是因为我们的机制主要取决于收集当前人口和存储信息。因此,只需要一个额外的小内存的存储过程,和使用的其他机制有一个很小的成本可以忽略。所有嵌入式特征选择算法,该算法需要更多的时间与基于过滤器特征选择算法,提出了文学。

4所示。提出了算法

在本节中,提出了设置和实证实验的结果,以确保该算法的性能。在前一节中提到的,三个遗传算法提出并融入我们的实验如下。

4.1。低加权基因遗传算法(LWGGA)

该算法使用我们提出的体重依赖型剂量机制排除弱特征的选择特性集如果他们有非常低的权重。在这种情况下,标记功能(不断变化从一个零或从0到1)选定的特征主要是运行后的特定数量的后代。

4.2。高加权基因遗传算法(HWGGA)

这个算法使用我们提出的体重依赖型剂量机制包括强烈的特征总是在选定的特性集如果他们有很高的权重。在这种情况下,强大的功能(不断选择最好的解决方案)运行后大多会选择一定数量的后代。

4.3。加权基因遗传算法(WGGA)

这个算法使用两个先前描述的低和高加权机制LWGGA和HWGGA算法。这两种机制的合并使得遗传算法集中的重要特性增强算法的收敛能力,减少搜索时间。

两个算法都包括在实验的人工神经网络(ANN)和正常特征选择遗传算法与安合并算法(GA +安)表示。

5。疾病的数据集

调查提出的算法的性能,六个来自不同来源的数据集,选择具有不同特性。表1总结了测试数据集的特性。如表所示,数据集选择来自不同领域和特征(属性)的数量选择不同范围的测试我们提出算法使用不同的水平(30.]。(1)心脏医学分析(2)肺癌的分析(3)乳腺癌数据库(4)钓鱼网站的功能(5)Messidor图像集预测(6)运动的文章

6。实验结果和讨论

我们使用ANN算法有两个隐藏层。此外,验证和训练技巧用于确保更有效的结果。对于所有数据集,选择培训的百分比是40%,验证百分比是30%,测试比率也是30%。遗传算法中使用的参数,我们在所有算法展示在表2。在第一个实验中,我们比较五解释算法的性能使用六个数据集。在这个实验中,人口规模的10和迭代数40用于所有算法。这个实验的结果计算使用方程(1),表中给出3。

如表所示,该三个算法显著提高了ANN算法的性能。所有结果最好的算法是WGGA,因为它优于其他算法在四个数据集,同样的性能与其他算法在一个数据集。次优算法是HWGGA算法在两个以上的数据集得到可以接受的结果。结果表确保我们提出要获得基因机制的性能使得遗传算法集中于标记功能在搜索和略取决于变化强烈的特性(包括在所有最佳解决方案)。

相反,其他比较算法,试图找到一个更好的功能只有随机选择不同的特性,得到良好的结果但需要长时间。提出的算法把一些经验从第一代的遗传算法,然后利用这些经验区分特性应该总是包含在最好的特性,特性应该被排除在最好的特性集,和功能,还没有检查。根据这个,该算法可以快速收敛于最好的特性集储蓄的努力搜索已经签好的和坏的特性和检查其他功能还不知道。

此外,结果表明,WGGA算法得益于合并LWGGA和HWGGA算法的两种机制使得它最好的算法。同样重要的是要注意,增强比例是不同的从一个数据集;例如,在肺癌的数据集,性能增强(从0.25到0.969),而在钓鱼数据集,它只通过一个小值提高(从0.919到0.927)。

在第二个实验中,我们将调查的影响增加后代的数量在WGGA算法的性能。使用五种不同的一代数字从10到80年,又六个数据集进行测试;准确计算使用方程(1)。表的结果4显示,该算法能快速收敛的性能,和准确性不大幅提高40代后大部分的测试数据集。这些结果再次确保注册新的机制使遗传算法的优化过程非常有效并迅速达到最优解。

数据5- - - - - -10显示该算法的准确性WGGA六个数据集在使用80代。数据显示每一代最好的精度,计算从方程(1)。数据再次确保我们的快速收敛算法通常很清楚以来最好的值出现在40代。我们也可以注意到,算法可以在好与坏之间波动值在不断发展的过程中。这意味着在后续的步骤中最好的解决方案可能会变得比之前步骤的最佳解决方案,首先看起来不太好,实际上它是一个很好的方面,因为它给出了算法的搜索能力最差的解决方案来获得更好的解决方案。因此,我们可以看到从数据准确性变得坏,然后可以得到一个解决方案比以前所有解决方案如图1在21到25代。此外,我们可以看到,最后一代的平均精度比前几代的价值观更强调我们的算法的有效性。

在任何算法,有一些算法的一些缺点。首先,由于我们的算法需要收集一些信息功能,它开始激活其加权基因机制历经数代(在收集所需的数据)。这个过程需要一些时间,但它可以忽视当一代又一代的数量是大的。其次,在动态环境中,该算法不能有效工作尤其是在快速变化的环境。这是因为该算法依赖于静态经验,而在动态环境中,这样的经历成为一个无关紧要的人,因为频繁的改变。

7所示。结论和未来的工作

解决大数据的复杂性问题,减少功能成为现在使用的最有效的解决方案。在这篇文章中,一组混合动力和有效的算法提出了分类特征尺寸大的数据集通过合并与人工神经网络的遗传算法。使用遗传算法作为prestep显著去除无关的特性的数据集在处理数据使用机器学习技术。提出了三个新的遗传算法和合并ANN算法加权低基因遗传算法(LWGGA),高基因遗传算法(HWGGA),加权和加权基因遗传算法(WGGA)。提出的算法使用一个新的gene-weight机制可以显著提高性能和减少所需的搜索时间。提出的算法应用于六个数据集选择最相关和重要的功能在应用人工神经网络算法,之前和结果表明,我们提出的算法可以有效地提高分类性能的测试数据集。

在未来的工作中,我们计划把我们提出的算法对多进化算法如算法和算法。与此同时,新的提议weight-gene机制可以合并与其他算法。我们预计,这种机制可能会得到更好的结果如果是检查使用其他进化算法。

数据可用性

数据集在UCI机器学习库是可用的http://archive.ics.uci.edu/ml。

的利益冲突

作者宣称没有利益冲突。

引用

1. 美国j·沃克,“大数据:一场革命,将改变我们的生活方式,工作和思考,”国际期刊的广告,33卷,不。1,第183 - 181页,2014。视图:出版商的网站|谷歌学术搜索
2. j·艾·m·崔b .布朗et al。大数据:下一个前沿创新的竞争,和生产力麦肯锡,纽约,纽约,美国,2011年。
3. p . Zikopoulos和c·伊顿理解大数据:企业级Hadoop和流媒体数据的分析麦格劳-希尔奥斯本媒体,纽约,纽约,美国,2011年。
4. 答:开特、m . Wazid和r·h·Goudar”大数据:问题、挑战、工具和良好的实践,“当代计算机学报2013年第六次国际会议(IC3)IEEE,页404 - 409年,诺伊达,印度,2013年8月。视图:谷歌学术搜索
5. c·p·陈和张c . y”,数据密集型应用,挑战,技术和技术:大数据的调查,“信息科学卷,275年,第347 - 314页,2014年。视图:出版商的网站|谷歌学术搜索
6. 朱x, x, g .问:吴和w·丁”与大数据的数据挖掘,”IEEE工程知识和数据,26卷,不。1,第107 - 97页,2014。视图:出版商的网站|谷歌学术搜索
7. z欧博迈亚·e·j·伊曼纽尔,“预测将来的数据,机器学习,临床医学,”新英格兰医学杂志》上,卷375,不。13日,1216 - 1219年,2016页。视图:出版商的网站|谷歌学术搜索
8. r .,大数据机器学习,2012年。
9. h·威滕,e·弗兰克·m·a·霍尔和c j .朋友数据挖掘:实用机器学习工具和技术摩根考夫曼,伯灵顿,妈,美国,2016年。
10. g .乔治·m·r·哈斯,a . Pentland”大数据和管理。”《管理学会期刊》卷,57号2、321 - 326年,2014页。视图:出版商的网站|谷歌学术搜索
11. m .破折号和h . Liu”为分类特征选择,”智能数据分析,1卷,不。1 - 4、131 - 156年,1997页。视图:出版商的网站|谷歌学术搜索
12. 即盖恩和a . Elisseeff”介绍变量和特征选择。”机器学习研究杂志》上,3卷,第1182 - 1157页,2003年。视图:谷歌学术搜索
13. h·刘和z赵”,操作数据和降维方法:特征选择,”百科全书的复杂性和系统科学施普林格,页5348 - 5359年,柏林,德国,2009年。视图:谷歌学术搜索
14. h . h . Liu Motoda、r . Setiono和z赵,“功能选择:数据挖掘中不断演进的前沿,”学报》第四国际研讨会JMLR特征选择在数据挖掘42页。卷。10日,海得拉巴,印度,2010年6月。视图:谷歌学术搜索
15. A·w·惠特尼,“直接选择非参数测量的方法,”IEEE计算机,C-20卷,不。9日,第1103 - 1100页,1971年。视图:出版商的网站|谷歌学术搜索
16. t . Marill和d . m .绿色”,受体识别系统的有效性。”IEEE信息理论,9卷,不。1,17岁,1963页。视图:出版商的网站|谷歌学术搜索
17. s d·斯登”为模式分类器,选择功能”诉讼的第三国际会议模式识别科罗纳多,页71 - 75年,CA,美国,1976年11月。视图:谷歌学术搜索
18. p . Pudil j . Novovičova, j . v .难应付的“浮动搜索方法在特征选择,”模式识别的字母,15卷,不。11日,第1125 - 1119页,1994年。视图:出版商的网站|谷歌学术搜索
19. 问:毛泽东和W.-H。曾荫权,”一个多元的特征选择方法性能的措施,”IEEE模式分析与机器智能,35卷,不。9日,第2063 - 2051页,2013年。视图:出版商的网站|谷歌学术搜索
20. f . Min、问:胡和w·朱”和测试成本约束特征选择,”国际期刊的近似推理,55卷,不。1,第179 - 167页,2014。视图:出版商的网站|谷歌学术搜索
21. h . Frohlich o .薛潘,b . Scholkopf”特征选择支持向量机通过遗传算法”学报》15日IEEE国际会议上与人工智能工具,2003年萨克拉门托,页142 - 148年,CA,美国,2003年11月。视图:谷歌学术搜索
22. 即美国哦,j·s·李,和b . r .月亮,“混合遗传算法对特征选择,”IEEE模式分析与机器智能,26卷,不。11日,第1437 - 1424页,2004年。视图:出版商的网站|谷歌学术搜索
23. h . m . Zawbaa e . Emary c . Grosan诉Snasel,“Large-dimensionality小事例集特征选择:混合bioinspired启发式方法,”群与进化计算,42卷,29-42,2018页。视图:出版商的网站|谷歌学术搜索
24. 大肠Emary和h . m . Zawbaa“通过征收蚁蛉优化特征选择,”模式分析与应用,2018年,页1 - 20。视图:出版商的网站|谷歌学术搜索
25. w·Yamany h . m . Zawbaa e . Emary和a . e . Hassanien”基于修改的属性约简方法花授粉算法,”学报》国际会议上模糊系统(FUZZ-IEEE),页1 - 7,伊斯坦布尔,土耳其,2015年8月。视图:出版商的网站|谷歌学术搜索
26. 雪,m . Zhang和w·n·布朗,“粒子群优化分类:特征选择的多目标的方法,”IEEE控制论,43卷,不。6,1656 - 1671年,2013页。视图:出版商的网站|谷歌学术搜索
27. t . m . Hamdani j . m .获胜,a . m . Alimi f . Karray,“多目标特征选择与NSGA二世”学报》国际会议上自适应和自然计算算法施普林格,页240 - 247年,柏林,海德堡,2007年4月。视图:谷歌学术搜索
28. l·s·奥利维拉r . Sabourin f . Bortolozzi和c . y .孙”特征选择为手写数字识别,使用多目标遗传算法”学报16模式识别国际会议,2002,1卷,页568 - 571,IEEE,魁北克,加拿大,2002年8月。视图:谷歌学术搜索
29. 盛田昭夫,m . r . Sabourin f . Bortolozzi, c . y .孙”无监督特征选择手写文字识别,使用多目标遗传算法”第七学报》国际会议文档分析和识别,2003IEEE,页666 - 670年,2003年8月英国爱丁堡。视图:谷歌学术搜索
30. d . Dua和e . k . TaniskidouUCI机器学习库,加州大学,学校的信息和计算机科学,欧文,CA,美国,2017年,http://archive.ics.uci.edu/ml。

版权

版权©2018塔里克·Abed穆罕默德等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。