文摘
如果是相对近期的技术,灵感来源于观察自然的社会昆虫和人工系统。该系统由多个分散的个人代理依赖集体行为和自组织网络。现有的计算机技术的最大困难之一是学习这样的大型数据集,利用大数据处理。基于数据的分类是指确定的挑战大组分类新发现所属。这种分类是基于训练集的数据包括观察被分配给一个特定的类别。摘要CIN-big数据值计算基于粒子群优化(BD-PSO)算法在当地经营的最适条件,提高操作效率。收敛速度的粒子群优化(PSO),运营在当地的最适条件,提高了大基于数据的粒子群优化(BD-PSO)。它可以提高计算效率的改进方法,从而减少计算时间。BD-PSO的性能测试在四个基准数据集,这是来自UCI。用于评估的数据集是酒,虹膜,输血,动物园。 SVM and CG-CNB are the two existing methods used for the comparison of BD-PSO. It achieves 92% of accuracy, 92% of precision, 92% of recall, and 1.34 of F1 measure, and time taken for execution is 149 ms, which in turn outperforms the existing approaches. It achieves robust solutions and identifies appropriate intelligent technique related to the optimization problem.
1。介绍
在这个时代,高通量技术的发展导致了收获指数增加信息(1]。这个指数增长称为“大数据”(BD)方面的维度和样本量。如今,这些大数据的有效管理越来越具有挑战性。传统的这些成为不切实际的管理技术2]。因此,数据挖掘(DM),机器学习(ML),和metaheuristic技术开发自动发现知识和识别模式从这些大数据(3,4]。
大数据的分类(BD)是一个重要的过程,艾滋病在巨大的数据集的有效的学习5]。有效BD分类、高度并行学习算法必须设计。许多相关的数据特性,如高维数据集,大量的数据类型(类),高速数据处理,和非结构化数据,使大数据的复杂性参数(6]。机器学习方法将用于解决复杂的参数,和一定的困难,原因是很难处理的。然而,升级现在学习算法处理大规模数据分类的挑战和需求仍然是一个困难(7]。图中给出了大数据的过程1。
进化计算(EC)方法已经应用于调度困难,导致进化调度(ES)研究领域。电子商务是一个快速扩张的人工智能(AI)研究主题(8,9]。自然选择和基因遗传的EC方法画概念和灵感来自自然进化和适应。进化算法(EA)和结构推断(SI)是电子商务的两种基本类别。如果是一个新的研究领域EC (10,11]。它是一种新型的计算和行为范式解决调度问题被确认通过简化的昆虫和其他动物的社会行为。这是集体智慧的启发,成群的生物种群(12]。
大多数的优化算法因开采和勘探问题,自识别目标完全取决于初始解的优化算法13,14]。同样的问题也出现在PSO和其他一些优化搜索算法。这两种优化算法比其他现有优化算法更优越。算法,将没有自适应变异或随机解这一代的新鲜解发生在最初的解决方案(15]。
探索问题需要冷凝大量的难以置信的答案到一个组并选择最好的。的剥削问题,另一方面,涉及多种可能性中找到最佳的解决方案(16]。PSO算法也有一些优势,它可以生成优化的结果。PSO的显著优势之一是产生的新的解决方案是基于当地最好的和全球最好的。这将提供新的解决方案,考虑当前和整个迭代的最佳解决方案,因此,新的解决方案可以平滑的方式前往目标(17]。
本文动力计算CIN-big数据值基于粒子群优化(BD-PSO)算法在当地经营的最适条件,提高操作效率。
研究文章的其余部分系统化如下:最近在大数据分类给出了部分工作2,该方法讨论了部分3节,结果比较和对比4,本文的结论部分5。
2。相关的工作
基于监督机器学习分类方法训练的数据有效的分类问题。在量子计算机中,介绍了二元分类器方法优化问题;也就是说,支持向量机和计算的复杂性降低。矩阵求逆的方法是用于培训矩阵,和乘方nonsparse矩阵是量子大数据方法的核心概念(18]。网络流量的入侵是最小化的连续收集数据的收集和处理。连续收集的数据结果增长巨大的数据量,和机器学习方法用于处理和制定的重要推理从数据(19]。
大数据的处理和维护需要的技术,传统方法的缺点纠正的培训与学习方法(20.]。大数据是一个著名的研究和应用领域,即提取重要的洞察力与高可伸缩性是一个复杂的过程。可伸缩性的问题纠正MapReduce,它利用分而治之的方法。大数据的可伸缩性是纠正由MapReduce框架21]。粒子群优化(PSO)的集合体和支持向量机(SVM)被认为是大数据,进行分类和重要见解获得的机密数据(22]。
问题的分类、特征选择方法是整合与优化的方法来实现一个有效的解决方案。猫群优化(方案)是由食品搜索行为的猫,并修改分类大数据(23]。大数据表明其发展在不同行业和应用领域,而数据的增长需要一个强大的方法来处理这些数据。Cuckoo-grey wolf-based相关朴素贝叶斯分类器(CG-CNB)框架通过改变CNB分类器与发达的优化方法Cuckoo-grey wolf-based优化(CGWO)。
CGCNB-MRM方法执行过程中每个数据样本分类基于后验概率的数据和索引表的概率24]。无尺度粒子群优化(SF-PSO)开发的选择特性的高维数据集。多支持向量机(MC-SVM)合并为机器学习分类器,获得最好的结果。大数据的分类方法有很多缺点纠正的整合优化和基于深度学习的方法。
极端学习机(ELM)和粒子群优化(PSO)集成在25)选择特性和确定隐藏节点的计数。睡眠阶段的分类是用于预测睡眠阶段的比例。支持向量机(SVM)是用于比较ELM方法比榆树和算法集成较小。在[26),提出了PSO算法进行全局搜索最优权重/偏见ANN方法的选择。该方法用PSO-ANN表示。性能指标的各种用于评估培训过程质量,以及模型的性能测试数据集。结果公开,建立的表征和GCV确定准确、迅速。
3所示。大的基于数据的粒子群优化算法
PSO的设备是由复杂的社会行为暴露的自然物种。对于一个D维搜索空间的位置我th粒子被表示为 。每个粒子奉行的记忆之前的最佳位置 和一个速度 每个维度。的P向量的粒子直接邻居是最好的健身提名在每一个迭代。当前粒子的P向量合并改变速度沿着每个维度,并计算粒子的新位置使用调整速度。传统PSO算法1伪代码如下所示。
|
算法是基于随机搜索算法的灵感来自一群飞鸟的社会行为。这个方法有人口的粒子,每个代表一个可能的解决方案的问题。群的PSO表示一组潜在的结果一个优化的问题,和每一个结果可以被表示为一个粒子。算法的主要目的是确定粒子的位置,收益最好的评估一个适应度函数。每个粒子表示位置Nd维空间,飞在这个多维搜索空间,改变它的位置与其他粒子,直到确定最优位置。每个粒子我负责维护后续数据。xc我:粒子的确切位置。已经我:粒子的精确速度。yp我:粒子的最佳位置(个人)。
利用上面的符号,一个粒子的发病率是改变 惯性在哪里显示 ,加速常数表示为c1和c2,r1。(t),r2。kt∼U(0.1)k= 1,…,Nd。
速度是这样计算基于如下所述的三个影响。(我)前者速度的一小部分。(2)认知模块,它被认为是一个函数的粒子的距离从私人最佳位置。(3)社交组件,它是由粒子的距离最好的粒子识别到目前为止。
的铅我值是作为最好的之前访问过的第i个粒子的位置。它是表示 。的是全球最好的所有单个的位置吗pbesti值。它表示为 。第i个粒子的位置用 , ,和它的速度是表示 。 在哪里r1和r2代表中随机计数(0,1);c1和c2控制粒子将在一个多远的一代;和和分别表示旧的和新的粒子。现有的粒子位置 ,而修改后的粒子位置 。惯性权重调节粒子的影响之前的速度对当前速度。是为了交流并改变之前的粒子速度的优化过程的影响。勘探和开发之间的一个可接受的妥协是高性能的关键问题。如何优化稳定群的搜索技能是算法中最重要的问题之一,因为保持良好的混合搜索在整个运行复杂算法的性能。在整个搜索过程中,惯性权重减少线性从0.9到0.4的,和特定的方程表示如下: 在哪里是0.9,是0.4,是允许的最大数量的迭代。
相反,这些计算任务消耗更多的时间。因此,在最优调度的任务节点执行利用相同的优化算法。这有助于确定有效的任务分配到相应的节点使用一个随机的方法,从而减少总的计算时间。所有这些过程都是采用使用编程模型,为并行化的目的。这是一个最流行的分布式处理系统在Hadoop环境中实现的。它提供了一种设计模式,建议算法中两个基本功能,被称为“地图”和“减少”来缓解巨大的同步处理大型数据集。“地图”是用来计算每条在第一阶段,这意味着输入数据是由这个函数提供了一些中间结果。中间输出然后传递到第二阶段被称为“减少”功能,并结合地图的输出阶段,适用于一个特定的函数来得到最终的结果。
4所示。结果和讨论
在本研究工作中,大的基于数据的计算是通过使用粒子群优化(PSO)。这种方法是使用MATLAB实现和测试。这个算法的性能评估使用不同的数据集,而利用各种现有优化算法获得的结果。用于评估的数据集是酒,虹膜,输血,动物园。BD-PSO的性能测试在四个基准数据集,这是来自UCI。采取迭代的数量来达到最好的健身价值是10。178年葡萄酒数据集样本形成三个子类通过应用BD-PSO聚类算法。
4.1。真阳性
积极正确的预测类的比例被称为真阳性预测率(TPR)。真阳性率给出
4.2。真正的负
真阴性测试诊断测试准确性的研究结果表明,测试准确评估显示,参与者没有特定的目标,根据个人的参考标准化分数没有消极条件。真阴性率给出
4.3。假阳性
的假阳性率(玻璃钢)是一种统计评估测试的准确性,被调查,机器学习的方法,或者其他东西。在技术方面,玻璃钢是指错误地拒绝零假设的可能性。假阳性率计算如下:
4.4。假阴性
“假警报”是一个术语的假阳性。如果你认为某事是不真实的,而实际上是真相,您使用的是假阴性。给出的假阴性率
4.5。精度
实例的分类精度预计数除以适当的负实例总数识别的实例。分类模型的能力是由精度值。精度是衡量使用真阳性(TP)和真阴性(TN)值生成的基于实例的类。表中给出了精度比较1和图2。最准确的分类方法被认为是一种有效的分类算法。估计的精度值如下:
4.6。精度
量化率与积极的结果,也被称为精度,反映预测的可靠性和相关性的特征。任意的频率错误表示为精确,使用统计变量表示。准确度和精密度是相同的概念得到特征值。通常,二进制或小数位数是用来表示一个数据的准确性。真阳性(TP)和假阳性(FP)利率是用来计算它。积极的价值观的一部分在整个假资料确定精度值。真正的积极属性的数是一定的精度计算问题(即分类过程。的数项贴切地贴上积极类的实例)。应用程序的高精度显示结果值,达到更理想的数据不正确的数据。表中给出了精度比较2和图3。它是把
4.7。回忆
相关的假资料的检索出现大幅的召回率。召回的估计测量是有效的预测率和召回事件的计数相关。假档案,回忆计算准确的计数检测值除以TP和FP的计数数据。负实例的差异识别在TP和FN率是用来评估精度。回忆的比较表3和图4。这是计算的
4.8。F测量
检查的准确性的分类问题的指示F测量或F分数。达到最优的方法F测量值通过实现最高精度和召回的价值。的F测量值提高了从特征提取的基本信息,并提供一个精确的表示的计算性能。的比较F测量在桌子上4和图5。它计算
4.9。执行时间
确定的时间完成分类过程执行时间,以最小和算法执行时间的有效算法。提出和现有方法的值在表5见图6。
该方法给出的数值结果在上面的表和数据。比较结果为不同的文件,建议的方法的结果优于现有方法。BD-PSO的性能测试在四个基准数据集,这是来自UCI。用于评估的数据集是酒,虹膜,输血,动物园。支持向量机和CG-CNB现存的两种方法用于BD-PSO的比较。达到92%的精度,精度的92%,92%的回忆,和1.34的F1措施,执行所花费的时间是149 ms,这反过来又优于现有方法。然而,获得的结果并不提供最优的解决方案。
5。结论
群体智慧(SI)是一种相对较新的技术源自自然的社会昆虫和人工系统的观察。在分散的和自组织系统,这个系统包括几个个人代理依赖集体的行为。学习这样的大数据集是当前计算算法的一个主要问题,即使用大数据的缺点是纠正。识别的难度设置类的一个新发现所属被称为大基于数据的分类。这个识别是基于训练集的数据包括解释和识别类会员。BD-PSO算法提高了收敛速度,这在当地的最适条件。BD-PSO的性能测试在四个基准数据集,这是来自UCI。用于评估的数据集是酒,虹膜,输血,动物园。支持向量机和CG-CNB现存的两种方法用于BD-PSO的比较。达到92%的精度,精度的92%,92%的回忆,和1.34的F1措施,执行所花费的时间是149 ms,这反过来又优于现有方法。 It thereby increases the computational efficiency by optimizing the algorithm, thus reducing the computational time. It achieves robust solutions and identifies appropriate intelligent technique related to the optimization problem. In the future, the multi-objective big data based on hybrid optimization algorithm can be used for achieving optimal results.
数据可用性
没有数据被用来支持本研究。
的利益冲突
作者宣称没有利益冲突与任何金融机构有关材料报告在这个手稿。