文摘
高性能分布式计算已成为一个新的发展需求对资源的访问在互联网上被送到动态可扩展的分布式服务器。必须考虑的一个重要研究问题,为了实现高效的性能是时机。我们的目标是将任务映射到正确的资源和优化一个或更多的子目标,以便用户充分利用他们的资源尽快。因此,在这项研究中,为了找到一个合适的解决调度问题和减少完成任务的总时间,提出了一种混合方法,神经网络和遗传算法。在这种混合算法,人工神经网络的预测能力是用于提高任务调度问题,以预测任务完成的时间资源和遗传算法的meta-heuristic为了找到最优的资源用于任务。实验结果表明,该方法的性能改善与其他方法相比,考的期刊和可以坚持的原则服务质量。
1。介绍
最新进展在硬件、软件和通信技术,以及繁重的计算任务的创建,激发了并行计算和分布式系统实时计算的发展任务。因此,分布式系统广泛提供给用户,用户进程他们的计算资源,没有担心1]。异构的分布式系统由相互关联的连通性较差的来源,并通过沟通、媒体交流只能通过发送消息和没有共享内存2]。另一方面,分布式系统的普及将在用户交互导致透明度的创建适当的责任分配用户任务的资源满足性能指标如运行时,资源效率和吞吐量和响应时间3]。随着分布式系统的发展,资源访问请求的数量正在增加,创造了一个良好的竞争环境。资源供应正成为一个阶段来确定一个给定的足够的资源在分布式系统的工作量根据资源性能标准(4,5]。
目前,应用于分布式系统包括web服务、科学计算和文件存储。一般来说,一个项目在一个分布式系统可以分为许多任务和运行在不同的来源。程序在一个分布式系统的性能取决于在可用资源的分配与规划相关的任务,任务调度和分配。程序在一个分布式系统的性能取决于项目相关任务的分配现有资源,这被称为调度和任务分配问题。在这种情况下,分布式系统可以将任务从沉重的来源空载资源来源减少等待时间,被称为负载平衡。一般说,工作负载和负载平衡是非常重要的对于分布式系统(6]。
资源调度不同的任务的目的是为了提高执行速度,减少执行时间,和减少通信延迟,沟通成本,和优先考虑的问题。在分布式调度,整个任务细分为子任务分配给多个来源,所以他们执行速度比单一来源(7,8]。
因此,在本文中,多层次的方法是为了优化调度任务用于分布式系统通过组合预测神经网络和meta-heuristic和遗传算法的进化特征。在这个新方法,通过神经网络预测,我们首先估计时间完成现有的计算资源。另一方面,通过考虑计算资源除了任务对资源的持续时间,执行任务的成本也很严重,而且用户关心的问题,解决这个问题。在本文中,考虑到成本的执行任务,我们使用第二个层次的聚类方法。这一步后,在第三层次,找到有效的资源来执行选择的任务,我们使用遗传算法改进的meta-heuristic人口生产和结合起来,提高任务的总执行时间。在这个级别,每个源产生染色体是同一条线上的每个集群,包括前面的任务线的每一个新分配资源和任务,分界点是跳转到同一点的新任务进入队列的一个发电机。相对应的染色体来源在集群进行比较,并选择最佳组合的染色体。新任务然后加入队列的最适当结合集群中的资源。通过这种方式,该方法可以产生最优解映射任务的资源。本文的贡献总结如下:(我)预测任务的完成时间资源使用神经网络资源和任务的特点(2)排名基于少的任务完成时间和它们的执行期限(3)确定主要的染色体遗传算法基于任务的执行顺序(iv)使用多准则适应函数按照服务质量目标的遗传算法(v)将任务映射到资源基于遗传算法寻找最优解
本文的结构如下:在部分2,我们将讨论的任务与分布式系统的时间有关。部分3将详细介绍该方法。节4,实验的结果。最后,在节5,我们将讨论和总结这篇文章。
2。相关工作
对分布式多处理器系统资源调度的问题,东部赫拉等人提出了一种多用途多目标多处理器系统的实时调度算法称为Mo-QIGA。该算法实时实现最小化每个任务的完成时间和整体的最后期限(9]。Aditi等人提出了一种遗传算法调度程序有三个相互矛盾的目标。该算法提供了一种有效表示的染色体,这是完整的解决问题的办法,染色体的有效性是可靠的,即使拟合和突变10]。Izadkhah已经开发了一个遗传学习算法静态调度在均匀分布式系统由两个学习标准,即速上升和下一个提升学习,使用惩罚和奖励的概念在学习11]。阿克巴里等人提出了一个会作为meta-heuristic处理静态任务调度算法在异构计算系统的处理器。这个算法介绍通过显著变化的基因功能,并引入新运营商保证种群多样性和连续报道的整个空间,提高遗传算法的性能(12]。解决异构分布式系统中的资源分配问题,锅等人提出了一种基于混合遗传算法的分布式资源调度(13]。
关于分布式云环境中的资源调度的问题,卡萨斯等人提出了一个GA-ETI调度计划应对所有的挑战在云调度通过提供一些有效的解决方案的科学实现云资源(14]。达斯古普塔等人提出了一个新颖的负载平衡方法的遗传算法。该算法将云基础设施上的负载平衡在试图最小化给定任务的长度(15]。Kashanchi等人使用的好处进化遗传算法和启发式方法来分析和行为调度模型。在这种方法中,预期的规格安排提取线性时间的形式逻辑(LTL)公式,用于实现最优调度的LTS-labeled传输系统(16]。阿姆马哈茂德等人提出了一个贪婪遗传算法与一个适当的选择合适的和跳运营商(称为aga)的实时任务的分配和时间优先约束异构虚拟机(17]。
在[18),一种基于极限学习机方法(G-ELM)提出了不平衡癫痫EEG信号识别。在[19),一个方法旨在提高萎缩性胃炎的早期临床诊断率(AG)和减少疾病恶化或癌化的风险已被提出。在[20.),一群伪查询序列,来掩盖查询位置和移动用户的查询属性,从而保护用户的隐私在磅,建造。在[21磅),一个位置保护隐私系统通过构建“掩盖范围”保护与位置相关的查询范围查询序列提出了。在[22),dummy-based方法用于文本检索提出了隐私保护。
3所示。方法
正如前面提到的,在这个研究中,提出了一种多层次的方法提高调度和完成在分布式系统的总时间减少神经网络的组合预测,集群meta-heuristic和遗传算法的进化特征。在这个新方法,通过预测神经网络,我们首先估计所花费的时间可用资源。另一方面,在分布式系统中,除了资源耗时的任务,执行任务的成本也很严重,而且是用户的关注,本研究解决这种情况下和考虑的成本执行任务,并在第二层次,我们使用一个基于成本的资源聚类方法。这一步后,在第三层次,找到有效的资源来执行选择的任务,我们使用meta-heuristic和遗传算法的进化特性改善人口生产和他们的组合,然后,我们改善的总执行时间的任务。在这个级别,产生染色体在同一个队列的每个源以前的任务,和截止点跳跃到相同的入口点的一个来源的新任务队列。集群中相应的染色体的来源是两两相比,和染色体的选择最佳组合。通过这种方式,新的任务加入到队列之间的最合适的组合两个方面。通过这种方式,该方法可以产生映射任务对资源的最优解。
基于调查的类型的分布式调度算法,利用遗传算法作为主要讨论分布式系统的任务调度算法的执行速度和能力寻找可能的解决方案在分布式调度任务。遗传算法是最常见的一种进化优化算法搜索答案找到一个优化问题的最优解与不相容和相互冲突的目标。但如前所述,上述算法,初始的问题解决方案是一个随机任务对资源的映射。因此,使用预测工具的一些必需的参数,在某种程度上,让我们更好的性能。还故意执行调度资源集群适合用户要求的任务,调度和分配加载资源之间的分布式系统。
3.1。先决条件
采取的第一个行动是调度器调度任务的分布式系统是确定适当的资源执行任务。可用于执行任务的资源以及获得功能识别基于智力通过分布式系统的一些特性。因此,为了改善这种情况,减少上述问题所带来的影响在资源上分配的任务执行的过程中,我们使用神经网络能力预测任务的执行时间,希望找到一个合适的解决方案的基础上,预测的运行时实现最优调度的分布式系统的关键。为了实现神经网络的性能被认为是这些参数作为影响运行的原因,在相互独立的测量和控制,简单估计或测量和计算简单,计算环境中的资源的特征来预测任务的执行时间。这些参数被认为是作为人工神经网络的输入,并通过确定体重中间层的神经网络,输出将预计完成时间的计算环境资源的分布式系统。二次特性的分布式计算环境来源来自标准CPU-performance-dataset UCI标准数据存储库。
然而,值得注意的是,对计算资源的属性,人工神经网络可以一定程度上预测任务的执行时间。这种预测神经网络输出作为一个参数的值相似,加上每个源所需的成本,有利于集群计算环境资源的分布式系统。集群内的资源将会大约类似的功能,并且用户将意识到完成时间(等待时间的任务),每个资源的成本。新任务是分配给资源最少的预计完成时间。然后实现遗传算法来优化资源配置完成任务,减少工作时间,和一个资源队列最少的工作完成时间预计为新分配的任务和资源队列分配任务的完成时间预计收到第二等级作为主要的人口。遗传算法,通过这两个队列之间跳跃,确定最合适的地方,可以添加一个新的任务。该方法的体系结构如图1。
3.2。提出了调度算法
该方法结合了两种遗传算法和神经网络的优势以达到更优的算法。这些方法结合的方式他们覆盖彼此的弱点,导致一个集成和优化算法。调度操作开始的神经网络预测能力的任务的完成时间在前面部分提到的四个参数。使用神经网络的结构特点如下:(a) 12个隐藏层的形成,(b)的应用反向传播算法,和(c)和应用评价函数。该神经网络用于CPU-performance-dataset UCI标准数据存储库的标准数据,使用MATLAB模拟基于学习资源属性值及其合适的输出任务调度过程中优化任务映射过程。
3.2.1之上。使用神经网络预测完成时间
由于该方法,各种任务发送,还有异构资源在分布式系统中,因此每个任务和资源将有其自己的特点。工作流任务的特点之一是每个任务的指令。为了执行一个任务,每个任务必须执行的指令任务文本以生成输出结果基于这些指令。计量单位是基于MI指令的数量,这表明指令一百万规模的数量。相比之下,处理指令的虚拟机,虚拟机的力量介绍基于MIPS,在单位时间内数以百万计的指示的规模。
第二个特性被认为是在任务的方法是执行任务的最后期限。在该方法中,最后期限已设置为每个任务,根据任务必须完成的时间到来。执行任务的最后期限从进入每个任务的那一刻开始。根据每个任务的长度,执行任务的最后期限是自然不同。因此,应该尽快执行任务的期限较短,以免扰乱工作流过程。
在拟议的方法中,资源属性准备从标准数据集,包括执行一个指令所需的最小成本的资源,执行一个指令所需的最大成本的资源,执行一个指令所需的最小时间资源,执行一个指令所需的最长时间的资源,资源的最大长度队列来存储指令、转移指令所需要的最小时间资源,发送一条指令所需的最小成本的资源,和资源能源持续执行一条指令。
这种方法已被用于预测任务的完成时间在使用神经网络资源。神经网络的输入包括数量的任务指令的特点,任务执行的最后期限,执行指令所需的最小值和最大值的时间资源。在优先级任务完成次来源为了找到合格的早期预计执行任务。因此,现有的任务是训练有素的基于神经网络的特征。因此,神经网络的输出作为预测完成任务的资源。提出了神经网络,为了评估任务,提出的适应度函数被使用在以下关系。 在哪里n代表的任务总数,米代表资源的总数,我代表了任务指标,j表示源,期限,(我,j)代表执行任务的最后期限在资源分配,Tlen (我,j)表示任务指令的数量我在虚拟机需要处理j,εj代表虚拟机指令的平均执行时间j。根据(1),我们可以看到在这个优化问题,该方法需要在最后期限之前完成任务。根据提出的评价函数,每个任务都有一个值的函数值越少,估计越短时间来完成这个任务。换句话说,有短的执行时间和更短的指令长度可以是一个很好的选择提前执行,和估计的完成这样的任务需要在资源获得排名。
3.2.2。基于遗传算法的调度任务
正如前面提到的,在这个研究中,遗传算法已被用于日程排的任务的分布式系统。遗传算法是一种有效的优化算法用于复杂问题所启发的遗传和进化机制在自然系统。遗传算法作为一种基于meta-heuristic方法有不同的运营商,从人口主要随机生成优化的染色体。遗传算法运算符是必不可少的人口向最优染色体的收敛点。遗传算法的基本形式有三个主要的遗传操作选择、交叉和变异。染色体的一些解决方案选择人口选择算子作为父并结合适当的家长操作符创建后代。父母把第一染色体替换多个基因与第二个染色体。变异算子也根据法律修改的后代的变异通过改变一个或多个基因的数量最优解的方向。
创建初始种群:利用遗传算法的第一步是编码和生成一个随机的主要人群。编码是指基因如何决定染色体,基因的排列在一起会导致调度问题的解决方案。因此,每个染色体携带基因的数量等于虚拟机。每个基因代表虚拟机指数指数,和基因内的值代表了任务指标。图2显示了一个示例的染色体在该方法。在这种类型的编码、任务分配给虚拟机。
在拟议的方法中,使用这种类型的编码,每个基因代表虚拟价值的任务指标。在该方法中,因为任务排在第一步中,但在基因值的分布是随机的,虚拟机的处理能力也被认为是作为一个合适的参数函数的遗传算法。因此,在染色体高级任务被分配到强大的资源处理更快、适应函数的值更优。
交叉和变异算法提出的方法:鉴于在拟议的方法中,输入任务优先,自然,应该有一个轻微的变化拟合和跳运营商在云资源执行任务的优先级不是打扰。鉴于在最优染色体,高级任务分配给强大的资源,拟合和变异应该符合改进的调度。因此,在这种方法中,将使用拟合点和自适应跳。因此,如果一个拟合点和突变引起的价值功能恶化,另一个安装点和染色体突变将会被选择。重复此操作,直到最优拟合和跳跃点选择。在本例中,我们将确保代染色体进化和趋同的最佳点。
提出了适应度函数:所提出的方法,我们将使用多准则函数。标准使用合适的函数将包括任务完成时间、任务的长度,和源的处理能力。比例函数的主要目的是减少所有任务的完成时间资源,也叫考。最重要的任务调度的目的是减少时间。考=总需要时间来完成所有输入的任务。每个调度程序使用performance-matching函数执行调度。使用时间和成本参数,它决定了不同的资源执行任务的适用性。关系(2)显示了该算法的适应度函数考虑。 在哪里是完成任务所需要的时间我在资源j,完成任务所需的成本吗我在资源j,估计时间是基于源的处理能力j执行任务我,成本阈值来执行任务。在这个函数中,完成时间的重量和成本的执行任务(wt和wc)由用户考虑。时间和成本是不一样的,他们不是在相同的范围;为了解决这个问题,我们必须规范化,映射在0到1的范围。应该注意的是,由用户指定的权重系数引入任务。Wt和Wc给用户更多的自由在展示他的分布式系统。调度程序的目的是要找到一个来源j为每一个任务我所以,英孚(t我,rj最低。
上述目标函数确定的源配件j执行任务我。在上面的函数中,可以看出正常化时间和成本乘以他们的体重。在上面的函数中,t马克斯和t最小值任务的最大和最小完成时间是适当的资源(在前面的小节描述了适当的资源指标)。c马克斯和c最小值执行任务的最大和最小成本在适当的资源。t我,我和c我,我是执行的时间和成本我任务j源。任务的执行时间分配给资源获得的关系如下: 在哪里参数表示的长度(指令)的任务我, 确定资源处理器的速度j,等待时间来访问资源吗和源队列中的任务数量。运行时间被认为是1米矩阵米是资源的数量。这个矩阵的j-element的价值表示任务的执行时间分配给数量的来源j。图3显示了这个矩阵的一个例子,分配的任务执行时间的第二个来源是250。
在每个迭代中,更新人口评估产生的解决方案。这个评价是基于适应度函数。评估一个成员的人口(解决问题的),每个独立的输入任务分配给资源基于策略的调度算法。任务资源分配后,确定哪些任务分配给每个资源和每个资源j,1∗N矩阵称为Job-CPUj独立输入任务的数量(N)。Job-CPUj矩阵中的值的任务分配给源j。图4显示了这个矩阵的一个例子,首先,其次,和第七个任务被分配到源j。
总执行时间的任务分配给源j(任务在Job-CPUj矩阵)(3)计算关系,最后,任务的执行时间计算在每个资源和放置在运行时间矩阵。然后,运行时间矩阵的最大运行时被认为是考。该方法算法如表所示1。
4所示。绩效评估
由于该方法使用两种人工神经网络算法和遗传算法,以评价该方法的性能,两种算法的性能精度估计的神经网络准备好工具和Matlab遗传算法工具箱。
4.1。绩效评估的神经网络
本文假定一个任务已经交给用户的分布式系统或其他应用程序。这些任务的时间被认为是随机的。许多居民任务也随机分布在分布式系统中处理器的队列,新的任务将分配给处理器在完成这些任务(等待时间的处理器分配新任务或处理器上的任务完成的时间)。正如前面提到的,神经网络已经被用于预测任务完成的时间在一个处理器的队列组成的三层:输入、中间(中间)和输出。输入数据包含cpu相关特性应用于神经网络的输入层,如图4。中间的神经网络层执行过程必要的训练模型上接收到的输入数据从输入层和呈现结果输出层。在前一章中提到,应用神经网络结构使用评价函数,这是一个函数的误差反向传播正确的重量。图5显示了评价函数的准确性。
如图5神经网络的性能,使用评价函数在40迭代最好在模型训练和验证和训练样本的测试阶段(由点线所示)。
在这项研究中,另一个则用来评估该模型的准确性是正确的预测率样本的模型训练阶段:模型的验证和实验数据复制阶段。为了这个目的,一个图表示为混乱,它指定数量的正确分类数据与不正确的数据分类培训、验证和测试阶段的数据。图6显示了混乱图模型的步骤。
如图6在这项研究中,提出了神经网络模型准确预测100%的训练样本在训练阶段,验证阶段,训练样本的87.5%和75%的实验样品在测试阶段。因此,整个的平均精度提出了神经网络模型来预测任务的完成时间驻留在CPU是94%。
4.2。聚类方法的实现
如前所述,k - means聚类方法是一种最流行的无监督学习算法,解决结构良好的聚类的问题。这种方法寻找一个简单而简单的方法对数据进行分类根据一组预先确定的数量的集群的集群(K)。这种方法背后的基本想法是定义k作为中央焦点,每个集群。这个焦点应该明智的选择,因为不同的情况给予不同的结果。因此,可以得出结论,最好的选择是保持尽可能远。在这项研究中,K = 3,在第一个集群的焦点有最小值,第二个集群的焦点数据之中,和第三的焦点集群具有最高的价值。集群分为三个集群:便宜,介质,和经济上昂贵,时间和成本的基础上完成他们的任务。下一步是捕捉每一个点的数据并将其连接到最近的中心点。等待毫无意义时,第一阶段已经结束,和最初的组织形成。在这一点上,有必要计算点K的中心点作为集群的中心线从上一步。在获得这个新的K焦点,必须建立一个新的连接相同的一组数据点与最近的新焦点。因此,生成一个循环,这个循环,因此,我们可能会发现,中央点K在每次改变他们的位置,直到一步完成,不会有任何改变。 In other words, the focal point has no further movement. Table2显示资源分配给集群基于资源特征。
如表所示2处理器属于一个集群,远不如集群的焦点。处理器在相同的集群非常相似。如果cpu在不同的集群更划算的,耗时的,任务交付给分布式系统环境驱动到其中一个集群,更符合他们的喜好,根据用户或应用程序的担忧成本和期限的任务。
4.3。遗传算法的性能评估
正如前面提到的,遗传算法是用于将任务映射在适当的处理器来减少任务的总执行时间。因此,预计总等待时间和任务处理时间应用遗传算法将不同的相比,相同的数量在应用遗传算法和分配最合适的处理器上的任务,以减少运行时。由于方案的进化,遗传算法收敛于最优解的迭代步骤。图7显示了遗传算法的收敛到最优解。
如图7后,遗传算法达到最优解的迭代步骤。根据甘特提出的遗传算法的最优解,任务的分配资源,如图8。
如图8,计算任务分配给适当的基于该方法的虚拟机。然后,在图9相比,任务的完成时间是基于该方法没有利用遗传算法和神经网络。
如图9在每个资源,完成任务的时间该方法比没有遗传算法寻找最优的神经网络资源。因此,资源的基础上选择不是最优资源服务器处理能力和提供服务和资源估计时间完成任务,并在任务分配时间和成本的组合可以使这种方法更优。图10也显示了所有任务的总执行时间在所有来源的神经网络方法和该方法。
如图10,所有任务的总执行时间在所有来源+等待时间释放所有资源的神经元网络方法不使用遗传算法比同时在该方法的总和。图的方法是线性增加的斜率低于前面的图,对队列中的任务和任务的分配最合适的资源使用遗传算法函数成比例。如图9神经网络组合方法和遗传算法改善极小化准则比神经元网络调度方法。换句话说,分配的任务的总执行时间的方法是少于24%的神经元网络调度方法。
我们也比较它与以往的方法来评估该方法的有效性。如图9,该方法的精度在分布式系统由任务资源分配优化,结合参数的形式比例的功能。与以前的方法相比,该方法可以根据相同的标准以同样的条件。因此,图11显示以前的比较方法和该方法在本研究基于极小化准则。
如图11,该方法的性能优于其他方法可用在分配任务的期刊资源,减少所需的时间完成整个任务。因此,该方法具有较低的价值比先前的方法和极小化准则可以坚持的原则服务质量。
5。结论
在这项研究中,一个调度算法人工神经网络和遗传算法相结合,提出了作为调度任务的方法在云计算旨在改善任务分配条件下通过减少考在不违反服务质量约束。预测任务的时间消耗资源的关键是获得最优调度在云中。应用程序级调度器可以用预测来实现更好的性能。也遗传算法搜索任务最优资源配置结合时间和成本。通过预测任务的执行时间在云环境和使用快速资源,可以优化任务调度。本研究的目的是最小化总执行时间的任务分配给每个资源。在拟议的方法中,服务质量的参数被认为是有时间限制。实现结果表明,分配的任务的总执行时间的方法是少于24%的神经元网络调度方法。该方法的性能也优于其他方法可用在分配任务的期刊资源,减少所需的时间完成整个工作。因此,该方法具有较低的价值比先前的方法和极小化准则可以坚持的原则服务质量。
数据可用性
使用的数据来支持本研究的发现在随机模拟的场景。
的利益冲突
作者宣称没有利益冲突。