多目标Level-Wise科学工作流优化IaaS公共云环境

文摘

云计算领域的科学应用,如科学大数据处理和数据分析已经成为受欢迎的,因为它面向服务的模型,该模型提供了一个抽象的,虚拟、动态可扩展的计算资源和服务通过互联网点播。然而,资源选择作出正确的选择为某一应用程序实例对研究人员感兴趣的是一个具有挑战性的问题。此外,为服务提供最佳性能最低的金融资源部署成本基于用户的资源选择是相当具有挑战性的云服务提供商。因此,有必要开发一个优化系统,用户和服务提供商可以提供好处。在这篇文章中,我们进行科学工作流优化三个视角:时间最小化,虚拟机部署成本最小化和虚拟机失败最小化level-wise方式在云基础设施。此外,平衡的任务分配的虚拟机实例在每个级别工作流也被认为是。最后,系统效率验证是通过评价的结果与SPEA2和NSGA-II等不同的多目标优化算法。

1。介绍

科学实验领域如生物信息学、天文学、基本粒子物理学和生命科学需要大数据的存储和处理。采用云计算处理这些科学数据云使数据相关性,增加模式挖掘,数据预测,和数据分析的方式。云提供资源,如网络、存储设备、应用程序和服务器可以从共享资源池分配以最小的管理或互动(1]。一般来说,云计算提供基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)的使用率模式。这些服务,IaaS是最经常使用,因为它为顾客提供了一个弹性机构提供或释放虚拟机(vm)在云基础设施2]。云的弹性性质促进改变的资源数量和特性在运行时改变,因此动态扩展时更需要额外的资源和收缩当需求低(3]。由于其弹性资源配置机制、云计算广泛应用在多个领域,包括大规模的科学应用。改进的服务支持和云爆炸技术,用户不需要提供他们的资源为最糟糕的情况。在云计算环境中,应用程序的执行成本意味着货币从云服务提供商租用成本资源。解决的问题最小化资源使用的最佳性能的一个重要研究领域是一个IaaS云。

科学应用包括成千上万的需要大量计算和数据传输的任务。工作流任务执行期间也有一定的依赖关系。这些科学应用的建模进行有效处理是必要的。使用最广泛的模型的形式表示有向无环图(DAG)的工作流的结构表示任务的执行顺序。我们的优化框架处理科学工作流的形式DAG在优化实验。此外,它假定云工作流执行的货币成本是基于资源的使用,也就是说,任务执行成本相关的总数为所有任务的CPU周期。通过使用云基础设施,客户也可以降低加工成本的工作流应用程序与云的援助的使用率模式。此外,一个任务,与前一个任务共享相同的时间间隔驻留在相同的实例可能不会产生额外费用,降低整个工作流的执行成本。

Khajemohammadi et al。4)提出了一种快速夷为平地工作流调度策略,最大限度地减少成本和时间网格环境中。然而,在这种方法中,资源利用率只可能在组预定义的服务资源,这是无关紧要的,因为云的动态性和弹性。此外,服务一次只处理一个任务在一个水平。我们的方法不同于以前的工作在几个方面:一组预定义的服务资源,而是随机搜索虚拟机的数量和各种机实例类型进行执行期间受益于云的弹性和货币工具,多个任务可以共享一个虚拟机实例更好的资源利用率,平衡任务分配进行负载平衡在每台机器实例以及减少等待时间进行到下一个级别的任务,和减少机器的失败实例工作流执行过程中被认为是提高可靠性。这样,系统搜索的帕累托最优解决方案,表现出最好的性能最低的财务成本最小化失败。

我们优化的想法是基于广泛使用的科学工作流的飞马项目(5),控制和依赖关系。实验结果组成的一系列优化虚拟机与优化机实例类型为每个级别的工作流与各自考时间,成本,最小化机实例失败。本文是一个扩展的当前版本的先前的研究6在以下几方面。首先,我们有另一个目标函数机实例失败最小化函数,在优化。第二,我们扩展我们的云系统模型从只有四台机器实例类型的学术私有云25机实例类型的公共云。现在的系统实现进行优化三最小化目标(时间、成本和失败)25 AWS的虚拟机实例类型。第三,我们使用SPEA2执行三个真实的实验和分析工作流和NSGA-II算法显示系统有效性三个目标函数。

本文的其余部分组织如下。部分2介绍了理论背景与科学工作流,SPEA2 NSGA-II。部分3概述了该系统使用的目标函数,提出了工作流执行优化算法。部分4探讨了进行绩效评估。部分5提出了相关工作。最后,部分6总结和概括了未来的工作。

2。背景

本节介绍了有关与论文相关的理论背景。首先,科学工作流和各自的特点进行了讨论。然后,多目标进化算法SPEA2 [7]和NSGA-II [8]。

2.1。科学工作流

科学工作流是必不可少的促进和自动化处理大容量的科学数据网格等大型分布式计算结构(9]。这些工作流描述任务的设置需要进行计算实验,为科学家提供公开的能力,共享和重用他们的工作。这些工作流的目标是(我)节省人工周期通过使科学家专注于特定领域方面的工作,而不是处理复杂的数据管理和软件问题,和(2)保存机器周期通过优化工作流执行可用资源(10]。科学工作流创建相应的工作流编辑器,通常为存储库提供了预定义的工作流活动。

一般来说,一个科学工作流建模为一个有向无环图(DAG)。一个工作流的DAG, ,被定义为 ,在那里 是一组任务和 是一组数据或控制依赖关系(7]。每个任务都有其各自的执行时间,任务名称,输入数据的大小和生成的输出数据的大小。DAG的多个入口和出口,需要添加一个伪或一个伪没有控制和依赖关系。在这项研究中,我们假设所有DAG工作流只有一个和一个 ,为实际的处理步骤和优化是在工作流。DAG表示XML或JSON格式和解析需要得到必要的信息进一步处理。一个简单的DAG如图1标签与各自的任务。

2.2。多目标进化算法(MOEAs)

提出了多目标进化算法(MOEAs)寻找多个帕累托最优解决方案在一个单一的模拟运行。MOEAs的有效途径找到冲突的目标之间的帕累托最优解决方案。他们生产nondominated方案对最小化或最大化用户满意度的目标。

2.2.1。改进的力量帕累托进化算法(SPEA2)

SPEA2 [7)是一个改进版本的原始力量帕累托进化算法(说)通过一种改进的健身任务计划,最近邻密度估计技术,和新截断方法。

算法从一个人口和存档(外部)。然后执行迭代演化过程。在更新操作在进化过程中,满了主导个人或删除个人如果必要适应固定大小档案。不像说,SPEA2只考虑存档的成员参与交配选择过程。

算法的目标定位和维持nondominated面前的解决方案,在理想情况下的帕累托最优解决方案。这是通过使用一个进化过程(基因重组和变异代理程序)来探索使用的搜索空间和选择过程相结合的候选解决方案为主的程度(强度)和一个帕累托的密度估计前面作为分配健身。存档的nondominated维护独立于候选解决方案使用的人口在进化过程中,提供一种精英主义的形式。

2.2.2。Nondominated排序遗传算法(NSGA-II)

1995年,nondominated排序遗传算法(NSGA) [11),通过nonelitism方法提高了计算复杂度和共享参数,开发。2002年,黛比等人开发NSGA-II [8),一个改进版本的NSGA矫正NSGA所发现的问题。NSGA-II是一个流行的多目标优化算法,广泛应用于多个应用程序域。NSGA-II的主要特点是计算复杂度低,parameter-less多样性保护和精英主义的方法。NSGA-II的主要组件包括快速nondominated排序和拥挤距离任务。

快Nondominated排序。介绍了精英主义NSGA-II通过存储所有nondominated解发现,从初始种群(12]。精英主义提高了收敛属性向帕累托最优设置。排序的个体根据nondomination水平的人群中,每个解决方案都必须与其他解决方案相比,以确定是否为主。首先,两个实体计算为每个解决方案:(1) ,解决方案的数量控制解决方案 ,和(2) ,一套解决方案,解决方案占主导地位。所有的解决方案 ,nondominated解决方案,确定并放置在当前列表作为第一nondominated前面前面。算法反复发现第二条战线,第三阵线,等等,直到所有方面识别或指定的人口规模。

拥挤距离算法。在完成nondominated排序、分配拥挤距离。在这个过程中,所有的个人在人群中被分配一个拥挤距离值和个体选择是进行基于秩和拥挤距离。拥挤距离比较比较了个人在同一阵线和距离计算。换句话说,拥挤距离涉及发现每个个体之间的欧几里得距离根据他们的前面目标在一个维多维空间。边界的人总是选择任务(因为他们有无限的距离13]。

在NSGA-II发现的解决方案是帕累托最优,如果他们不是由任何其他解决方案的解决方案空间。此外,所有可行的集合nondominated解决方案的解决方案空间被称为帕累托最优,对于一个给定的帕累托最优设置对应的目标函数值在目标空间中被称为帕累托。多目标优化的目标是识别的帕累托最优的解决方案。在此提出优化系统,我们使用NSGA-II因为它是最流行的一种优化方法在几个领域。图2描述了NSGA-II优化的工艺流程。

3所示。提出了工作流优化框架

搜索工作流优化时间,机器实例故障,在云计算环境下虚拟机部署成本与SPEA2和NSGA-II应用在我们的系统。我们的系统的细节在接下来的部分。

3.1。系统概述

图3显示了我们的提出的多目标优化工作流系统的体系结构。系统的操作如下。首先,工作流的形式输入DAX指数在XML表示(DAG)系统优化和系统解析必要的信息在每个级别的DAG任务的工作流。然后,系统执行时间最小化,虚拟机部署成本最小化和机实例失败最小化基于特定机实例类型在整个搜索空间。

3.2。Level-Wise优化

Level-wise工作流进行优化是为了不违反工作流任务的依赖关系的科学工作流执行的云。系统目标函数和平衡提出了云计算系统的任务分配模型在下面几节中详细描述。

3.2.1之上。目标函数

工作流执行的优化问题涉及到资源优化的云基础设施的优化时间,成本,和VM实例失败。指定的参数包括VM实例的数量和类型的机器在每个工作流实例的水平。机实例是编码为整数的数量值,每个值指定特定工作流VM实例的数量水平。此外,VM实例的类型也编码为整数,其中每个整型值指定表中描述的机实例类型之一2。功能相关的工作流时间,成本,和VM实例失败定义为健康评估。提出系统的目标函数利用针对最小化工作流执行的总体极小化,机实例部署成本,并在工作流执行实例故障。他们表示如下: 在哪里 是虚拟机的数量和类型的vm DAG的每一层;是总工作流执行时间;工作流机实例部署总成本;完全是工作流机实例失效概率。

在科学工作流应用程序、执行任务之间的依赖关系是重要的。因此,level-wise执行资源选择是我们建议的系统中进行。首先,我们优化时间和vm的数量在每个执行水平。然后,在工作流优化各级之后,整个工作流的优化确定执行计划。

此外,部署成本每台机器的不同实例类型使用和机器实例的数量中使用工作流优化。根据机实例类型,每个任务的运行时的工作流程也不同。失败最小化的情况下,系统使用的可用性因素提供的虚拟机实例亚马逊网络服务(AWS)。没有定义的约束被认为是在这个时间和自动分批,失败,和资源使用成本优化执行的系统。level-wise的三个目标函数极小化成本,实例部署成本,和虚拟机实例故障计算如下:(1)Level-wise分批成本: 在哪里 水平的任务总数 ; 水平的机器实例数量吗 ; 任务的执行时间的位置吗集群中的任务集的实例类型;在DAG总数的水平。(2)Level-wise虚拟机部署成本: 在哪里是价格的th虚拟机在工作流级别。(3)Level-wise虚拟机失败概率: 在哪里是失败的概率虚拟机。

3.2.2。云系统模型

在我们的研究中,云被建模为一组虚拟机实例, 。每个实例, ,可以一个25机实例的类型和实例计算成本基于AWS实例东京地区价格定价(14]。表2显示了实例定价计算用于我们的资源使用情况。不同的机器实例的性能差异类型是基于CPU使用量以及指定的CPU核的数量每台机器实例。我们将各种实例从及格分数的CPU性能指标(15]。实例类型m3被认为是最低的性能机实例的最低价格。m4的CPU性能差异,c3, c4和r3实例类型对m3机实例类型被认为是列在表1。

每台机器的性能加速实例组指定基于CPU核的数量在每台机器实例使用。此外,我们还假定所有虚拟机实例共享相同的数据的数据中心。因此,数据通信和数据传输成本是不变的。

3.2.3。平衡的任务分配

Level-wise平衡任务分配的虚拟机进行科学工作流执行,因为每个工作流中的细粒度的任务必须在处理依赖秩序。平衡的任务分配的目标是减少等待时间继续下一个阶段在工作流执行和平衡负载在每个工作流级别允许每台机器实例资源共享设施。对于那些目的,平衡集群的任务在每个水平被认为是在执行之前在各自的虚拟机。图4显示了平衡的任务分配的任务聚类过程。为平衡集群有两个阶段:任务排序和平衡集群。在任务排序,每一层的任务是分类根据其运行时。然后,任务集群大小决定为每个任务组的任务列表进行排序根据以下方程:如果虚拟机的数量th 在哪里

3.2.4。虚拟机实例失败

一般来说,云使用大量商品的服务器;因此,失败的可能性存在。基于云资源的失败可能会导致失败的应用程序处理。因此,这些失败可以对工作流执行的性能产生重大影响。因此,有必要系统中减少失败的可能性。工作流任务聚类有时可能会导致更高的失败率如果不止一个任务被分配给一个machine实例(3]。在这个系统中,我们计算了每个虚拟机的故障实例基于AWS可用性与某些额外的加权值。首先,最初的失效概率被假定为一个虚拟机实例 。我们假设虚拟机的多个任务,失败的重量越高的虚拟机。重量值计算基于任务的数量水平和最初的失败概率值。每台机器实例失效概率计算如下: 在哪里总数量的任务吗虚拟机。

3.3。工作流多目标优化算法

本节介绍了SPEA2和NSGA-II优化算法为基础,提出系统的主要组件。系统使用NSGA-II因为它优于其他当代MOEAs如PAES [16和说17),找到一个多样化的解决方案,在真正的帕累托最优设置(附近的收敛8]。SPEA2用于比较从NSGA-II优化获得的帕累托最优解决方案。算法1描述了工作流所需的预处理步骤解析任务DAG任务对象格式。工作流优化算法使用SPEA2和NSGA-II描述算法2和3,分别。

3.4。系统实现

科学工作流支持和自动化的执行出错,在科学应用重复的任务。它结合了活动和解决科学问题的计算。任务划分工作流执行过程中是很重要的,因为它会影响应用程序的性能。前三种方法工作流分区执行报告在文献中:水平工作流分区,垂直工作流分区和任意工作流分区。

在我们的系统,我们使用level-wise工作流划分水平分区的方法。我们选择level-wise分区结构的科学工作流因为这些工作流由不同数量的任务具有不同的资源需求在每一层的工作流。level-wise方法使弹性配置的资源在每个工作流级别和负载平衡。Level-wise分区的一个简单的DAG工作流如图5。

3.4.1。综合解析

在解析阶段,任务信息中指定的有向无环图检索。在此系统中,必要的信息,如数量水平的工作流,任务名称及其相关的执行时间和输入的最大并行度工作流执行自动优化检索。随后的染色体长度确定取决于水平的总数工作流。此外,任务标签也在每个级别的工作流来促进level-wise优化优化过程中的工作流任务工作流解析。

3.4.2。多目标优化

解析和工作流的任务标签后,系统开始多目标优化过程。首先,随机初始染色体参数列表包括虚拟机的数量和类型的虚拟机适用于每一层的生成工作流初始化过程。接下来,健身三个目标函数的计算。等遗传算子的选择、交叉和变异然后选择在进化过程中被使用。然后,进化过程,直到满足指定的终止准则。在这一点上,帕累托前解决方案从检索演化过程和优化优化实例类型的虚拟机数量最大完工时间最优和帕累托面前的最优部署成本最少的失败对于每个工作流级别推荐处理科学工作流应用程序在云中。

3.4.3。染色体表示

该系统包括基因的染色体代表虚拟机的数量和类型的虚拟机用于每个级别的工作流。系统使用一个固定长度的integer-encoding方案中,最常见的一种表征染色体的遗传算法(GA)。的基因在染色体的形式 和 每个基因代表虚拟机的数量为每个级别的并行工作流执行,表示的最大并发任务数允许工作流级别,和可能意味着总数量的实例类型提供的学术云系统。单个基因代表一个水平和染色体的长度取决于水平的最大数量的工作流。染色体长度, ,在哪里工作流DAG的最高水平,根据输入工作流结构不同。具体而言,染色体长度为一个简单的工作流图5是( ), 和基因值范围 和 ,分别。一个染色体的优化流程如图6。

3.4.4。遗传算子

基因在染色体代表虚拟机数量和类型的虚拟机在每个工作流级别和提出的工作流优化流程的执行任务level-wise方式保存任务之间的依赖关系。在优化过程中,遗传算子用于指导多目标优化算法对给定问题的最优解。三大运营商、选择、交叉和变异,合作成功处理。

(1)选择。选择操作给我们提供了一个直接的方法选择后代为下一代。锦标赛选择中使用这个系统,因为它降低了计算成本与选择有关。在比赛中选择,随机的(用户定义的比赛选择大小)个人选择了从人口,他们的健身价值比较,适者用于重组过程。越高值,选择压力越高在比赛中选择。

(2)交叉。交叉操作需要两个字符串的家长打电话和并生成两个后代,和 。决定是否执行交叉操作对当前对父染色体是根据指定的交叉概率(CP)。如果随机概率小于CP,交叉站点选择和部分两家父母之间发生交换产生后代。如果概率大于CP,交叉站点将整个染色体长度,这没有影响,因为交叉算子。两点交叉应用于该系统,如图7。

(3)突变。突变是很重要的,因为它允许进化过程探索新问题的可能的解决方案。为了避免近亲繁殖人口在一个小问题,应用突变与小概率交叉操作后(MP)。所选议员应该是合理的,因为如果过高或过低,一个很好的解决方案不会在进化过程中被发现。使用随机两点变异在进化过程中所提出的系统,如图8。

4所示。绩效评估

本节概述了实验环境,介绍了实验结果为各种科学工作流应用程序。仿真实验在一个英特尔酷睿i7戴尔个人电脑和16 GB的RAM和飞马工作流数据集。使用Python编程语言的进行了系统实现和知名DEAP框架(18]。

4.1。实验科学工作流应用程序

展示提出了离线工作流程优化系统,实验使用三个科学工作流DAG应用程序(基因学、蒙太奇和CyberShake)从飞马5,19),与各种输入数据大小。表观基因组学是一种cpu密集型生物信息学工作流有八个级别的工作流任务。蒙太奇是项目的集合,它结合了多个镜头的天文图像生成一个定制的马赛克图像(20.]。CyberShake是地震学工作流应用程序所使用的南加州地震中心描述地震危险区域(3]。应用程序的结构见图9。表3展示了科学工作流用于系统评价以及各自的输入数据的大小。

4.2。实验分析

数据10- - - - - -13显示cost-makespan折衷解决方案被提出的系统使用NSGA-II和SPEA2。实验进行了拥有100人口规模的发展超过500代0.7交叉概率和变异概率为0.0625,0.055和0.125——根据给定的数量水平工作流。实验结果表明,该系统有效地降低了考可接受成本的权衡。系统的有效性体现更多的更大的数据大小的工作流,显著提高考的只有一个小增加部署成本。失败最小化的目标,系统只给一些重要的有效性在较小的输入数据大小工作流相比其他两个目标函数。

图10显示了三个工作流cost-makespan折衷解决方案有四个500代后输入数据的大小。虽然在三个目标函数进行优化,解决方案的分布提出了二维(2 d) 2比3 d d提供了更好的比较清晰。最大完工时间的数据,很明显,和部署成本函数是强相关的负斜率。也就是说,考越高,部署成本越低,反之亦然。作为我们的目标函数是最小化函数,我们想要选择最佳的解决方案是尽可能接近- - - - - -尽可能的起源。中的值数据也说明一个缓坡小输入数据的大小,增加数据的大小越陡峭。对于蒙太奇的情况,在帕累托前面有差距;将决定在未来的研究的原因。图中的散点图11说明了cost-failure折衷的解决方案。数据突出,两个函数中的值不是强相关。然而,这两个函数之间存在弱相关,除了蒙太奇1000任务节点和CyberShake 1000任务节点。在那些体积更大的输入工作流程,所有前面帕累托解推荐使用类似的实例类型但不同数量的机器在每个工作流实例的水平。此外,所有的失效概率值的解决方案非常相似,只有微小的差异在第七的位置部分结果值。这可以影响蒙太奇cost-failure折衷解决方案的1000年和1000年CyberShake是没有相关性的线性函数。由于这些原因,最好的三个目标函数的最优解应该选择基于时间,成本,分别和失败。在我们的评估中,我们发现两个极端点和一个中间点(最靠近原点)最好下极小化最大完工时间最好,中点解决找出系统的有效性。我们发现系统改善表观基因组学与失败时间极小化,成本是0.00559256,与失败对于蒙太奇的0.0149133倍提高,次改进CyberShake失败为0.008948,分别。数据12和13使用SPEA2算法和结果显示实验结果是所有三个工作流非常相似。

进化算法,评估等质量指标收敛性,多样性,逆时代的距离(IGD)和超体积存在。在这些指标中,最优解的收敛性和多样性值从帕累托方面获得了五个独立测试运行500代被用来计算平均值和标准偏差表中列出4。这些质量指标进行了计算根据DEAP框架,收敛性和多样性值越小效果越好。收敛性是衡量之间的距离获得nondominated正面和真正的帕累托最优。收敛度规, ,通过计算的最小欧氏距离计算每一个获得了帕累托最优解决方案选择的解决方案前,然后平均距离(13]。计算指标如下: 在哪里之间的欧几里得距离获得最好的解决方案和最近的成员nondominated前面。

多样性是衡量的充分性得到nondominated代表范围的帕累托最优解决方案前(19]。多样性的方程计算了(8)如下: 在哪里 极端的解决方案之间的欧几里得距离,边界解决方案;是一个解决方案的最佳nondominated面前 ;所有距离的平均值吗 。

目前的研究工作集中在优化的科学工作流执行在云中SPEA2和NSGA-II等通过多目标进化算法。根据实验结果,确定SPEA2的帕累托最优解决方案的能力和NSGA-II几乎是相同的。在某些情况下,比NSGA-II SPEA2给更好的收敛性和多样性值。然而,较长的执行时间是SPEA2所需的搜索过程工作流优化非常重要。SPEA2 NSGA-II,等多目标进化算法中最重要的部分的算法适应性分配基于Pareto-domination:统治,nondominated排序和识别nondominated的解决方案。这些过程可以在完成 ,在哪里的目标和数量吗人口规模的SPEA2和NSGA-II。的时间复杂性SPEA2 NSGA-II超出了本文的范围,但有兴趣的读者可以参考安杰森(21为进一步的细节在多目标进化算法的时间复杂性。

5。相关工作和讨论

使用云科学实验是一个受欢迎的选择,因为传输大量数据处理节点是不切实际的在这个不断提高大数据的时代。然而,正确的虚拟机实例的选择对于一个特定的应用程序是一个具有挑战性的问题的云用户。因此,优化系统的方法,容易促进云资源优化选择正在积极研究。因此,各种简略和多目标优化策略。

简略提出优化策略主要集中在发展有效的调度策略,以减少时间。例如,田中和Tatebe [20.)提出了一个减少考数据感知调度策略,通过最小化集群节点之间的数据移动。然而,他们的策略只能操作与同质资源在工作流执行和不适合在云环境中使用。陈和Deelman [1)提出了一种工作流任务调度策略使用水平或垂直集群技术在工作流执行过程中减少时间开销。燕et al。22)提出了一个新颖的概率摘要调度算法来解决工作流期限保证的问题。他们表明,方法是有效期限约束条件下的适应性和可预测性,但改善期限分布仍然是必要的。考尔和梅塔(23)提出了工作流调度云使用增强打乱青蛙跳算法(ASFLA)。他们改进了原始打乱青蛙跳算法(SFLA)加快整个工作流的执行时间。实验显示,整体工作流执行时间显著减少,但资源使用成本系统中不占。

Poola et al。24]介绍了工作流执行的资源调度算法在不同的云资源以及时间和成本最小化。然而,他们提出了系统的鲁棒性和有效性取决于增加预算。朱et al。2)提出了一种多目标工作流调度方法的云基础设施。在他们的建议的方法中,他们提高了演化过程的优化通过引入两个新颖的交叉和变异算子。他们进行了实验根据实际定价和资源参数在Amazon EC2上,但没有考虑任务依赖关系在工作流执行和简单地假定所有任务可以并行执行。Zhang et al。25]提出biobjective工作流优化能源消费和异构计算系统的可靠性。

简略和多目标工作流执行优化了集群、网格、和云基础设施在最近几年。简略的优化方法的重点是最小化最大完工时间工作流通过调度20.,22,23)和任务聚类方法(1]。然而,简略为数据密集型工作流优化是不够的。我们的方法是集中在多目标工作流执行优化的云基础设施。虽然类似的工作(23,24)进行了云基础设施,使用的方法有局限性的弹性资源和任务依赖关系。此外,以往的研究不包括与VM实例相关重要问题如VM失效概率。我们建议的方法解决这些问题如下:

随机搜索的资源选择更好适应资源使用情况

Level-wise任务处理方法任务依赖关系和资源弹性

平衡任务聚类更好的负载平衡和资源共享

三目标优化工作流执行(包括云SLA相关目标)

通过这种方式,该系统有助于选择合适的资源通过多目标优化工作流执行过程中双方的利益相关者(用户和云服务提供商)。

6。结论和未来的工作

机实例资源科学工作流应用程序的最佳性能,选择最便宜的部署成本和最小失效概率云仍然是具有挑战性的。没有合适的资源选择,它可能会导致用户不满(由于高成本和不可靠的结果数据)可以影响服务提供商的业务。在这项研究中,我们解决了这个问题通过建模工作流优化问题作为一个使用云SPEA2和NSGA-II three-objective优化问题。在工作流程优化,一个固定长度的整数染色体被用来代表一个随机数的vm可以部署在每个级别的工作流。优化过程是基于随机初始染色体进行人口和各自的染色体的适应度值计算。我们的实验结果在三个真实的工作流可以从正在进行的飞马研究项目(5)表明,该系统减少了时间可接受成本权衡和实例失败。研究结果还表明,两个目标函数(考和实例成本)是密切相关的,而失败最小化目标价值观是弱相关或与其他两个函数没有关系在某些情况下。此外,我们发现c4。超大机实例类型是一个主要在优化根据我们的模型实例类型。在未来的工作中,我们计划包括与其他多目标优化算法结果比较如NSGA-III和MOEA / D。此外,许多客观优化时间和预算限制在工作流执行将被考虑。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是支持的波峰,日本科学技术振兴机构(批准号JPMJCR1501)和Nitobe学校,北海道大学。

引用

1. w·陈和e . Deelman“WorkflowSim:工具箱为模拟科学工作流在分布式环境中,”学报2012年IEEE 8日国际会议项目,项目20122012年10月,美国,。视图:出版商的网站|谷歌学术搜索
2. z朱、张g、m·李和x,“云工作流调度多目标进化,”IEEE并行和分布式系统,27卷,不。5,1344 - 1357年,2016页。视图:出版商的网站|谷歌学术搜索
3. d . a . Prathibha b拉莎,g . Sumathi”有效地调度工作流在云环境中使用计费模型意识到任务聚类,“理论和应用信息技术杂志》上,卷65,不。3、595 - 605年,2014页。视图:谷歌学术搜索
4. h . Khajemohammadi a Fanian, t·a·格列佛”高效的工作流调度网格计算使用多目标遗传算法被夷为平地,“《网格计算,12卷,不。4、637 - 663年,2014页。视图:出版商的网站|谷歌学术搜索
5. 飞马工作流生成器。http://confluence.pegasus.isi.edu/display/pegasus/WorkflowGenerator,2016年。
6. p . t . Thant c·鲍威尔,m . Schlueter和m . Munetomo”level-wise负载均衡的科学工作流执行优化使用NSGA-II”学报2017 17 IEEE /集群ACM国际研讨会上,云计算和网格计算(CCGRID),第889 - 882页,马德里,西班牙,2017年。视图:出版商的网站|谷歌学术搜索
7. e . Zitzler m·劳曼和l .蒂埃尔SPEA2:提高强度帕累托进化多目标优化算法。进化方法设计优化和控制应用到工业的问题,2001年。
8. k . Deb, A .普拉塔普,美国阿加瓦尔和t . Meyarivan”一个快速和精英多目标遗传算法:NSGA-II,”IEEE进化计算》第六卷,没有。2、182 - 197年,2002页。视图:出版商的网站|谷歌学术搜索
9. g . Scherp一个模型驱动的科学工作流框架工程(论文、论文)奥尔登堡大学、基尔计算机科学系列,德国,2013年。
10. b . Ludashcer m . Weske t。麦克菲利普,凉亭,“科学工作流:一切照旧?“在第七届国际会议上业务流程管理学报,2009 BPM页,31-47施普林格,2009年。视图:谷歌学术搜索
11. n .斯k . Deb,“使用nondominated排序遗传算法多目标函数优化,“进化计算,卷2,不。3、221 - 248年,1995页。视图:谷歌学术搜索
12. c . Chitra多目标进化算法的性能比较QoS路由问题计算机网络(论文、论文),2011年。
13. s . Kushwaha多目标优化集群措施微阵列癌症数据使用基于遗传算法的模糊聚类(论文、论文),国家理工学院Rourkela,印度,2013。
14. 亚马逊的服务,云。https://aws.amazon.com/ec2/instance-types/,2017年。
15. 及格分数基准,CPU。https://www.umed.pl/zp/pliki/11412.pdf,2017年。
16. j·诺尔斯·d·科恩:“帕累托存档进化策略:一个新的基线帕累托多目标优化算法,”美国国会在99年进化计算(CEC),1卷,第105 - 98页,1999年7月。视图:出版商的网站|谷歌学术搜索
17. e . Zitzler”进化多目标优化算法:方法和应用博士论文ETH 13398年”瑞士联邦技术研究所(ETH)苏黎世瑞士,1999年。视图:谷歌学术搜索
18. F.-M。De Rainville F.-A。福丁,M.-A。加德纳,m . Parizeau, c .赢”DEAP: Python进化算法框架”学报》第14届国际会议上的基因与进化计算,GECCO”12,页85 - 92,美国,2012年7月。视图:出版商的网站|谷歌学术搜索
19. s . Bharathi a . Chervenak e . Deelman g·梅赫塔·m·苏和k . Vahi“表征的科学工作流,”学报第三工作流支持大规模的科学研讨会(08年工作)IEEE 10 p。1日,2008年11月。视图:出版商的网站|谷歌学术搜索
20. m .田中和o . Tatebe工作流调度,以减少数据移动使用图分区、多约束条件的”学报》第12届IEEE / ACM国际研讨会上集群,云计算和网格计算,CCGrid 2012加拿大,页65 - 72年,2012年5月。视图:出版商的网站|谷歌学术搜索
21. m·t·詹森”,减少了运行时多目标EAs的复杂性:NSGA-II和其他算法,”IEEE进化计算,7卷,不。5,503 - 515年,2003页。视图:出版商的网站|谷歌学术搜索
22. c, h·罗,z, x,, y,“最后期限保证电网调度的科学工作流应用程序增强,”电脑杂志》(芬兰),8卷,不。4、842 - 850年,2013页。视图:出版商的网站|谷歌学术搜索
23. Kaur p和s·梅塔”,资源配置和工作流程调度云使用增强打乱青蛙跳算法,”杂志的并行和分布式计算卷。101年,每周,2017页。视图:出版商的网站|谷歌学术搜索
24. d . Poola s . k . Garg r . Buyya y,和k . Ramamohanarao“鲁棒调度的科学工作流与云、期限和预算限制”学报》第28届IEEE国际会议上先进的信息网络和应用程序,IEEE AINA 2014加拿大,页858 - 865年,2014年5月。视图:出版商的网站|谷歌学术搜索
25. 李k, l·张,c,和k·李,“Bi-objective工作流调度的能源消耗和异构计算系统的可靠性,”信息科学,2015年。视图:出版商的网站|谷歌学术搜索

版权

版权©2017 Phyo Thandar Thant等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。