自适应云环境中基于成本的任务调度

文摘

在云计算任务执行需要获取远程数据中心存储的数据。虽然这个存储过程可以减少用户的计算机的内存限制,时间期限是一个严重的问题。本文提出了自适应基于成本的任务调度(行为)提供数据访问虚拟机(vm)在规定期限内不增加成本。行为选择成本的考虑数据访问完成时间访问数据的有效路径。分配数据访问路径,完成数据访问时间的均值和方差计算考虑网络服务时间和到达率的网络输入/输出请求。然后基于任务优先级分配给删除任务的数据访问时间。最后,数据路径的成本分析和基于任务优先级的分配。最小成本路径分配给低优先级任务和快速访问路径分配高优先级任务,以满足最后期限的时间。因此有效的任务调度可以通过使用行为。实验结果进行的执行时间,计算成本、沟通成本、带宽、CPU利用率证明该算法比最先进的方法提供了更好的性能。

1。介绍

云计算是一种很有前途的技术,为客户提供高效的服务在一个遥远的虚拟平台基于即用即付的模型。云计算的定义由NIST (1)如下:云计算是一个模型,使无处不在,方便,按需网络访问共享计算资源可以供应和提供最小的交互。云计算等基础设施,提供不同类型的服务请求的软件,平台用户提供特定服务的价格。云服务使用互联网和中央远程服务器来维护数据和应用程序。云计算允许消费者和企业使用应用程序没有安装和访问他们的个人文件在任何一台电脑上网。这种方法提高了计算过程,如数据存储和处理。云是部署在不同的模型:公共云、私有云、混合云,社区云计算和分布式云是一些例子。

面向服务的体系结构是云计算的基本原理,认为一切都在云服务2]。“基础架构即服务”(IaaS)是服务提供物理机器(PM)或虚拟机(VM)处理资源的用户,数据分区、扩展、安全、备份过程。平台即服务(PaaS)为供应商提供了平台开发的应用程序包括数据库、web服务器、和发展的工具。软件即服务(SaaS)提供电子邮件服务,虚拟桌面、通信流程和游戏应用程序。服务通常是有偿服务的价格是固定的由服务提供者根据顾客的使用水平。云服务的价格相比非常少的其他安装服务。

在云计算中,物理机器执行的任务(PMs)或虚拟机按照任务要求。的执行任务所需的数据和服务存储在多个遥远的存储单元称为数据中心也使用特定的成本(3]。当在处理机器,执行任务所需的数据要求,从数据中心获得。数据中心的数据已经达到特定时间内的虚拟机总是访问完成时间。这个过程是数据的问题是通过特定的访问路径约束的计算和存储成本。因此有可能出现两种情况之一:为了获得数据,必须牺牲或成本,为了降低成本,数据访问的延迟已经被接受。这个问题降低了调度的整体性能。

为了克服数据访问的问题,提出了一种自适应基于成本的任务调度(行为)在这篇文章中,这样的数据在需要的时间得到及时和负担得起的成本路径。该方法估计完成时间访问数据(13VM)所需的机器在执行特定的任务。然后每个可能的路径是估计的成本的总和计算、通信和存储成本(14)的路径。使用数据访问的完成时间的优先级分配的任务。路径与高成本,但快速的数据访问分配给任务高优先级和低成本的路径分配给低优先级的任务。因此数据路径可以自适应地选择有效地降低整体成本和交付数据所需的时间。

本文的其余部分总结如下:部分2简要解释了相关的研究,提出了调度方案的分析。部分3介绍了方法使用。部分4提供了实验结果和讨论。部分5总结了研究。

2。相关的工作

云调度器是cloud-enable分布式资源管理器。在云管理虚拟机创建一个工作环境执行。Hadoop MapReduce的FIFO调度程序,公平调度器在Facebook和容量调度程序在雅虎是典型的例子,为云服务系统效率和公平的资源管理,但这些调度器满足QoS(服务质量)的约束。因此,他们并不适用于软实时线程需要的应用程序和服务,这是越来越重要和必要的混合云环境中。本节的主要目的不是为了提出方法来克服目前在云任务调度的问题,但研究和分析当前的一些方法和专注于发现他们的缺点。

萨尼和Vidyarthi4)提出了一个具有成本效益的期限约束科学工作流的动态调度算法。网格中的工作流调度算法和集群有效,但不能有效地利用在云环境中由于随需应变的资源配置和现收现付定价模型。因此,使用一个动态调度划算deadline-constrained启发式算法被用来利用云的特点考虑虚拟机性能变异性和实例获取调度延迟来确定时间。方法的问题是,虚拟机失败可能会影响整个工作流执行时间。

蔡et al。5]提出hyper-heuristic调度算法(HHSA)提供有效的云调度解决方案。多样性检测和改进检测运营商利用这种方法来动态确定更好的低级启发式的有效调度。HHSA可以减少任务调度的时间,提高了调度的整体性能。这种方法的缺点是高开销的连接这可以减少调度的重要性,从而降低了整体性能。

朱et al。6)提出了一个基于主体的动态调度算法命名为天使的有效的任务调度虚拟云。在这种方法中,一种双向announcement-bidding机制和协作过程执行改善调度性能。为了进一步提高调度,弹性是动态添加虚拟机。计算规则生成提高投标过程,进而降低了延迟。这种方法的问题是,它会降低性能,因为它没有考虑通信和调度时间。

朱et al。7)提出了一种进化多目标(情绪)工作流调度方法减少工作流调度成本和时间等问题。由于工作流调度问题的特定属性,现有的遗传操作,如二进制编码、实值编码,和相应的运营商是基于他们的情绪变化。问题是,这种方法不考虑货币成本和时间开销的通信和存储。

Zhang et al。8]提出了一种细粒度的调度方法称为阶段和资源information-aware调度器MapReduce的MapReduce(棱镜)调度模型。MapReduce已经利用了它的效率在降低运行时间的数据密集型的工作,但是大部分的MapReduce调度器任务级别的基础上,设计解决方案,提供工作表现不佳。此外,任务调度器面临困难减少执行时间的工作。因此,棱镜是哪个任务分为开发阶段。每个阶段与一个常数资源使用概要文件执行调度阶段的水平。因此总体工作可以显著减少执行时间但工作会议的最后期限的问题阶段水平指定调度是一个严重的问题,需要注意。

朱et al。9)提出了面向实时任务的能源意识到(EA)调度EARH呼吁虚拟化云。该方法是基于rolling-horizon (RH)优化和创建的程序开发,迁移,取消vm实现实时动态调整云的规模期限和降低能源。EARH方法的缺点是周期分配给虚拟机的数量不能动态更新。

Maguluri和Srikant10)提出了一个调度作业调度方法与未知的云环境中的持续时间。工作的大小不仅认为是未知的到来,但也开始服务。因此throughput-optimal调度和负载平衡算法介绍了云数据中心,当作业大小是未知的。该算法是基于使用队列长度的权重max-weight安排的工作负载。

左et al。11)提出了自适应学习粒子群优化(SLPSO)基于调度方法的最后期限约束混合IaaS云任务调度。解决问题的方法满足高峰需求的保护利用PSO优化技术服务质量约束。的方法提供了更好的调度任务IaaS提供商的利润最大化,同时保证QoS。这种方法的问题是缺乏优先级确定导致失败的最后期限的任务。

调度任务在云计算环境中是一个挑战性的过程。在[12]苏等人提出了一个成本高效的任务调度方法,可以用于处理大型项目。但是性能的方法是不够的,因为它没有考虑调度完成时间和成本。

从文献发现重大问题在上面的描述方法是高成本消费特别是通信和计算的云数据中心的数据。无法满足最后期限,由于不恰当的数据路径分配任务调度时,是另一个值得关注的领域。分析各种调度方案列出如下。

2.1。分析调度方案

一般来说,有效的任务调度概念集群和网格不是有效的在云环境中。主要原因是在云计算资源提供随需应变和资源使用率的基础上提供。因此调度方法利用云的特性,以便有效地安排的任务没有时间延迟。在处理一个任务在一个VM,获得的数据需要从遥远的数据中心位于多个位置。随着任务期限的约束,获得的数据需要在特定时间内使用有效的调度方法。然而,云中的任务调度解决方案的最后期限约束导致新问题的成本。计算和存储资源的云环境中的基本资源成本模型。

表1显示了文学作品中描述的各种调度方案和他们的缺点。

可以有效地减少高成本的问题选择最小成本路径根据可用性的数据路径。问题是,并非所有的任务采取同样的执行时间这意味着一些任务需要数据比其他任务。但只使用最小成本路径时,数据将不得不等待队列或由于队列溢出可能会丢失。所以成本路径需要选择自适应期限约束的任务。这两个问题是本研究的重点。

3所示。自适应基于成本的任务调度

提出的自适应基于成本的任务调度(行为)在这一节中讨论。调度任务的vm使用该调度方法可以有效地执行。这项工作需要灵感来自苏等的工作。在工作中,成本有效的任务调度是认为使用总执行时间和总调度的货币成本。尽管执行时间和货币成本被认为是这个计划不能被视为有效由于原因,这两个因素是合作的因素。执行时间是任务完成的时间。这意味着执行时间包括时间的任务分配给一个VM直到任务的输出。然而,每个过程的时间消耗在任务执行不同,并不是所有人可以最小化。从这个意义上讲,所花费的时间获取任务执行的数据中心的数据大大高于所有其他任务执行的过程。同样,货币成本相结合的资源成本计算、通信、存储、数据传输、等等;在这些过程中,成本计算和通信通常高于其他成本。 But Su et al. considered only the combined factors for scheduling. Hence in the proposed ACTS we focused on specifically considering the individual processes as factors for scheduling. The major factors are数据访问完成时间,计算成本,和沟通成本。

需要处理的数据在VM或PM存储在遥远的数据中心。这些数据需要从数据中心获取到处理vm通过有效的路径。每个虚拟机的数据访问是一个独立的泊松分布与到达率的平均利率相关的网络I / O请求。数据访问驱动程序域处理(PM)的基础上提供访问先到用户,而其他用户等待队列中。的数据访问驱动程序的服务时间域表示任意分布。

数据访问完成时间被认为是测定数据路径的选择。计算数据访问的完成时间利用网络输入/输出请求的参数的物理机器。服务时间的均值网络I / O请求的经前综合症μ和服务时间的方差网络I / O请求的经前综合症。网络I / O请求的到达率的经前综合症。然后完成时间的数据访问可以使用的估计公式 到达率的网络I / O请求PMs可以计算 在哪里和是CPU时间的比例分配给现有的和新的虚拟机。和的到达率的网络I / O请求PMs的现有的和新的虚拟机。

任务执行的虚拟机(VM)获得云计算中心的数据通过数据访问路径。每个数据访问路径包含处理请求的资源和访问数据,还需要存储访问数据的存储资源。每个资源携带某些利用资源的成本。计算成本包括成本的资源执行I / O请求的数据访问和reaccessing相同的数据的成本。它还包括重新生成数据集的成本。沟通成本是总成本的资源用于I / O请求的处理。它可以表示为数据集的产品大小和网络流量的价格。

可能的成本数据访问路径进行了分析,以确定最小成本路径。可以估计每条路径的成本

计算成本和通信成本至关重要的确定具有成本效益的路径,因为这些资源处理I / O请求的vm。当VM执行任务,用于访问数据中心的数据,VM发送请求的访问。数据中心接收I / O请求,然后提供的数据的访问。

该行为考虑成本和数据访问的完成时间有效地调度任务。徒分配优先级任务完成时间的基础上。时间T被选为一个固定的时间和完成时间比较T确定优先级。低优先级的任务是那些有更多的完成时间,因此选择的路径减少总体成本的最小成本路径。这种方法低优先级任务的原因是因为可以在正常的时间内执行这些任务没有紧迫感。同样,高优先级的任务是那些需要完成时间较少,因此,路径中的数据提供更快的数据访问没有等待的最小成本路径选择。这可能会增加成本,但主要目的是获取所请求的数据,因此小的时间内的总成本的变化可以忽略不计。后的执行任务,估计CPU利用率和带宽利用率。

图1显示了建议的行为过程。这项工作重点调度的任务vm的最小成本路径减少数据访问的复杂性从云端数据中心。任务分配给轻负载的vm基于正常负载条件。任务分配给虚拟机访问来自遥远的云数据中心的数据。复发进行I / O处理的成本计算和预计完成时间的数据访问。然后计算CPU利用率和带宽利用率和更新连续执行任务。

例如,让我们考虑一下V任务与带宽的灵活特性,简单的数学程序随机存取内存(RAM)和每秒百万指令(mips)。这些参数的云任务是用户定义的,可以灵活选择。此外,模拟了在实时仿真环境(CloudSim)提供用户友好的行为。无优先任务相关的任务。

启动的虚拟机与现有的vm指示为云环境E和新启动的虚拟机放置。这是因为大的负载时,介绍了新的虚拟机。简单的数学程序执行的任务与基于启动代码长度不同。添加程序()与4位执行一次任务是重复达到规定的长度在选择任务。

现在让我们把任务v与米可用资源。最初可能执行的检查任务。所有的虚拟机都运行在并行和无关,每个VM运行在自己的资源。没有被其他vm共享自己的资源。我们安排无优先依赖任务vm。为每一个任务的到达率和计算。那么成本和计算每个数据路径吗d使用(2),(7)和(9)。方程的计算成本(7)估计费用的总和为运行一个任务在一个虚拟机的提供者(8),而通信成本(9)是产品所需的成本数据和入站网络流量的价格。根据完成时间,任务的优先级分配。然后基于和成本,路径排序。然后分配给每个任务的路径的轻负载的vm加载任务访问数据从云端数据中心在最后期限的时间。那么CPU利用率(11)和带宽利用率(12)计算确定系统的效率。这个调度程序是按照下面的算法。

任务调度算法1(自适应基于成本)。输入:虚拟机数量的任务输出:任务调度开始部署的物理机器。E=组现有的vm中云计算系统。N=组要创建新的虚拟机。组任务 。设置资源 。为每个任务,到达率 来使用(1) / /在哪里 和 是CPU时间的比例分配给现有的和新的虚拟机。 和 的到达率的网络I / O请求PMs的现有的和新的虚拟机。计算完成时间的数据访问使用(2) / /在哪里 是网络I / O请求的平均服务时间 , 服务时间分布的方差, 是网络I / O请求的到达率 结束了计算每个可能的数据路径的成本使用(3) 计算成本 的成本运行一个任务在供应商p与虚拟机被定义为 / /组的任务是在哪里 和是服务提供者。 是时间的最后期限 。 的运行时任务 。 运行成本是一个VM上吗 为一个时间单位。沟通成本计算 / /在哪里 是所需的GB的任务吗 和 入站网络流量价格每GB的提供者p。选择最小成本路径。将优先分配给任务。如果 其他的如果 )/ /是一个固定的时间与数据访问任务的完成时间进行比较来确定优先级;分析数据路径满足时间期限吗为任务;数据通路=;/ /路径有更快的数据访问满足时间期限,即使没有最低成本如果将任务分配给。估计CPU利用率 / /在哪里 CPU利用率; 是朵云计算的MIPS长度; 是MIPS CPU的配给; 是朵云的持续时间以毫秒为单位与MIPS CPU上执行时的评级吗 估计带宽利用率 / /在哪里 带宽利用率; 配额分配带宽; 传输的数据量在VM的生活; 是VM一生的时间等于VM虚拟机创建时间释放时间。更新在下一个迭代中虚拟机的特点。结束。

3.1。描述

任务V,虚拟机的数量,和虚拟机资源初始化. .一组现有的vm和新创建的虚拟机的设置被分配。对于每个任务,完成数据访问时间计算。类似的计算成本和沟通成本也计算为了估计每个数据路径的成本。使用完成时间和计算成本,沟通成本的路径,执行调度。任务分配优先级根据完成时间。少的高优先级任务完成时间分配快速的数据访问路径满足时间期限没有优先考虑成本。但对于高的低优先级任务完成时间的最小成本路径分配。然后执行任务的CPU利用率和带宽计算。

4所示。实验结果

实验进行评估的性能提出了自适应基于成本的任务调度和结果列表。成本有效的任务调度提出了(12)利用在这个工作性能比较不考虑成本和完成时间的数据访问和与该行为考虑成本和数据访问完成时间。实验进行使用CloudSim [15)工具。CloudSim模拟器已经扩展的类(覆盖)利用新写的算法。模拟器CloudSim之前打开的可能性评估假设软件开发一个可以复制测试环境。具体地说,在云计算的情况下访问基础设施所支付的货币,一个基于仿真的方法允许云客户来测试他们的服务的可重复的和可控的环境。此外它允许调优在真正的云部署前的性能瓶颈。方法的效率比较的计算成本、沟通成本,执行时间,CPU利用率和带宽。

任务和VM的数量被认为是灵活的用户需求,用户提供了内存,mips,随机在VM使用带宽值。适当的决心VM和任务的特点是高度推荐获得期望的绩效评估结果。VM特点如下:ram(256、312、712、856)字节;mips(330、370和400);带宽(700、750、800、900)比特每秒(bps)。同样,I / O密集型任务采取如下:长度(4、8、11、5、3、9和10);内存(256、312、378、280、436、553和375年)字节。一个I / O密集型任务执行的函数读取输入/输出数据,写入到文件中。这些值是用户提供的价值观和假设如果vm的数量是10,那么ram的结合,mips,带宽是随机抽取的。例如,在ram中10 vm,一个可能的值是256,312,712,856,256,312,712,856,256,和312年,分别。

4.1。计算成本

计算成本的成本计算需要利用的资源用于I / O请求的数据访问。它可以计算使用(7)。

图2显示现有的比较成本高效的完成任务调度不考虑时间和成本提出了自适应基于成本的任务调度(行为),考虑到完成时间和成本的计算成本。在设在,任务的数量而沿设在计算成本(价格)。当任务的数量是50,高效的任务调度成本计算成本2890,但该行为具有2534.8。因此该行为提供了更好的调度以最少的计算成本。

4.2。沟通成本

沟通成本是需要利用资源的成本之间的I / O请求和响应数据中心和数据访问的VM。它可以计算使用(9)。

图3显示现有的比较成本高效的完成任务调度不考虑时间和成本提出了自适应基于成本的任务调度(行为),考虑到完成时间和成本方面的沟通成本。在设在,任务而沿设在通信成本(价格)。当任务的数量是50,现有的成本有效的任务调度通信成本1100 946.6但提出自适应基于成本的任务调度。这表明该行为将消耗更少的成本比现有的方案。

4.3。执行时间

执行时间处理一个任务所需要的时间在一个VM。执行时间估计数量的产品执行每条指令的周期,每周期时间,指令的数量。

图4显示现有的比较成本高效的完成任务调度不考虑时间和成本提出了自适应基于成本的任务调度(行为),考虑到完成时间和成本的执行时间。在设在,任务而沿设在执行时间以毫秒为单位(ms)。当任务的数量是50,现有的成本有效的任务调度执行时间4.978毫秒,但该行为具有2.56 ms。这表明该行为可以减少整个过程所花费的时间。

4.4。CPU利用率

CPU利用率是指处理资源的使用或由CPU处理的工作量。CPU利用率变化取决于管理的计算任务的数量和类型。据估计使用(11)。

图5显示现有的比较成本高效的任务调度与拟议中的自适应基于成本的任务调度(行为)的CPU利用率。在设在,任务的数量而沿设在%的CPU利用率。当任务的数量是50,现有的成本有效的任务调度CPU利用率13.14%,但该行为的11.345%。这表明该行为具有更少的CPU利用率。

4.5。带宽利用率

带宽的数据量可以在固定的时间内传播。鉴于在比特每秒(bps)。据估计使用(12)。

图6显示现有的比较成本高效的任务调度与拟议中的自适应基于成本的任务调度(行为)的带宽。在设在,任务的数量而沿设在bps的带宽。当任务的数量是50,现有的成本有效的任务调度带宽240.98个基点,但该行为具有34.123个基点。

这样的实验结果很明显,该自适应基于成本的任务调度(行为),认为完成时间和计算成本和通信成本比现有的有效成本高效的任务调度。

5。结论

在云计算调度任务减少延迟和有效的成本管理是一个具有挑战性的任务。因此在本文中,自适应基于成本的任务调度(行为)提出考虑数据访问完成时间和成本数据访问。通过考虑这两个因素,可以从数据中心获取有效数据,可以提高调度性能。专注于提供数据访问的方法执行每个任务与维护成本。实验结果还表明,该自适应基于成本的任务调度提供了更好的性能在执行时间方面,计算成本、沟通成本和带宽、CPU利用率相比与现有的任务调度方法。

本文已经确定任务的执行任务调度需求和很具有挑战性的计划任务不确定的需求。这可能是由在未来利用高效的资源配置技术。再生的成本数据集不是计算行为,但它不是有效的异常情况,应考虑未来的研究。此外,还需要解决负载平衡问题提供高效的云计算服务,将是我们未来研究的范围。

相互竞争的利益

作者宣称没有利益冲突有关的出版。

引用

1. p .干预和t .光亮型”,NIST的云计算定义。”国家标准与技术研究院,53卷,不。6,p . 2009。视图:谷歌学术搜索
2. 问:张、l . Cheng和r . Boutaba“云计算:最先进的和研究的挑战,”《互联网服务和应用程序,1卷,不。1、7 - 18,2010页。视图:出版商的网站|谷歌学术搜索
3. k . Nanath r·皮拉伊,“云计算的成本效益分析模型”,国际技术和信息管理杂志》上,22卷,不。3、第六条,2013年。视图:谷歌学术搜索
4. j·萨尼和d Vidyarthi”,一个具有成本效益的deadline-constrained科学工作流动态调度算法在云环境中,“IEEE云计算,2015年。视图:出版商的网站|谷歌学术搜索
5. 黄c·w·蔡w·c·m·h·蒋介石m . c .蒋介石和c . s .,“云hyper-heuristic调度算法,”IEEE云计算,卷2,不。2、236 - 250年,2014页。视图:谷歌学术搜索
6. x朱、陈,l·t·杨和y,”天使:基于代理的实时任务调度虚拟云,“IEEE计算机,卷64,不。12日,第3403 - 3389页,2015年。视图:出版商的网站|谷歌学术搜索
7. z朱、张g、m·李和x,“云工作流调度多目标进化,”IEEE并行和分布式系统,27卷,不。5,1344 - 1357年,2016页。视图:出版商的网站|谷歌学术搜索
8. 问:张先生,m . f . Zhani女士说,y, r . Boutaba和b . Wong“棱镜:细粒度resource-aware安排MapReduce。”IEEE云计算,3卷,不。2、182 - 194年,2015页。视图:出版商的网站|谷歌学术搜索
9. 朱x l·t·杨,h·陈,阴,j . Wang和刘x”在虚拟化云能源利用面向实时任务的调度,”IEEE云计算,卷2,不。2、168 - 180年,2014页。视图:谷歌学术搜索
10. s . t . Maguluri和r . Srikant”与未知时间云调度工作,”IEEE / ACM交易网络,22卷,不。6,1938 - 1951年,2014页。视图:出版商的网站|谷歌学术搜索
11. x左、g . Zhang和w . Tan“自适应学习pso-based期限约束混合iaas云任务调度,“IEEE自动化科学与工程,11卷,不。2、564 - 573年,2014页。视图:出版商的网站|谷歌学术搜索
12. 苏,j .李问:黄,黄x k .双和j .王”的任务调度在云中执行大型项目,“并行计算,39卷,不。4 - 5,177 - 188年,2013页。视图:出版商的网站|谷歌学术搜索
13. J.-W。林,学术界。陈,彭译葶。林”,将QoS意识与虚拟化在云计算系统对延迟敏感的应用程序中,“未来一代计算机系统37卷,第487 - 478页,2014年。视图:出版商的网站|谷歌学术搜索
14. d .元,y, x刘et al .,”一个高度实用的方法实现最小数据集在云中存储成本,”IEEE并行和分布式系统,24卷,不。6,1234 - 1244年,2013页。视图:出版商的网站|谷歌学术搜索
15. r . n .卡列罗斯r .野生动物,a . Beloglazov c·a·f·德玫瑰,和r . Buyya”CloudSim:工具包对于云计算的建模和仿真环境和资源配置的评价算法,”软件实践和经验第41卷。。1,23-50,2011页。视图:出版商的网站|谷歌学术搜索

版权

版权©2016年穆罕默德a s Mosleh等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。