文摘

我们考虑一个云数据中心,服务提供者所提供的虚拟机(vm)主机或物理机器(PMs)的用户以随需应变的方式计算。云数据中心,我们提出基于任务的任务合并算法分类(即。计算密集型、数据密集型和资源利用(例如,CPU和RAM)。此外,我们设计一个VM合并算法来平衡任务执行时间和能源消耗在不违反一个预定义的服务水平协议(SLA)。与现有的VM整合研究或调度应用没有或单一阈值方案,我们专注于双阈值(上、下)计划,用于虚拟机整合。更具体地说,当一个主机运营与资源利用率低于阈值越低,所有主机上的虚拟机将将迁移到其他主机,然后主机将会关闭,而当一个主机运行资源利用率上阈值以上,一个VM将迁移到避免使用100%的资源利用率。根据实验与实际业绩评估的痕迹,我们证明我们的任务分类基于节能意识整合算法(TCEA)达到一个重要的能源减少不引起预定义的违反SLA。

1。介绍

如今,云计算已经成为一种有效的范例提供计算能力作为服务基于一个现收现付模式1),很多研究都是云计算在不同研究领域进行的,如容错和服务质量(QoS) (2,3]。同时,虚拟化已经被吹捧为一个革命性的技术将云数据中心(例如,亚马逊的弹性计算云和谷歌的计算引擎)(4]。利用虚拟化技术、云应用运行在虚拟机(vm)已经成为一种有效的解决方案整合数据中心因为数据中心被发现的利用率很低,通常从10到20% (5]。换句话说,一个主机(物理机)可以同时运行多个虚拟机,虚拟机可以动态迁移的动态迁移操作,导致资源利用率高。数据中心的另一个问题是高能源消耗,导致大量的二氧化碳排放(约2%的全球温室气体排放)。一个典型的数据中心消耗能量25000户家庭一样(6]。在这方面,一个高效的能源消耗在nonvirtualization战略环境(智能电网)进行了7]。

随着虚拟化技术(8,9)已经成为流行广泛,组织或公司开始建立自己的私有云数据中心使用硬件。在这方面,存在一个VM需要设计更加高效和有效整合技术来减少能源消耗在云数据中心。最简单的方法实现能源减少云计算环境是最小化物理机器的数量(PMs)分配更多vm的一个点。然而,这个解决方案可能会导致高度的服务水平协议(SLA)违反当每个VM需要主人的有限资源。此外,CPU利用率和功耗之间的关系不是线性的,如图1。多CPU功耗的增加线性随着利用率的增加而增加。更重要的是,当CPU利用率超过90%,功耗跳跃很快由于建筑设计和涡轮推进功能。换句话说,性能功率比(10)展品次线性增长,因此,下午就把许多vm使用100%的CPU并不总是最好的解决方案在性能方面,能源消耗和违反SLA。我们把英特尔i5和i7处理器在我们的实验中,而不是cpu服务器类图1,因为,对于中小型企业来说,使用商品硬件像英特尔i5和i7构建一个私有云是提供负担得起的和可以实现的11]。

在本文中,我们提出一个新的VM和任务整合机制在云计算环境中。该方法是基于任务分类,我们把云任务分为两类:计算密集型、数据密集型任务。并非计算密集型任务指computation-bounded应用程序。这样的应用程序将他们大部分的执行时间来满足计算需求与I / O和通常需要小卷的数据,而数据密集型任务是一个I / O密集型应用程序需要处理大量数据。这样的应用程序将他们大部分的I / O处理时间,运动,和操作的数据。我们的方法的基本思想是双重的。一是当我们需要迁移云任务由于移民政策,我们赞成移民并非计算密集型任务,而不是一个数据密集型计算密集型任务的任务自迁移时间短于数据密集型的任务。为了迁移数据密集型的任务,需要移动数据进行处理,这将生成的数据通信开销。然后,我们更喜欢没有计算密集型任务,因为数据密集型任务的目标VM消耗更少的CPU资源,从而提供一个舒适的计算密集型任务执行环境。另一个是使用双阈值方法(即。, upper threshold and lower threshold) for VM migrations and optimization. When a VM’s utilization is either above the upper threshold or below the lower threshold, the VM is scheduled for migration. Our double threshold approach is different from previous work in that no algorithm is proposed to use the upper and lower thresholds simultaneously in an effective way to the best of our knowledge. With an extensive measurement observation, we identified that there is much room for optimization by balancing performance and energy consumption.

我们的工作不同于在文学传统的调度算法设计和实现一种新的整合机制基于任务分类的方法。我们开发相应的任务调度和虚拟机分配算法云任务执行的虚拟数据中心。

总结了本文的主要贡献如下:(我)我们设计了一个云数据中心节能意识整合机制基于任务分类,同时保护性能和SLA保证。(2)我们开发了一个云计算任务调度和VM分配算法,解决问题何时以及如何迁移任务和VM的节能方式。(3)制定一个双阈值算法进行进一步的优化来提高功率比的性能。(iv)我们进行了一个全面的分析和绩效评估基于实际工作负载的痕迹。

本文的其余部分组织如下。部分2描述了我们的研究动机和整合我们的直觉在虚拟化云。节3,任务分类建立节能意识整合调度机制和其背后的主要原则。给出了实验和性能分析4。相关文献总结了部分工作5。最后,部分6总结了纸。

2。动力和基本思想

随着虚拟化技术得到了广泛的应用,它很容易可以构建一个私有云计算环境中使用开源基础设施即服务(IaaS)解决方案和硬件(例如,桌面级cpu和外围设备)。图2显示了矩阵乘法基准程序的执行时间和CPU利用率及其性能功率比英特尔i5 - 3570和i7 - 3770 CPU。与CPU利用率低于50%,从CPU性能获得明显的随着CPU利用率增加功率比显示的性能。然而,当CPU利用率在50%以上的性能功率比次线性增长。这意味着使用高CPU利用率并不总是一种节能的方式执行任务。即使我们使用涡轮增加功能,动态电压和频率的比例(dvf)技术,高频的CPU操作的性能收益不大考虑功率比的性能。

因此,我们设计的另一种方法使用一个阈值的CPU利用率,以便主机管理几个虚拟机不超过一个预定义的CPU利用率阈值。当主机超过阈值,我们整合算法决定迁移的一个任务或vm主机到另一个如图3。每个任务分为C-task(并非计算密集型任务)或D-task(数据密集型任务),假定使用25%的资源或利用一个VM在本例中为简单起见。注意的任务分类机制C-task D-task是在下一节中解释。假设VM的阈值是75%,在VM任务1和VM 8应该迁移到未充分使用VM。为例,有C-tasks D-tasks VM,我们整合算法选择C-task迁移和优先选择一个目标VM迁移以来没有C-tasks C-task相比需要更短时间D-task和迁移D-task介绍主要主机的I / O瓶颈。案例B,只有D-tasks但C-tasks,我们只考虑为目标,充分利用VM无视任务运行在目标VM的类别。迁移任务,有许多流行的软件和管理技术,如openMosix,它是一个Linux内核扩展,允许流程无缝迁移到其他节点。

另一方面,选择一个合适的阈值是一个重要的因素,影响整体性能之间有一个权衡阈值和SLA违反。图4显示各种移民政策的权衡。显然,导致降低能源消耗,降低阈值,但它会导致违反SLA,意味着用户的请求任务不能保证成功preagreed指标。在压缩的情况下,没有主机,可以承受额外的虚拟机和点到VM的比率很低,这是更可取的阈值更高,然而,在稀疏的情况下,那里有许多免费的主机可额外的虚拟机和点到VM的比率很高,它允许在较低的阈值,但能源消耗和浪费资源。后一种情况而言,我们使用双阈值方法来减少能源消耗,而导致整个SLA违反尽可能少。资源类型的系统CPU,内存,存储,网络,等等。其中,CPU是影响能源消费最主要的因素12]。在本文中,我们专注于为移民政策,让CPU利用率将其他类型的资源集成到移民政策未来的工作。

3所示。基于任务分类的节能意识整合算法(TCEA)

如图5,我们考虑一个典型的云数据中心与云门户。当用户提交一个任务到云门户,TCEA首先执行一个任务分类过程基于任务和历史日志的配置。任务分为计算密集型、数据密集型。然后,这个任务分类信息,我们将任务分配给一个适当的VM和巩固VM在数据中心的节能意识。之后,TCEA定期检查主机与一个预定义的阈值,这样不必要的主机断电后他们的虚拟机迁移到别人,同时保持SLA。我们提出的算法的详细描述如下所示。

(一)双阈值方案。我们的合并算法是基于双阈值方案。为了节省能源消耗的云数据中心,可以考虑使用最小数量的主机CPU利用尽可能多的vm。然而,这种方法并不是一个能源效率的解决方案,因为它忽视了功率比的性能。因此,TCEA使用上面的阈值,以防止加热cpu。另一方面,当许多主机随和的作为一个整体,有必要减少活动主机通过合并来节省能源消耗多余的vm。为此,我们采用较低的阈值。与阈值越低,TCEA定期检查主机和虚拟机是否需要VM或任务整合。例如,如果一个主机运行CPU利用率低于低阈值,我们将vm主机迁移到其他主机只要有vm主机,以适应可用没有限制vm的自由。记住这些,重要的是要选择适当的双阈值方案,也就是说,上阈值和较低的阈值,在考虑性能和能耗之间的权衡。 To determine the conditions of suitable threshold values, we conduct several experiments in Section4。

(B)任务分类器。与以前的工作不同,我们考虑一个任务的特征整合云数据中心。为此,我们把一个任务分类器模块分类任务到computational-intensive或数据密集型任务。当用户提交一个任务时,它检查历史日志文件之前检查是否已经完成。如果是这样,TCEA使用前面的分类信息没有执行任务分类过程。如果不是,它执行所示的任务分类过程的算法1。

分类任务的任务分类器函数的标准是基于通信计算比(13]。通过检查任务的执行时间和任务传输时间,它把任务相应的队列中。换句话说,当计算时间大于任务传输时间的任务,任务分类器使居民。否则,被认为是数据密集型的任务。任务的分类信息也存储在存储以供将来使用。

(C)任务分配。在执行任务分类过程之后下一步是将任务分配给合适的vm。在分配任务时,TCEA首先尝试找到一个主机所示的利用率相对较低的算法2。然后,它会检查所有的虚拟机主机通过计算计算密集型任务的数量。VM的VM,最少的计算密集型任务可以计算密集型任务时。迭代这一阶段后,任务分配函数选择一个VM的任务。

当数据密集型任务的类型,TCEA并不关心任务寻找目标vm的类型。唯一的考虑是任务运行在虚拟机的数量。因此,它发现一个VM运行的最低数量的任务,以平衡负载。优化的任务分配功能任务迁移到另一个虚拟机。在这个阶段,我们支持计算密集型任务迁移因为迁移数据密集型任务是低效的。换句话说,迁移数据密集型任务需要更多的时间比迁移计算密集型任务,因为它需要移动数据的数据密集型任务。当找到一个重主机,TCEA喜欢一个VM运行计算密集型任务最多的迁移。这是基于这一事实迁移并非计算密集型任务更有效率比迁移数据密集型任务迁移的数量和利用率变化。一次任务是选择移民,下一步就是选择一个目标VM。有两个条件,选择一个目标VM。 One is CPU utilization and the other is the number of computation-intensive tasks. Among VMs whose host’s CPU utilization is low, a VM that runs the least number of computation-intensive tasks will be chosen for the target VM. Then, the task is scheduled to be migrated accordingly.

(D)整合的vm。虚拟机整合,必须处理和管理虚拟机和主机双阈值选择的方案。算法3详细显示了虚拟机整合TCEA。当一个主机的利用率高于上阈值(即。,overutilized hosts), TCEA chooses a VM to be migrated considering the number of computation-intensive tasks. The more computation tasks a VM has, the more likely the VM is to be a source for migration. Once a source VM is selected, a target host selection phase is performed. Since a source VM will occupy a large portion of utilization, it is preferable to choose a target host whose utilization is relatively low. Therefore, the chosen target host may have fewer numbers of computation-intensive tasks than others. On the other hand, when managing underutilized hosts chosen by the lower threshold, all the VMs in the host will be migrated to hosts whose utilization is normal across the data center. The reason why TCEA chooses normally utilized hosts as migration targets is to exploit the performance to power ratio. Choosing a host of full utilization as a target will result in more energy consumption and consolidation management overheads. For example, when a host becomes overutilized and is chosen as a target host, TCEA will perform redundant load balancing operations.

(E)建立节能意识任务分类整合算法(TCEA)。算法4涵盖了我们的整体整合和调度方案。注意程序的行(1)-(6)收到一组任务的触发和线(7)-(18)定期执行。任务分类器功能和任务分配函数负责在TCEA整合和管理任务。TCEA监控虚拟机和主机在云数据中心的状态更新。使用预定义的值包括上、下阈值、TCEA维护,,_较低的的主机。平衡性能和能耗,vm和_较低的将迁移到。值得注意的是,选择合适的值的阈值,降低阈值,和数量的虚拟机迁移影响TCEA的性能。在下一节中,我们验证TCEA能源效率与这些参数和性能。

4所示。绩效评估

在本节中,我们目前的实验结果证明TCEA减少能源消耗的性能通过管理虚拟机整合而实现SLA的满意度。作为输入,我们使用真正的任务跟踪(Intel Netbatch日志(14])和工件固定组合的计算密集型任务的任务日志和数据密集型任务。实验中,我们假定有100主机和虚拟机中运行的云数据中心,除非另有指定。主机配有四核CPU (i7 - 3770) 4 GB的RAM和千兆以太网。用户可以指定虚拟机的类型,如个vCPU数量、内存和存储容量。否则,一个默认的虚拟机设置1 GB的RAM和1个vCPU使用。

在这个实验中,我们分析的运行时TCEA不同上阈值从100%降至60%。我们进行这个实验上面提到的真实世界的数据集。在图6,设在表示上阈值和设在代表了能源消耗,虚拟机迁移的数量,和主机关闭。虚拟机迁移的数量和主机关闭的数量不断下降,上阈值降低。与降低阈值,可用主机往往仍然活着因为VM应该驻留在主机的利用率低于阈值,因此,虚拟机迁移的数量也减少了。对能源消费,90%是最优的。这表明(1)尽管主机100%的上限阈值保持更多的VM, 100%不是最好的阈值由于性能功率比,(2)即使主机关闭峰的数量上阈值的100%,减少能源使用降低阈值(90%)占主导地位的主机关闭的数量,和(3)虚拟机迁移的数量减少的概率上阈值较低,因为找到满意的目标VM也得到了降低。剩下的实验中,我们使用90%的上限阈值,除非另有指定。

稀疏的情况下,有很多免费的主机为额外的虚拟机和点到VM的比率很高,我们设计一个优化算法从充分利用主机迁移虚拟机到其他人和关闭主机,从而减少能源消耗。为此,我们使用一个较低的阈值,这样vm主机低于低阈值将被迁移到其他主机,然后主机被关闭。图7显示了能源消耗,虚拟机迁移的数量,和主机关闭的数量不同低阈值(例如,0.8设在意味着20%的低阈值选择的主机)。与默认(没有执行任务分类),TCEA平均减少了14.05%的能源消耗。当低阈值是50%,违约和TCEA达到峰值之间的区别。对能源消耗,虚拟机迁移的数量,和主机关闭的数量,我们使用50%的低阈值的实验,除非另有指定。

验证低阈值的有效性,我们进行另一个实验显示能源消耗,虚拟机迁移的数量,和主机关闭虚拟机的数量比率通过增加虚拟机的数量和主机(意味着一个vm和50 100主机的默认设置)。注意,在这个实验中,0.9万军之VM比率意味着10%的利用率低于低阈值将被关闭虚拟机迁移。如图8,大约50%的VM比率在能源消耗方面,适合我们的目标VM迁移的数量,数量的主机关闭和SLA侵犯。比率低于0.5导致违反SLA;因此,我们不要使用比率低于0.5。

调查TCEA带来的相应的改进的双阈值方案,我们比较的性能TCEA(双阈值)与单一阈值方案和默认(没有阈值和任务分类)设置。在这个实验中,我们使用真正的任务跟踪日志和工件为固定组合的计算任务日志和数据密集型任务。在图9痕迹,“工作”表示真正的任务,Job_c只显示计算密集型任务,Job_d只显示数据密集型任务,Job_cd表明50%的和50%的数据密集型计算密集型任务的任务。

如图9没有区别,结果与默认设置(没有阈值)在能源消费方面,因为一个阈值方案不适用。然而,我们离开他们的比较。双阈值方案节省了47.6%的能源相比,默认设置。单一阈值方案,90%和100%,但没有很大的区别有多个VM迁移操作上阈值的100%,导致管理费用。工作类别(工作,Job_c,Job_d,Job_cd),Job_d显示了一个小单阈值的性能影响,因为它使用相对较少的CPU利用率,和Job_cd性能改进当单一阈值在80%以上。双阈值的结果显示了使用单一阈值相似的现象。然而,双阈值方案进一步减少了14.2%的能源消耗,相比单一阈值方案。

实现最优性能的一个重要需求的虚拟云环境是找到适当的每个点的虚拟机数量。在这种环境下,点到VM的比例影响总体性能。验证点比VM的影响,我们比较阈值方案(默认情况下,单身,和双)。双计划达到最大的能量减少,其次是单一方案和默认方案如图10。双阈值方案节省能耗11.3%和27.2%比较单一和违约,分别。虚拟机迁移的数量,有些点双阈值方案展示更多的VM迁移比单一阈值方案,但它稳定当点到VM的比例是1:9或更多。此外,双阈值方案总是优于对主机关闭的数量。

测量经前综合症和vm的可伸缩性,我们增加经前综合症和vm的数量从1:2到10:20,如图11。正如所料,TCEA消耗更少的能量17.9%平均比默认方案和数量默认计划关闭的数量。虚拟机整合,TCEA更多的虚拟机迁移。任务的可伸缩性,我们比较能耗通过增加任务日志大小如图10倍12。与默认的方案相比,TCEA消耗更少的能量平均15.8%。显然,TCEA VM迁移和主机关机操作比VM的默认方案整合。

5。相关工作

我们在三个角度总结了相关工作:在数据中心和云资源分配和调度,基于阈值的方案有不同的目标,并在数据中心节能。平衡能源消耗和VM利用率,作者的10用性能功率比。时间表虚拟机动态迁移和合并服务器在云。他们比较他们与三种不同的算法,包括算法dvf算法使用真实的跟踪日志文件。的作者(13)提出了一个标准划分计算密集型任务和数据密集型任务使用通信计算比例。这个任务分类的基本原理是采用基于任务或工作流资源分配方法来提高性能。

在[15),他们开发了一个节能意识调度,以减少总处理时间vm precedence-constrained条件,尽管下午最大化的利用考虑通信成本。在[16),他们提出了一个预测算法寻找重服务器和主机和虚拟机的最佳算法。结果表明,该算法减少迁移操作,重启服务器,和能源消耗,实现SLA保证的。分离机制的I / O任务在一个批处理中执行计算密集型任务在虚拟化服务器减轻虚拟化管理费用提出了(17]。因为能源消耗和违反SLA的频率决定服务质量(18],在这篇文章中,我们平衡能耗之间的权衡和SLA违规使用双阈值方案基于策略的分类和上述研究都没有考虑节能目标任务上下文中的分类。

数据密集型工作流,大部分的能源消耗占存储和检索数据,作者的19考虑不使用dvf。相反,他们安装和使用一个独立的节点存储数据密集型任务。他们努力减少能源消耗,减少数据访问,然后通过增加通信计算比率进行评估。的作者(20.)提出了一种虚拟机调度算法与dvf减少能源消耗。通过动态调整时钟频率和其相应的电压,它导致能源减少闲置和计算阶段。在[21),他们提出了一个基于优先级的调度算法与dvf和重量。它增加服务器的服务器的资源利用率减少能源消耗。在[22),他们用阈值一个VM迁移到另一个主机。当一个主机的利用率低于阈值,所有的虚拟机都属于主机将迁移到其他主机保存闲置能耗。此外,一些vm将迁移当主人的利用率超过一定的阈值,以避免违反SLA。服务框架,该框架允许监测能源消耗和节能的方式配置vm的适当位置设计在23]。

各种CPU整合技术包括dvf、动态电源关闭(DPS),核心级功率控制(CPG)介绍了24]。的作者(25)使用vm迁移和考虑资源的阈值,温度,和网络条件的优化。他们认为移民时间减少虚拟机的数量,同时都在移民方面的进步。的作者(26)设计了一个资源分配能源利用启发式VM的VM初始位置,选择移民政策和移民政策在虚拟化的云计算环境。的作者(27)开发了一个云应用程序级别的资源分配方法。在应用程序的角度来看,它为应用程序分配虚拟资源和基于阈值的动态资源分配算法来提高资源利用率。在[28),他们开发了一个虚拟机放置算法基于进化博弈论。根据他们的实验中,当数据中心的负载超过50%,优化是不必要的。

然而,这些云的设计目标和实现方法数据中心调度器和合并算法不同于TCEA以下几方面。首先,这些云数据中心调度器的目标是实施基于公平的资源分配策略或优先级共享资源的大规模云数据中心中虚拟机,而TCEA旨在改善能源消费和迁移虚拟机在运行时动态任务的性能。第二,我们扩展单一阈值方案进一步提高总体性能和能量消耗通过合并双阈值方案和任务分类。最后,他们都不能解决的最大利用率问题,主机关闭问题的一种有效的方式,而TCEA需要考虑性能功率比和雇佣主机关闭机制,充分利用主机上虚拟机迁移,同时保持违反SLA。

6。结论

随着绿色IT及其相关技术最近已经收到关注,减少云数据中心的能耗是一个要解决的关键问题,从而减少二氧化碳足迹。在本文中,我们提出两种整合机制为云数据中心。一个是任务整合基于任务分类(计算密集型、数据密集型),另一个是虚拟机整合使用双阈值方案(上、下)。我们优化能源消耗在一个虚拟化的数据中心不是资源利用率最大化,而是平衡资源利用适当迁移虚拟机的主机。我们证明我们的任务分类建立节能意识整合算法(TCEA)实现重大能源减少不引起预定义的违反SLA。

相互竞争的利益

作者宣称没有利益冲突。

确认

这项研究受到了基础科学研究项目通过韩国国家研究基金会(NRF)由科技部,ICT和未来规划(NRF - 2015 r1c1a2a01054813)。