文摘

针对这个问题,一些节能意识的磁盘存储系统很容易超载,基于multiqueue动态负载平衡方法和热程度(MQHD)提出。数据显示人气,MQHD将数据划分为多个最近最少使用(LRU)队列的数据访问频率和访问时间局部性和使用热程度来衡量每个数据单元带来的负载压力磁盘。重载一个磁盘时,MQHD计算负载压力比(LPR)根据磁盘超载程度然后选择一些适当的数据根据LPR迁移。实验结果表明,与流行的数据集中方法相比(PDC), workload-adaptive管理方法(WAM),和能源模型文件迁移策略(EM-FMS), MQHD是最有效的。在给定的实验条件下,请求改变比率(RCR) MQHD的值是0.371,EM-FMS 0.2872, 0.0114。与EM-FMS相比,MQHD具有更好的速度和减少开销。

1。介绍

在一个中型数据中心,存储系统的能源成本可以高达每年7亿美元至9亿美元[1]。为了减少存储系统的能源消耗,能源利用各种类型的存储系统。大多数存储系统能源利用的实践是倾斜一些磁盘访问负载,以便其他磁盘输入一个低功耗待机状态或完全关闭实现节能2,3]。这种做法解决了存储系统的节能问题,但它也带来了副作用;即磁盘与扭曲负荷很容易超载,导致延迟响应的请求。重要的是这些磁盘的负载动态平衡,解决这些磁盘的过载问题,消除这种副作用。

动态负载平衡方法的基本原理是,当检测到一个磁盘超载,磁盘的热数据迁移到其他空载磁盘到磁盘不再是超载。动态负载平衡方法需要解决两个关键问题(4,5]:(i)如何识别热数据?(2)数据应该迁移一次多少钱?

针对这两个关键问题,基于multiqueue动态负载平衡方法和热程度(MQHD)提出。MQHD只能识别基于multiqueue热数据准确并保持热数据迁移对象,改善负荷调整的有效性,减少开销。此外,MQHD使用热程度来衡量每个数据单元带来的负载压力磁盘并进行批量数据迁移根据每个磁盘的负载状态,提高速度和负载调整的有效性。相比,实验结果表明,与当前流行的动态负载平衡方法存储系统能源利用,MQHD是最有效和有更好的速度和减少开销。

本文的其余部分组织如下。部分2总结了相关研究工作。部分3详细介绍MQHD。部分4验证MQHD。部分5本文总结和概述了未来的工作。

2。相关工作

为了防止磁盘存储热数据过载,流行的数据集中方法(PDC)估计,未来每个磁盘的负载。与文件相关的预期负载估计其大小除以平均访问时间间隔。定期PDC迁移数据到磁盘到磁盘的预期负载接近其最大带宽(6,7]。PDC是一个简单和方便的解决磁盘过载的问题,其开销小,但效果很难保证。当负载突然增加时,系统很难实时调整,效果很差。

为了实现负载平衡在热磁盘,存储系统能源利用的动态负载平衡方法命名workload-adaptive管理(WAM)提出了1]。当一个请求到达炎热的磁盘,WAM检查磁盘的请求到达速度是否大于过载阀值。如果是这样,将标记为热磁盘。接下来,为每个请求到达磁盘,WAM维修后定位请求的数据块,然后交流的数据块unaccessed unoverloaded磁盘的数据块。这样的交易将持续到磁盘的请求到达速度小于或等于目标阈值,然后热标签将从磁盘中删除。检测到磁盘的请求到达速度和比较它与过载阈值和目标阈值。如果磁盘的请求到达速度超过过载阈值,数据块将被交换到磁盘的请求到达速度小于或等于目标阈值。WAM总是可以使热磁盘的请求到达的速度小于或等于目标阈值,但交换只发生在磁盘的请求到达,而且只有一次交换请求的数据块,这使得它难以迅速和有效地消除过载热磁盘的状态(8]。

为了实现异构存储系统的负载平衡,能源提出了基于模型的文件迁移策略(EM-FMS) (9]。文件相关能源模型文件的访问数量,并发访问的情况下,大小,和访问时间间隔。EM-FMS决定一个存储单元触发文件迁移操作根据存储单元的可用带宽和概率迁移触发功能。所有存储单元触发文件迁移操作,EM-FMS选择能量密度最高的文件从当前访问的文件迁移。EM-FMS使用能源模型测量负载压力造成的存储系统文件,这有利于选择正确的移民文件。然而,过多的计算需要计算每个文件的能量值,从而导致大量的系统开销。同时,因为只有能量密度最高的文件选择移民,很难迅速消除过载过载的状态存储单元(10]。

因此,尽管上述研究工作取得了一些结果,高开销,速度低、存储能源利用的有效性问题的动态负载平衡系统尚未全面解决。

3所示。基于Multiqueue MQHD:动态负载平衡方法和热的程度

3.1。基于Multiqueue热数据识别

重载一个磁盘时,一些数据需要迁移的负载调整,所以它是重要的认识到热数据准确地选择适当的数据迁移。multiqueue (MQ)算法是一个被证明有效的缓存管理方法(11]。基于MQ算法的思想,提出了一种基于multiqueue热数据识别方法用于识别的数据迁移。

为方便描述方法,给出下面的定义。

定义1。热数据单元(二)。它指的是一个最近被频繁访问的数据单元。迁移的负载调整的对象。根据不同的接口水平节能意识的存储系统,一个数据单位代表一个数据块或一个文件中。

定义2。队列中。根据二胺二胺的流行,分为多个队列的访问频率和访问时间局部性。这些队列使用LRU规则安排二胺和代表 ,在哪里 显示队列的受欢迎程度。数量越大,队列的流行程度越高,等 。

定义3。生命周期(LC)。它指的是允许时间,二没有访问一个队列 。当一个二呆在一个队列超过信用证没有任何请求访问它,这二将退化到下一个低级队列 。如果这二胺是在队列中 ,它将从队列中删除。

定义4。到期时间(ET)。它指一个二的时候需要从队列删除。它等于时间之和这二最后一次访问和LC二胺。

定义5。逻辑。它指的是时间来衡量访问的数量。第一个磁盘的访问时间是1,第二个访问时间2。上面定义的LC和等是衡量逻辑。
基于multiqueue热数据识别方法描述如下:(我)系统维护多个LRU队列命名为 ,如图1。(2)当一个二输入一个队列,队列的最后二放置及其等设置为当前时间和信用证的总和,如图2。(3)每个队列的最大访问数。如果一个队列访问超过二胺次,然后将晋升为二胺的队列及其等将被设置为当前时间和信用证的总和,如图3。(iv)为每个访问、比较等每个队列的头二胺的当前时间。如果前者小于后者的队列二位于队列 ,二将搬到下一个低级队列,和其访问的数量将会减半,外星人是重置为当前时间+ LC,如图4。如果前者小于后者,二所在的队列的队列 ,二胺的访问的数量将被设置为0,二将被清除出队列,如图5。热数据识别算法的伪代码1描述如下。

3.2。热程度

认识到热数据后,应选择一定数量的二胺负荷的调整,这是与负载调整的速度。因为磁盘上的负载压力引起的每个二胺不同,负载压力需要通过一个适当的参数测量。摘要热程度作为参数,定义中定义6。

定义6。热程度(HD)。它反映了一个二胺带来的负载压力的程度在一定时期内一个磁盘。它是由(0,1)之间的数量。数量越大,二胺带来的更大的负载压力磁盘。的HDs和同一磁盘上的所有二等于1。
一般来说,高清的二胺与以下两个因素:(我)访问频率:二是更多的访问数量,近期更有可能被访问多次在未来时期,和它的高清更大。(2)时间频率:在过去的二胺经常访问的,但并不是访问在相对较长时间的将来不太可能被访问,和它的高清应该较小。换句话说,高清的二胺是经常访问最近应该更大。基于multiqueue热数据识别方法,访问频率二反映的队列数量,和哪些队列是由二胺放置 在上面的方程中,是队列数二的位置,二是访问的数量,然后呢是一种舍入的象征。
时间频率反映的LC二胺。为二没有LC期间访问,访问的数量将减半,年底要搬到下一个低级队列。如果这二胺是在队列中 ,它将从队列中删除。因此,在炎热的数据识别方法基于multiqueue,二的时间频率也是队列数量直接相关。
基于上述考虑,方程(2)用于计算二胺的高清。在相同的队列,HDs被认为是相同的。用来代表一个单一的高清二胺属于磁盘吗在队列 。 在上面的方程中,是队列数二的位置,是队列数,队列的数量,是二胺属于磁盘的数量吗在队列 。
为了测量带来的负载压力一定数量的二胺磁盘,使用负载压力比。

定义7。负载压力比(LPR)。它指的是一定数量的二胺带来的负载压力磁盘。其价值选择的是高清的总和值二胺属于一个磁盘。所示的计算方程方程(3)。 在上面的方程中,是队列数二的位置,队列的数量,是二胺属于磁盘的数量吗从队列中选择 。

3.3。MQHD方法

MQHD方法决定了重载磁盘根据每个磁盘的负载状态,计算LPR根据超载程度的每个重载的磁盘,并选择合适的数据迁移根据LPR二胺。每个迁移,MQHD认为笼罩新的负载过载状态磁盘的磁盘轻负载的负载迁移对象,从而确保负载的动态调整。

MQHD使用测量负载状态的磁盘 。根据实际情况,可以请求的平均响应时间,磁盘的请求队列长度,系统吞吐量等(12]。

为了确定一个磁盘需要迁移的数据或数据是否可以迁移到磁盘,使用两个阈值,即负载过载(OL)和安全(SL)。规定如下:(我)如果 ,这意味着磁盘是超载,需要数据迁移。(2)如果 ,这意味着磁盘有一个轻负荷和数据可以迁移。(3)如果 ,这意味着负载的磁盘在于滞后地区;没有必要迁移数据,不能迁移数据。通过设置滞后地区,它可以有效地避免这种情况,同一块数据迁移来回相同的磁盘。

为了确定需要迁移的二胺,超载数量和安全裕度的概念,介绍了定义如下。

定义8。过载。的比例和 ,在哪里负载过载的磁盘吗 ,用 。
可以通过方程(表示4)。

定义9。安全裕度。的比例和 ,在哪里负载轻载的磁盘吗和负载过载的磁盘吗 ,用 。
可以表达的 重载的磁盘,二胺引起的负载压力由LPR测量。因此,LPR二值计算需要迁移 在上面的方程中,是LPR值的二胺需要迁移的重载磁盘吗 ; 是移民的调整系数。用于调整过载数量和LPR之间的对应关系,它是根据调整调整效果动态调整过程中,初始值是0.8。
空载磁盘,LPR可以迁移到二值计算 在上面的方程中,的LPR价值二胺可以迁移到空载磁盘吗 ; 是移民的调整系数。是用来调整安全裕度和LPR之间的对应关系,它是根据调整调整效果动态调整过程中,初始值是0.8。
MQHD方法描述如下:(我)找到一个重载的磁盘 。如果是以前用作磁盘迁移(迁移磁盘标志1),然后减少移民调整系数了10%。设置它的移民调整系数初始值,迁移磁盘国旗为0,和移民从磁盘国旗1,然后计算其过载和负载压力比需要迁移。(2)找到一个磁盘最轻的负载和可迁移数据。如果是以前用作移民磁盘(移民磁盘标志1),然后减少移民调整系数了10%。设置它的移民调整系数初始值,移民磁盘国旗为0,和迁移磁盘标记为1,然后计算其安全系数和负载压力比它可以接受。如果可以接受磁盘的大于需要迁移的重载的磁盘 ,然后二应当选择移民 ,方程(3),并在接下来的段落描述的原则。否则,二应当选择移民 ,方程(3),并在接下来的段落描述的原则。(3)的原则选择二根据LPR如下:(i)全球视角:试图从每个队列获得二避免过度引起的局部误差的问题选择二从一个特定的队列。(2)引入随机性:当一个二从一个队列,从队列中随机选择一个二胺,以避免过度的问题造成的局部误差选择二胺在一个固定的顺序。(iv)重新判断负载过载磁盘的状态在迁移。如果它仍然是超载,重复负载调整过程。MQHD算法的伪代码2描述如下。

4所示。实验验证和分析

这部分验证MQHD并比较PDC, WAM, EM-FMS。

4.1。实验环境

请求生成器和节能意识存储系统模拟器设计的实验。

请求发生器可以产生存储系统请求记录基于请求的数量,请求速率,磁盘覆盖,覆盖数据,磁盘的人气,人气和数据由用户指定。请求率的请求数量,到达存储系统在单位时间内,并假定请求到达时间服从指数分布。磁盘覆盖代表访问磁盘的数量占所有磁盘的数量。数据覆盖代表访问的数据单位数量的比例所有数据的数量单位。磁盘的受欢迎程度代表了磁盘访问的集中程度;表达的一个系数的范围内(0 - 1)Zipf定律。系数越接近于1,访问集中在部分磁盘。为指定的磁盘,Zipf分布公式用于计算其概率评估,如方程所示(8)。数据流行类似于磁盘在意义,表明访问数据集中的程度。

在上面的方程中,磁盘访问的概率是是磁盘访问的数量,和的排名是磁盘的访问概率,然后呢是磁盘的声望。

在实验中,要求发电机的参数设置如下:请求的数量是1000;第一个200个请求的请求速率是50 / s;最后的800个请求的请求速率是300 / s;磁盘覆盖率是25%;磁盘的声望是0.5;报道的数据是5%;流行的数据是0.5。表1显示请求生成器生成记录时使用的参数。

在能源利用存储系统模拟的节能意识存储系统模拟器,磁盘分为两类:数据磁盘组和缓存磁盘组。数据磁盘的磁盘组并不总是旋转。一些磁盘数据的磁盘组不会访问将被运送到备用状态根据电源管理方法来节约能源。磁盘缓存的磁盘组保持旋转;他们经常访问的数据存储。控制器试图确保经常被访问的数据复制到磁盘缓存的磁盘组(11]。

在能源利用存储系统模拟器,此外,MQHD, PDC,政治活动家,和EM-FMS也实现了。

为了观察过载情况,专注于本地存储单元的过载情况下,一个小型节能意识存储系统配置。节能意识的参数存储系统中使用的实验配置如下:缓存磁盘的数量是2,数据磁盘的数量是4,一个缓存磁盘的容量是500,和一个数据磁盘的容量是1000。节能意识的存储系统模拟器,请求的平均服务时间设置为8。负载的磁盘的请求响应时间,设置为48女士,然后呢设置为24女士。

4.2。评价方法及指标

我们从三个方面评估负载平衡方法:有效性、速度和开销。

4.2.1。准备有效性

负载平衡方法的有效性意味着磁盘过载发生时,磁盘的方法可以消除过载状态,及时调整负载。对于一个有效的负载均衡方法,其有效性是衡量请求改变比率(RCR)。软等于请求的数量的比率到达磁盘在使用负载平衡方法的请求数量时到达磁盘负载平衡方法不使用:

软值越大,更准确的负载平衡方法可以控制负载大小的变化,没有造成太多的数据迁移,更有效。

4.2.2。速度

的速度测量的负载平衡方法调整时间和请求的平均响应时间 。 是时候采取调整磁盘从一个过载状态,这是代表在合理时间。是所有请求的平均响应时间的阶段调整磁盘从过载不超载。

4.2.3。开销

移民为了选择合适的二胺在负载调整,负载平衡方法应保持一定量的二胺的信息。负载调整开销由二胺的数量的比率保持数据的数量单位的重载的磁盘。

4.3。实验结果和分析

图6显示了一个缓存磁盘响应不使用负载平衡方法。从图可以看出6,当请求率从50个/秒增加到300 / s,磁盘开始过载,和响应磁盘的恶化随着时间的推移,导致大量的延迟请求。

数据7(一)- - - - - -7 (d)显示磁盘响应在使用PDC、WAM EM-FMS和MQHD分别。

4.3.1。有效性分析

PDC定期执行热数据迁移和估计未来的每个磁盘负载迁移数据,确保磁盘的预期负载接近其最大带宽。如图7(一)磁盘,当过载发生在212年初的请求,PDC没有进行负载调整时间。PDC才进行负载调整约300个请求,定时迁移时间到达时,导致大量的请求被推迟。可以看出,PDC的调整定时时间的影响。当磁盘过载发生时,PDC需要更多的时间来应对负荷调整。

磁盘过载发生时,为每个请求到达磁盘,WAM维修后定位请求的数据块,然后交流的数据块unaccessed unoverloaded磁盘的数据块。这样的交易将持续到磁盘的请求到达速度小于或等于目标阈值。因为没有区分数据的流行,WAM是盲目的选择,这可能会导致过多的数据迁移和导致软太小,所以负载调整不好的有效性。如图7 (b)后,负载调整WAM,大大减少磁盘请求,RCR值只有0.0114。因此,方法更有效。

磁盘过载发生时,EM-FMS选择能量密度最高的文件从当前访问的文件迁移。因为数据已经杰出的流行,EM-FMS特定选择文件,所以它的负载调整更有效。如图7 (c)负载调整后,磁盘请求不是大大减少,和软值是0.2872。

当磁盘超载,MQHD决定适当的LPR根据超载重载的磁盘,选择合适的二度执行根据LPR数据迁移。通过考虑超载程度和热二度,MQHD比其他方法更有针对性。如图7 (d)负载调整后,磁盘利用率仍然很高,软值是0.3721。

可以看出,四种方法,PDC花更多的时间来应对负荷调整和政治活动家不太有效,而EM-FMS和MQHD更有效。表2显示了PDC的软,叫WAM, EM-FMS, MQHD。

4.3.2。速度分析

表3显示和PDC、WAM EM-FMS, MQHD。从表可以看出3、在四个方法和公式(由mccaffrey EM-FMS有更好的速度,因为它们区分数据的普及和更有针对性的调整负载。

图8表明MQHD的调整时间和EM-FMS随数据覆盖。从图可以看出,比EM-FMS MQHD有更好的速度。根据不同的数据报道,MQHD方法的调整时间很小,几乎没有变化,而EM-FMS很大的调整时间和增加而增加的数据覆盖。这是因为MQHD可以选择适当的数量的二胺迁移根据超载程度的磁盘,磁盘的过载状态可以快速消除。然而,EM-FMS只迁移一个文件,因为单个文件的能量误差估计,EM-FMS的调整时间较长,调整时间随着数据覆盖率的增加将会增加。

4.3.3。开销分析

图9显示了比较MQHD和EM-FMS开销。从图可以看出,EM-FMS的开销远远大于MQHD。这是因为EM-FMS需要维护所有数据的访问信息,而MQHD只需要维护的数据的访问信息最近被频繁访问的。

5。结论

能源利用磁盘存储系统带来问题,一些很容易超载,同时实现节能。为了解决这个问题,一个叫MQHD的动态负载平衡方法本文提出了节能意识的存储系统,依赖于多个队列,以确定哪些数据和迁移到其他磁盘。自定义请求的方法验证通过发电机和节能意识存储系统模拟器。结果表明,该方法可以有效地解决这个问题,一些节能意识的磁盘存储系统很容易超载。方法的应用可以提高节能意识存储系统的性能,这有利于促进存储系统的能源利用技术的发展。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究得到了国家自然科学基金(批准号下的国家自然科学基金委)61501128,广东大学的青年创新人才项目批准号2017 kqncx107,医学科学技术研究基金项目批准号下的广东A2018101,重点研究平台和项目的学院和大学在广东省批准号2020 zdzx3060,大学水平下的广东医药大学科研项目批准号201704年。