低能耗存储方法基于SLA的云视频监控数据分类

文摘

的不断扩大的数据量随时间在云移动视频应用,如视频监控(CVS),该视频数据中心能耗的增加引起广泛的关注在过去的几年里。解决降低能耗的问题,我们提出一个低能耗的存储方法特别设计的基于CVS系统在服务水平协议(SLA)分类。小说SLA的额外参数提出了访问时间,然后利用作为划分的标准虚拟机(vm)和数据存储节点到不同的分类。任务可以安排在实时运行在vm和数据存储节点根据其相应的访问时间。任何节点的访问时间不包含当前时间将被放置到节能状态而另一些则在正常状态和承担任务的能力。因此,数据中心的整体电能消耗降低SLA时实现。评价性能,我们比较两种相关的方法的方法使用Hadoop分布式文件系统(HDFS)。结果显示我们的方法的优越性和有效性。

1。介绍

云计算是由美国国家标准与技术研究院(NIST)作为计算模型,提供方便地访问共享资源池,如计算设施、存储设备,而随时随地通过互联网和软件应用程序(1,2]。云计算的发展一直在推动视频监控的发展,形成了一个全新的云计算服务模型称为视频监控作为服务(3]。根据IMS的统计研究,对视频监控的需求服务基于云计算的增长年率为20%至30% (4,5]。因为高可靠性和可用性,云视频监控(CVS)服务可以帮助解决与传统的视频监控技术遇到的问题包括通信和存储设备维护成本高和低水平的数据安全。例如,在[3),典型的CVS为商业服务的架构基于虚拟机技术的目的是为用户提供一种“即插即用”监控服务以更少的成本和更好的方便,和面向任务的调度方法也提出了随后CVS的减少能源消耗。在[6),视频监控系统的模型建立了基于网络编码的分布式文件系统,节省存储空间。

据估计,全球移动数据流量将增长13倍在2012年至2017年之间,和视频数据将三分之二的爆炸性的交通(7,8]。移动设备如笔记本电脑、平板电脑和智能手机连接网络,提供终端用户获得大的服务应用程序。CVS系统成为一种移动视频应用程序,因为移动设备的广泛使用,使它方便用户浏览、播放、实时监控视频监控。移动视频数据的指数增长,移动设备的广泛应用,要求基于移动网络的视频监控使CVS系统未来的发展方向。

鉴于其作用的主要载体的监控视频和多媒体数据在CVS系统中,视频数据中心主要是系统性能的因素。一些研究表明,服务器在数据中心的平均利用率仅为20%至30% (9]。闲置设备的能源消耗的50%以上,在一个完整的负载(10]。这表明目前视频数据中心的电源利用率很低,仍有改进的空间和优化。数据中心的能源效率低也意味着每年数十亿美元的浪费(2]。技术在数据中心能源效率的提高将带来巨大的储蓄(11]。不同于(6),它的目的是节省存储空间,我们解决节能问题。

当用户想要使用视频服务系统,他们被要求签署一份供应商的服务水平协议(SLA)。SLA作为合同用户同意云服务项目包括视频质量,监测时间,存储的数据量,和定价。最优的资源配置在SLA将有助于减少供应商运营成本(10]。摘要我们的目标是开发一个节能存储方法基于一种改进的SLA CVS系统。不同于面向任务的调度方法在我们的另一篇论文3),本文提出的方法对存储节点调度的节能。在实践中,我们的方法可以应用于相同的数据中心。

剩下的纸是组织如下。部分2描述了CVS存储能源消耗的系统及其特征。部分3给出了该方法与相应的部署和操作策略。给出了部分实验和结论4和5。

2。相关工作

节能的数据中心是在资源受限的网络领域最具挑战性的问题。这个问题吸引了大量的注意力在过去的几年里。目前,有两个主要解决数据中心能耗问题:硬件软件节能技术及节能技术(12]。硬件主要节能技术减少了能源消耗通过使用低功率设备或采用特定的硬件和设备结构(12- - - - - -14]。显然,硬件技术不灵活和可移植性较低。在大规模商业云视频数据系统中,有许多不同的设备。更换所有的设备已经在使用太昂贵和不便。因此,硬件技术的局限性的方法很难实现广泛。

另一方面,软件节能技术着重于利用软件策略关掉一些节点或让他们进入睡眠状态与最低性能下降(15]。与硬件技术、软件方法更灵活,更便宜,更方便,得到更多的关注。主要是有两个存储管理方法:动态数据和静态数据放置位置。

动态数据放置方法利用一些策略或因素动态调整数据从节点到节点的位置。例如,访问频率高的数据将被迁移到某些节点在一起。因此,其余的节点将闲置,可以放入低能耗状态。在[16)、动态整合的vm使用动态迁移得到了改进。资源管理策略的方法是“能效权衡”,也就是说,减少能源消耗,同时满足sla。拟议的确定性算法和自适应启发式声称有效率高。在[17),一个节能算法开发了基于数据块的存储结构配置。帧的数据块分为积极和睡眠。每个数据块都搬到相应的地区根据块的访问频率和睡眠区域关掉节约能源。方法是灵活和高效。然而,这两种方法都涉及到数据迁移的过程中需要大量的网络带宽,导致迁移延迟(18]。迁移的成本将是重要的特别是当应用于数据密集型应用程序的方法。因此,动态数据放置方法不适合存储流媒体数据和CVS系统中难以实现。

相反,静态数据放置方法不依赖于动态数据迁移等资源管理。它关闭或暂停冗余节点通过合理部署根据改进计划或政策。通常,在特定的时间节点是关闭的前提下有一定程度的容错或性能损失(19,20.]。斯坦福大学的一个研究小组已经成功关闭更多的空闲节点在Hadoop提高副本放置策略(19]。但其数据可用性是CVS系统验证。提出了一种节能副本放置方法(20.]。datanode分为三个逻辑区根据预测结果:热,温暖和寒冷。对不同的区域采用不同的能源管理策略实现节能。一旦节点的活动频率不匹配当前区域,节点应该转移到合适的区域。然而,转让只能一步一步在区域中,不考虑高随机性的用户访问移动视频网络系统。

在本文中,我们提出一个基于SLA的节能存储方法为CVS系统分类。我们的方法将vm和数据存储节点划分为不同的分类根据修改后的SLA的额外参数访问时间。vm和节点在不同分类将分别在不同时期的指导下设计时间表。每个时期都有适当的操作虚拟机和节点的数量,同时冗余的关闭,节约能源。不需要数据迁移整合资源。由于上述原因,我们的方法可以分为静态数据放置方法。与硬件节能技术,该方法很容易实现,更适合移动视频应用程序比动态数据位置的方法。我们的方法的有效性可以比较与其他静态数据所示位置的方法。

3所示。云视频监控系统

视频监控系统已广泛应用于军事、交通运输、生产、医疗、日常生活服务,。然而,问题的存在为一个普通的网络视频监控系统:高投资和维护成本,系统可伸缩性的空间有限,可怜的安全性,可靠性和低存储数据。这些局限性极大地导致了CVS系统的发展,视频监控系统基于云计算。

3.1。系统结构和运行机制

CVS系统,基于云计算、视频监控系统由三部分组成:CVS终端、云视频数据中心,用户浏览终端(21,22]。CVS系统的架构图如图1从我们之前的工作是23]。监控子系统、存储子系统和浏览子系统对应到CVS终端,视频云数据中心,分别浏览和用户终端。在图中,摄像头的监控子系统作为监控终端获取监控录像数据。在浏览子系统,用户可以通过浏览器访问视频数据安装在台式电脑,平板电脑,手机获取视频数据,并进行实时监控。

存储子系统,数据中心,主要包括分布式存储集群,数据访问管理服务器、管理服务器和存储节点。它是用来存储和管理历史监控视频数据。CVS系统操作,监控终端必须安装在用户希望在CVS中心监控和注册。

SLA是两个服务提供者之间达成协议或服务提供者和服务消费者之间。这是一个重要的方式,以确保服务质量在各种复杂的网络环境。SLA等项目服务描述的集合,包括优先级、责任、保证和服务水平,服务的可用性,反应速度、价格、和处罚违反协议。这是一个文档,该文档描述了最低性能要求时可以由服务提供商提供的服务。

不同的SLA模板用于不同的要求24]。这意味着项目SLA可以任意扩展双方的谈判。服务解决方案开发,没有匹配的SLA模板来实现协议(25]。有一些有价物品,如价格和的最大用户数量。不同的价格对应不同的SLA参数在每个级别提供一系列选择,以满足用户的定制需求。

典型的SLA所示的基本结构和规范如下:属性:租户。有效期。服务描述:服务参数。服务水平目标物资货柜。SLA参数。指标。函数。操作数。测量服务。表达式。阈值。违反处理:谓词。行动。典型的SLA参数可以分为三个类别:房地产、服务描述,和违规处理。参数的属性主要包括租户和有效期。租户ID的信息,包括用户的最大数量,平均数量的活跃用户。有效期指SLA规范的有效期。SLA的服务描述描述服务质量水平或值范围,包括SLA的性能参数,计算算法,和一些必要的信息关于服务条款。违反处理包含谓词和行动。谓词指定每个SLA参数计算的操作。行动是对违反SLA。

根据注册信息和SLA,首先,CVS中心执行的任务通过视频监控虚拟机访问控制的管理服务器,以及后来中心获得监测数据并存储中的数据存储子系统。当需要实时监控,系统将直接连接监控与浏览VM虚拟机。当需要监控历史视频时,该系统将建立一个连接浏览虚拟机和存储子系统之间执行数据和命令的传输。用户可以通过浏览器实现监控目的访问CVS中心。

3.2。在CVS存储能耗分析系统

在CVS系统中,视频数据的数量随时间线性增加。目前,常规的硬件系统无法满足空间容量和存储性能。与此同时,有必要对系统处理巨大的来自用户的访问请求和提供同步服务。因此,CVS系统必须有一个强大的数据存储技术的特点可伸缩性、高吞吐量能力,传输速率高,可靠性高,等等。

分布式存储技术采用可伸缩的拓扑数据组织有效的容错和高电阻损坏。它还包括有效的分布式路由器,文件缓存系统,负载平衡算法。它可以避免或减轻的影响网络环境动态及不可预测的本质,为每个用户提供一致的高性能存储服务的分布式存储系统。因此,视频数据通常使用CVS系统和分布式存储方法存储的可靠性是保证冗余副本。

常用的分布式文件系统主要包括Apache的HDFS, OceanStore加州大学伯克利分校、麻省理工学院的CFS, GFS谷歌的26- - - - - -29日]。这些存储系统拍字节存储容量的特点,简单的可扩展性,高带宽,服务等等。他们是有效的方法对大规模数据存储和能满足存储和访问请求需要一个CVS系统。

与存储容量的增长,大量的cpu、磁盘阵列,众多集群服务器不断运行,消耗大量能源的分布式存储系统。功耗已经成为最大的费用能连续服务。的主要原因,使CVS分布式存储系统低效如下。

空闲状态的能源消费仍有50%的在满载状态。一个空闲状态意味着没有存储和访问负载系统中。CVS系统、监控要求或视频数据存储可能不需要整天在某些场景中,例如,当视频被一些人观看或存储操作引发的捕捉物体的运动。大量的节点还没有任务时浪费能源。

冗余配置的系统设计用于满足高峰需求的应用程序将会消耗大量的能源。在分布式存储,存储数据的副本通常添加到提高成功的概率数据访问。维护这些数据副本的可访问性,一些冗余节点需要在正常的运行状态,将消耗额外的能源。在云视频数据的分布式存储,额外的能源消耗问题甚至更加糟糕,因为需要更多的存储空间和存储节点由于大量的用户和视频数据容量大。

系统提供的服务能力大于实际的应用程序所需要的东西。在许多情况下,分布式系统通常有一个冗余设计,确保系统服务的质量。,额外的节点系统中被认为是可用的存储节点和使用,产生一些不必要的能源消耗。

考虑到以上原因,我们添加参数如访问时间和视频数据存储空间为标准的SLA。和低能耗的存储方法提出了基于SLA中指定的访问时间分类。在CVS存储方法数据中心优化关闭节点不被使用。系统功耗降低的前提下保证SLA。

4所示。基于SLA的低能耗存储方法分类

除了一般参数,SLA CVS系统应包括视频监控系统的特征参数如视频质量,视频数据的存储空间和可伸缩性。虽然视频质量和存储空间参数没有被具体讨论,他们可以使用CVS SLA的一部分,CVS的其他相关设计参考价值。一个访问时间参数,我们将主要讨论什么,添加以限制用户的监控任务的时间范围。

4.1。设计的SLA访问时间分类

CVS系统上的研究仍处于探索和试运营阶段。我们所知,没有一个成熟的SLA CVS系统。通过分析CVS系统的操作流程,SLA CVS系统的设计提出了如图2。相比一个典型的云计算SLA所示部分3.1有以下差异。

一个访问时间参数添加到服务描述参数。它的时间是用户访问监控视频数据。CVS系统中,有大量用户访问视频数据的随机性,因为他们的需求或偏好。大概的时间范围用户的访问视频数据可以安排访问时间参数。根据参数,每天24小时可以分为几个常见的时间段,可以选择:“0 ~ 4点。“甲级”,8点。~ 12点。“作为B类,等等。需要实时监控时,可以选择“全天”类的访问时间。根据分类,存储节点可以相应的标签。在实践中,并非所有用户需要执行监控一天24小时,和用户可以购买相应的服务访问时间段根据他们的需求。在购买的时间,系统能够提供稳定、可靠的视频监控服务。 Therefore, an SLA with access time period not only can, by regulating users’ access behavior, make the unified management of resources easier, but also provides users with a more reasonable service with more combinations of selected access time periods.

视频质量和视频存储空间参数添加到服务描述参数。视频质量可以分为三个等级高(H)、中(M)和低(L)根据不同的视频分辨率。由于不同的应用程序都有自己的需要等用户的需求和网络带宽,没有必要使用相同的视频质量。因此,用户可以得到一个合理选择的视频质量水平的前提下他们的需求。例如,高水平可能为建筑监测,选择一个中等水平可能为企业选择监测,需要良好的视频质量,但预算有限的服务,和低水平可能选择城市交通监控服务。

是昂贵的云数据中心运营服务提供商尤其是当没有限制用户存储分配。分配存储空间越大,时间越长历史的监测时间视频。视频存储空间,在g的单位,是一个非常重要的参数对CVS用户和服务提供商。基于编码标准和视频质量和访问时间等参数,可近似地计算任务的存储空间(3]。即视频存储空间是一个服务提供者提供的参考参数规定的最小存储空间为用户根据访问时间。它通常设置最大值的冗余。因此,用户不能直接决定其价值,但可以根据他们的需要预置最小存储空间。如果存储空间没有预设,它将被系统默认值计算。当一个调整所需的最小存储空间用户,可以更新参数。然而,改变不是直接而是生效只有在接下来的操作时间。一旦用户存储空间参数设置初始化SLA时,整个空间将计算任务。因此,采购根据需要存储空间不仅可以控制用户的成本更准确和合理,但也帮助服务提供商合理安排资源基于SLA中存储空间参数。这将提高资源利用率,从而节省能源。

SLA参数的可伸缩性是进一步加强。虽然可伸缩性是云计算的基本特征之一,有其共同的规范,它还应该包括能力为用户增加或减少的数量监测站点,监测时间范围,根据视频数据存储空间的需求。

SLA部署和操作管理过程主要由以下步骤组成。

步骤1(谈判)。等参数监测时间、级别的服务质量、成本和性能应该讨论CVS服务提供者和用户之间。

步骤2(部署)。SLA协商后,应完成并部署到CVS中心然后SLA监控、操作参数监视和违反管理被激活。

第三步(操作参数监测)。在SLA参数管理和操作过程中实时计算的CVS系统。

步骤4(违反检查)。检查SLA参数的数据测量步骤3以确保他们满足指定的服务水平目标。

第五步(违反管理)。将采取相应的行动基于违反检查的结果。处罚规定付款或更换其他服务的SLA将请求服务的过程中如果出现违规行为。

步骤6(终止服务)。SLA有效期结束后,发送相关指令停止监控和存储任务和服务将终止在SLA中指定。

4.2。基于SLA的部署和资源管理的存储方法分类

低能耗的存储方法,分布式存储集群在CVS数据中心部署存储和管理的历史视频文件。之后,不同的服务器部署在CVS中心来管理虚拟机和存储节点。包括SLA信息管理服务器,资源管理服务器,数据访问管理服务器、管理服务器和存储节点。图3显示了低能耗的存储方法的整体结构。

SLA信息管理服务器包含所有用户的访问时间信息,同意SLA中。一方面,它被SLA服务需求参数和其他信息从用户注册信息数据库服务器的云监控中心。另一方面,它处理并将处理结果作为参数传递的信息资源管理服务器,数据访问管理服务器和存储节点管理服务器在同一时间。

资源管理服务器计算虚拟机的数量,剩余存储节点,在CVS系统存储空间。它接收来自SLA参数信息管理服务器。之后,基于存储节点的参数和调度管理服务器,它集成了,管理,分类vm和CVS存储节点的中心。

数据访问管理服务器是一个CVS存储子系统中最重要的部分。主要负责数据存储请求发送到监控虚拟机和存储节点分配给相应的监控虚拟机。

存储节点管理服务器是低能耗的关键存储管理方法,因为它提供了行动计划。初始化进度通过访问时间参数是SLA的输出信息管理服务器和分类的信息资源管理服务器。

关于管理的存储节点,它显然是不适当的分类和管理每个存储节点单独由资源管理服务器。每个存储节点可以通过主节点管理的分布式存储集群只要每个主节点相关联的存储节点subcluster相同。然后,资源管理服务器可以将所有存储节点根据主节点的IP地址和相关subcluster存储节点。每一个主节点的IP地址在每个subcluster结合同一个类虚拟机的IP地址作为控制的一个子集。通过这种方式,可以管理所有存储节点通过这些主节点。每个类的虚拟机和存储节点分类后,进一步的细粒度调度管理是可能通过其他管理策略,许多研究致力于努力。在本文中,我们主要专注于粗粒度的资源管理和进一步细粒度管理将在未来的研究和发展研究。

4.3。低能耗运行策略

一旦监控或浏览任务请求的访问时间期间,访问控制程序的CVS中心将选择分类类别对应于当前时间,以便监控或浏览任务可以通过虚拟机来执行相同的类别。历史存储数据,数据访问管理服务器会定期发送请求监控虚拟机数据存储访问和调整存储节点基于SLA的类别分类信息。长度的视频数据到一个或两天(实时数据)都存储在虚拟机的虚拟磁盘。虚拟磁盘的最小容量可以估计基于最大带宽、视频传输速率和存储时间。然而,历史数据存储在网络中的特定节点分布式存储的静态分类方法可以申请统一管理。

操作表的存储节点部署在服务器控制操作模式的分布式存储中数据存储节点集群。基于分析部分3.2,经营战略中说明了算法的伪代码1。

首先,服务参数包括访问时间和用户数量在每个访问时间被视为输入初始化资源调度和分配程序。此后,虚拟机和存储节点分为几类,比如,B, C,事先由资源管理服务器。因此,用户无法决定当分类开始。每个类的存储节点及其副本监控虚拟机分配给同一类别。

一旦添加一个新用户和注册在CVS中心,如果它的访问时间不包括当前时间,信息管理服务器将更新分类信息基于时间的访问。基于信息和用户的数量在每一个时期,然后资源管理服务器监视虚拟机重新浏览虚拟机和存储节点。此外,调整分配的虚拟机和存储节点基于用户的数量在每个类。此外,每个类别虚拟机的IP地址绑定作为一个群体和保存在一个存储文件资源管理服务器。如果新用户要求立即启动服务,任务将被要求。任务数量的增加在当前访问时间虽然其他任务仍在操作。新虚拟机和存储节点在同一类别将开放和信息记录在有效期的参数。成本会不同于整个访问期间服务和根据有效期调整参数SLA中规范。

一个操作计划是专为所有存储节点及其副本的数据中心。存储节点定义在两种模式:正常和睡眠。例如,存储节点的类,8点至12点之间。是正常的,而B类的存储节点处于睡眠模式。

请求任务时,任务访问控制程序将发送请求监视或浏览虚拟机对应于当前的时间。然后,控制命令发送到存储节点根据行动计划。只有节点对应于同意访问时间设置为正常模式和其他人将睡眠模式。

一次浏览VM接收请求在当前的访问时间,在正常模式下的数据存储节点传送到同一个类的浏览VM。服务参数和操作进度更新SLA中访问时间信息时发生了变化。

在CVS中心假设vm的总数存储节点的总数,总数量的分类基于访问时间。用户的数量在每个分类设置访问时间,。部分用户在每个分类设置访问时间,。虚拟机的数量和存储节点的数量在每个分类的访问时间和分别。然后,

因为没有监控或浏览任务vm在CVS系统启动之前,资源管理服务器可以随机选择vm和节点作为一个类通过函数ChooseRandom()根据(在每个类的用户数量),并继续以这种方式直到完成分类。函数用于虚拟机和存储节点根据更新后的参数进行分类。

伪代码是一个大纲的系统操作。算法的运行时间主要由循环线来,来,来在伪代码,并计算成本。显然,代码简洁和容易理解。

还有其他细节必要但不是代码所示。当一些存储节点停止工作期间由于故障或其他事故分类操作,系统仍能保证数据的可用性和继续工作。分布式存储系统可以晚些时候恢复无效的副本复制和复制的数量在每个类别调整根据用户的数量在这个班。

自存储节点的睡眠模式不能存储历史数据,需要一个系统处理程序接收访问时间从SLA参数信息管理中心。每一天,当每个类的存储节点运行在相应的访问时间,处理程序将启动监控虚拟机的数据存储请求同一个班。之后,它会将视频数据存储在分布式存储系统和空的虚拟磁盘的虚拟磁盘空间。

因此,视频监控或浏览任务可以分配给适当的vm来执行。全天的云视频服务将在不同时期分为服务可以由分类处理。

5。实验和结果

本文提出了低能耗的存储方法提高能源利用率的数据中心。因此,实验主要进行调查的比例在存储系统运行存储节点和存储节点的平均运行时间。

为实验平台,我们使用Hadoop分布式文件系统(HDFS)构建所需的存储集群。在传统的HDFS方法中,所有节点都位于一个HDFS集群和默认的存储管理政策,维护所有数据副本,以确保数据的可用性和防止数据访问问题意外停机,使用(19,30.]。低能耗斯坦福大学提出的存储管理方法也使用一个HDFS集群,但改进的存储管理策略19]。在这项研究中,一个HDFS集群分为几个subclusters操作状态管理根据操作的时间表。每个subcluster仍然使用默认的存储管理政策。结果与传统的HDFS相比方法和斯坦福大学的方法。

5.1。设计的实验平台

首先,硬件环境和软件环境准备部署的存储集群。硬件环境包括48个人电脑存储节点和七个人电脑管理节点称为“NameNode。“每个节点中配置一个戴尔电脑成就(OS: Ubuntu 11.04, RAM: 1 GB,和磁盘大小:320 GB) Hadoop 2.1.0的软件应用程序,jdk 1.7, Eclipse 3.7, SSH,等等。

实验系统由七个HDFS集群命名通过G作为参照组,G集群用于操作传统HDFS方法和斯坦福的方法。G集群中的所有节点使用一个HDFS系统,一个NameNode, 24 datanode(包括副本)。

集群A到F的实验组采用该方法。每个集群有4个datanode(见表1)。每个节点通过操作后安排在存储节点管理服务器。为便于比较,G的datanode数量和总datanode的数量~ F是相同的。六个集群从A到F进行分类根据SLA访问时间。SLA访问时间段分为6类和4小时24小时内每个类:A类的访问时间在0点和4点之间。B类,4点到8点之间的访问时间。,等等。

应该注意到,为了使一个存储节点的反应时间,每个集群NameNode持续运行。自从NameNode是可以忽略不计的能源消耗大量的存储节点参与一个实际的数据中心的分布式存储集群,只有运行存储节点的能耗统计的实验。

实验平台的结构如图4。datanode的副本数量在每个集群设置为2。我们尝试多个组的视频存储数据(5克、10 G和15 G)不同时期。运行存储节点的数目(DataNode)和多个实验的运行时间进行比较和分析。为了方便的直接验证实验结果,一天三个小时实验模拟。换句话说,实验时间压缩到八分之一的实际时间,和每一个访问时间分类是减少到30分钟。同时,我们改变SLA分类数来验证的节能效果的前提下确保相同数量的总节点实验组(A ~ F)和参照群体(G)。

5.2。实验结果

在实验室环境中,HDFS CVS存储集群构建模拟数据中心。在数据中心中存储节点的数量和存储节点的运行时间记录。图5显示的存储节点的操作安排实验。

可以清楚地看到,在图5存储节点的运行状态,整个24小时操作时间表。在任何给定的时间,只有类存储节点的访问时间处于正常运行状态(蓝色条纹)而其他存储节点的访问时间都处于节能状态。

(1)测试节点比例的操作状态。在模拟实验中,与相同数量的数据和加载,存储节点的初始数量的参照组,实验组均设置为24。所有节点都处于正常运行状态。每天六个分类,分为六个时期的数据访问。存储节点的运行状态变化与存储的执行操作,如图6。

如图6在HDFS中,100%的存储节点测试(蓝色曲线)的运行状态。这证明了默认存储管理策略的特点,传统的HDFS的方法。在实验中使用Hadoop集群和斯坦福大学的方法,大约50%的存储节点在最初的30分钟的运行状态(红色曲线)。这是因为只有适当的节点数量设置为运行根据动态负荷分析。因此,在某种程度上,在运行状态的节点数量减少。此外,睡眠节点的最大数量限制在不超过总数的50%,以保证数据的性能和可用性。

虽然能耗低存储方法提出了需要维护副本,在数据中心中存储节点及其副本分为很多类别根据访问时间和只有一个类的存储节点及其副本运行在任何时间。因此,它大大降低了数字存储节点的运行状态。图中可以看到6第一次2分钟后,只有17%的存储节点需要运行(绿色曲线),明显低于其他两种方法。简而言之,我们的方法与分类结果显著节约能源消耗。

(2)测试操作存储节点的平均时间。通过不同数量的SLA的分类,我们可以测试不同的影响SLA分类数字节能。图7显示存储节点的统计平均运行时间与数量分类的前面讨论的三种方法。

可以看到在图7HDFS中,节点测试(蓝色酒吧)保持运行在满负荷不管SLA的数量分类,和斯坦福Hadoop遵循相同的趋势,维持一个恒定的平均运行时间。最大数量的限制睡眠节点不超过总数的50%,斯坦福Hadoop只是让某些节点睡眠动态地根据不同的负载。考虑到这一点,可以看出斯坦福Hadoop方法的操作时间为不同的SLA分类数量保持在55%左右。我们建议的低能耗存储方法将一整天的任务划分为小批量任务和操作在不同的时间段。与SLA分类的数量的增加,存储节点的操作时间在不同的时间减少了。因此,数据中心中的所有节点的平均手术时间也减少了。如图7,平均运行时间的百分比该方法(绿色栏)是50%,17%,和8.3%的分类2、6和12。在实验中,最好的情况下节能使用12个分类时,收益率为41.7%比Hadoop在拯救方法。

分类数越高,每个节点的操作时间短。在实践中,如果操作时间太短,很难确保任务的完成。由于上述原因,低能耗的存储方法将分类数量达到一定阈值后的瓶颈。然而,它的能源效率明显高于其他两种方法,可以进一步提高。

6。结论

本文,我们提出了基于SLA的低能耗存储方法分类后仔细分析CVS系统的结构,运行机制和能源消耗问题的分布式存储视频数据。通过设计一个SLA的访问时间,虚拟机和存储节点监控操作和浏览任务可以合理分类。因此,全天的CVS服务分为各种任务分别与不同时期和处理。通过设计一个操作时间表中所有存储节点数据中心,存储节点的运行状态可以有效地实现节能控制。部署过程低能耗和操作策略存储方法详细描述。

实验结果表明,当前的方法只使用17%的存储节点在正常状态和需要8.3%的平均运行时间12个分类,导致能源效率比传统HDFS方法和大约一半的满载负荷斯坦福改善HDFS的方法。此外,该方法容易实现,无疑提供了一定的应用价值。我们的方法演示了以下优点:(我)专为一个CVS系统和很容易采取广泛等其他系统和部署云计算,云磁盘或其他移动应用程序,如移动UGC(用户生成内容)和移动广告。(2)它可以满足性能要求,减少能源消耗。(3)与传统的和斯坦福HDFS改善方法相比,该方法证明它的优越性和有效性。

在未来的工作中,我们将主要针对发展和改善细粒度为每个存储节点调度管理策略。

相互竞争的利益

作者宣称没有利益冲突。

确认

这项工作是支持部分由中国国家自然科学基金批准号下61202340,国际博士后交换奖学金计划批准号20140011,和中国的湖北省自然科学基金批准号2015 cfa010。

引用

1. g .香a·博塔携手w . De Donato和a . Pescape“云监控:一项调查,”计算机网络卷,57号9日,第2115 - 2093页,2013年。视图:出版商的网站|谷歌学术搜索
2. t . Mastelic a . Oleksiak h . Claussen et al .,“云计算:调查能源效率”,ACM计算调查(CSUR)卷,47号2,p。2014。视图:谷歌学术搜索
3. y,广域网,j .她m .吴y,和k .江”energy-optimization-based方法的任务调度云视频监控中心,“网络和计算机应用》杂志上59卷,第73 - 63页,2016年。视图:出版商的网站|谷歌学术搜索
4. p . Simoens f . De Turck b . Dhoedt和p . Demeester“远程显示移动云计算的解决方案,”电脑,44卷,不。8日,46-53,2011页。视图:出版商的网站|谷歌学术搜索
5. 2013年,http://www.ctiforum.com/news/guandian/379338.html。
6. 问:赵,k, h, y . Wang和h,“云视频监控模型基于网络编码的云存储系统,”未来计算机和通信的国际期刊,4卷,不。4、286 - 289年,2015页。视图:出版商的网站|谷歌学术搜索
7. t . De Pessemier l . Martens和w·约瑟夫,“动态优化的质量经验在手机视频看,”学报第十届IEEE国际研讨会上宽带多媒体系统和广播(BMSB 15),页1 - 6,IEEE,根特,比利时,2015年6月。视图:出版商的网站|谷歌学术搜索
8. j .吴b, c .袁y商,和j·陈,“Distortion-aware并行多路径传输移动视频流在异构无线网络中,“IEEE移动计算,14卷,不。4、688 - 701年,2015页。视图:出版商的网站|谷歌学术搜索
9. l . Na m . Zhang k .李et al .,“绿色任务调度算法与速度优化异构云服务器上,”《IEEE / ACM国际会议上绿色计算和通讯&网络国际会议上,身体和社会计算杭州,页76 - 80年,中国,2010年12月。视图:谷歌学术搜索
10. h . Goudarzi、m . Ghasemazar和m . Pedram”的权力和迁移到基于sla的优化云计算成本,”学报》第12届IEEE / ACM国际研讨会上集群,云计算和网格计算(CCGrid 12)IEEE,页172 - 179年,渥太华,加拿大,2012年5月。视图:出版商的网站|谷歌学术搜索
11. 问:张先生,m . f . Zhani女士说,美国,问:朱,r . Boutaba和j·l·Hellerstein“动态能力供应对于云计算环境,能源利用”学报》第九届ACM国际会议上自主计算(廉政公署的12)ACM,页145 - 154年,加州,美国圣何塞2012年9月。视图:出版商的网站|谷歌学术搜索
12. Y.-J。王,W.-D。太阳,周,X.-Q。裴,X.-Y。李,“云计算分布式存储的关键技术”,软件学报,23卷,不。4、962 - 986年,2012页。视图:出版商的网站|谷歌学术搜索
13. x罗,y, l . Wang和王,“动态功耗控制方法基于硬件的实时处理器多线程,”中国通信,10卷,不。5、文章ID 6520948, 156 - 166年,2013页。视图:出版商的网站|谷歌学术搜索
14. h .垫片,js。金姆,s . Maeng“最佳:最优节能技术NAND flash的混合存储,”IEEE消费类电子产品,卷。58岁的没有。3、841 - 848年,2012页。视图:出版商的网站|谷歌学术搜索
15. h . Goudarzi和m . Pedram”节能虚拟机复制和放置在一个云计算系统中,”《IEEE五云计算国际会议(云”12)IEEE,页750 - 757年,檀香山,夏威夷,美国,2012年6月。视图:出版商的网站|谷歌学术搜索
16. a . Beloglazov和r . Buyya”最优在线确定性算法和自适应启发式对能源和性能高效的动态整合云数据中心的虚拟机”并发计算实践和经验,24卷,不。13日,1397 - 1420年,2012页。视图:出版商的网站|谷歌学术搜索
17. 廖,j . Yu t·张,X.-Y。杨:“分布式文件系统的节能算法HDFS。”中国电脑杂志,36卷,不。5,1047 - 1064年,2013页。视图:出版商的网站|谷歌学术搜索
18. d . Kliazovich p . Bouvry和美国汗,“洞穴:数据中心节能网络感知调度,”集群计算,16卷,不。1,第75 - 65页,2013。视图:出版商的网站|谷歌学术搜索
19. j·b·Leverich估计未来的扩展数据中心,斯坦福大学,2014年。
20. X.-Y。赵和l .王”,一个基于活动的副本放置的节能方法,”《IEEE国际模糊理论及其应用会议(iFUZZY 13),页446 - 451,台北,台湾,2013年12月。视图:出版商的网站|谷歌学术搜索
21. m·s·侯赛因·m·m·哈桑·m·a . Qurishi和a . Alghamdi“资源分配在云服务组合视频监控平台,”诉讼IEEE国际会议的多媒体和世博会研讨会(ICMEW 12)澳大利亚墨尔本,页408 - 412,,2012年7月。视图:出版商的网站|谷歌学术搜索
22. 2013年6月,http://www.cloudsurveillance.com。
23. 中州。熊,S.-Y。广域网,y, d .苏,“云视频监控系统的设计和实现一个原型,“先进的计算智能和智能信息》杂志上,18卷,不。1,40-47,2014页。视图:谷歌学术搜索
24. 美国Yangui,黄世建。马歇尔,j。Laisne,塔塔,“CompatibleOne:开源云代理。”《网格计算,12卷,不。1,第109 - 93页,2014。视图:出版商的网站|谷歌学术搜索
25. 安德烈•柯特兹a·g·Kecskemeti, i Brandic”的互操作和自适应方法到基于sla的服务虚拟化在异构云计算环境中,“未来一代计算机系统,32卷,不。1,54 - 68年,2014页。视图:出版商的网站|谷歌学术搜索
26. y . n, s·d·张,h . Liu“分布式文件系统的设计基于HDFS,”应用力学和材料卷,423 - 426,2733 - 2736年,2013页。视图:出版商的网站|谷歌学术搜索
27. a . Dandoush s Alouf, p .拿“一生和可用性的数据存储在一个P2P系统:评价的冗余和恢复计划,”计算机网络卷,64年,第260 - 243页,2014年。视图:出版商的网站|谷歌学术搜索
28. z d . Wang, j . Zhang l . Zhang和z,“慢性疲劳综合症:一个集群文件系统的设计和实现服务浪潮集团AS3000,”程序计算与信息科学国际会议(ICCIS 11)成都,页847 - 849年,中国,2011年10月。视图:出版商的网站|谷歌学术搜索
29. 周x y和L.-Y。他,“虚拟混合分布式文件系统,”第五届国际会议上院刊Cyber-Enabled分布式计算和知识发现(CyberC 13),第205 - 202页,北京,中国,2013年10月。视图:出版商的网站|谷歌学术搜索
30. d . Borthakur”hadoop分布式文件系统架构和设计,“Hadoop项目的网站,11卷,不。2007年,第21条,2007年。视图:谷歌学术搜索

版权

版权©2016陈会昌熊等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。