ddn 离散动力学性质和社会 1607 - 887 x 1026 - 0226 Hindawi出版公司 396387年 10.1155 / 2012/396387 396387年 研究文章 在高速铁路Cloud-Computing-Based数据放置策略 汉宁 1 Weixiang 2 0000 - 0001 - 6579 - 214 - x 福田 1 0000-0003-4595-8215 Chaolong 1 Wuhong 1 轨道交通控制与安全国家重点实验室 北京交通大学 北京100044年 中国 bjtu.edu.cn 2 交通运输学院 北京交通大学 北京100044年 中国 bjtu.edu.cn 2012年 30. 12 2012年 2012年 28 08年 2012年 31日 10 2012年 21 11 2012年 2012年 版权©2012年汉宁王等人。 这是一个开放的文章在知识共享归属许可下发布的,它允许无限制的使用,分布和繁殖在任何媒介,提供最初的工作是正确的引用。

作为中国的一个重要组成部分的交通数据共享系统,高速铁路数据密集型计算的数据共享是一个典型的应用程序。目前,大多数高速铁路数据在云计算环境中是共享的。因此,迫切需要一个有效的在高速铁路cloud-computing-based数据放置策略。本文提出了一种新的数据放置策略提出了层次结构数据放置策略。该方法结合了半定规划算法和动态区间映射算法。半定规划算法适用于各种复制文件的放置,确保不同的复制一个文件被放置在不同的存储设备,而动态区间映射算法确保更好的数据存储系统的自适应性。提出了一种层次化的数据放置策略对大规模网络。本文提供了新的理论分析,这是与其他几个以前的数据放置方法相比,显示在几个实验的疗效分析。

1。介绍</t我tle> <p>随着信息技术的发展和普及,互联网正逐渐成长为各种各样的计算平台。云计算是一个典型的网络计算模式,它强调运行大型应用程序的可伸缩性和可用性在虚拟计算环境(<xref ref-type="bibr" rid="B1"> 1</xref>]。基于云计算的大规模网络应用程序演示了分布的特性,瑞士银行,和强度数据的趋势<xref ref-type="bibr" rid="B2"> 2</xref>]。在云计算环境中,数据存储和操作提供服务(<xref ref-type="bibr" rid="B3"> 3</xref>]。有各种类型的数据,包括常见的文件,虚拟机映像文件,等大型二进制文件格式化的XML数据和关系数据的数据库。因此,云计算的分布式存储服务必须考虑各种数据类型的大规模存储机制,以及性能、可靠性、安全性和数据操作的简单性。作为一个重要组成部分,中国的交通科学数据共享系统,高速铁路数据组织是优化操作的关键。高速铁路数据共享系统具有典型的数据密集型应用程序的特点(<xref ref-type="bibr" rid="B4"> 4</xref>- - - - - -<xref ref-type="bibr" rid="B6"> 6</xref>),大量的分布式数据管理是至关重要的。主要反映在数据大小的It过程往往是结核病甚至PB级别,包括现有的输入数据来源和中间/最终结果数据产生的过程。</p> <p></p> <p></p> <p></p> <p></p> <p>实施和执行过程中数据密集型应用程序在云计算的环境下,以及建立一个大规模存储系统的过程来满足需求的快速增长的数据存储卷,主要的挑战是如何有效地在拍字节级别数据分发给成千上万的存储设备。因此,一个有效的数据布局算法是必要的。</p> </sec> <sec id="sec2"> <title>2。目标是设计高速铁路数据放置策略</t我tle> <p>云计算环境下的网络存储系统由成千上万、甚至十成千上万的存储设备。不同的系统有不同的底层设备,例如,存储设备组设备磁盘块的SAN和gfp,或OSD对象存储系统(对象存储设备)光泽和ActiveScale或PC PVFS和P2P (<xref ref-type="bibr" rid="B7"> 7</xref>]。数据放置策略主要解决的问题选择存储设备进行数据存储。应当采取有效的机制来建立数据集之间的映射关系和存储设备集。然后,应用程序生成的数据集的存储系统被放置到不同的存储设备。与此同时,某些特定的目标需要满足,和不同的数据放置策略是为不同的目的而设计的。例如,剥离技术在突袭行动主要是为了获得聚合的I / O带宽。把战略的几个复制数据到不同的设备主要用于容错的目的和数据可靠性的改进。分布数据同样可以实现更多的I / O负载平衡。</p> <p>云计算环境下的高速铁路数据放置策略旨在实现以下目标。</p> <sec id="sec2.1"> <title>2.1。公平</t我tle> <p>数据存储在每个设备的大小成正比的存储卷装置(<xref ref-type="bibr" rid="B8"> 8</xref>]。</p> </sec> <sec id="sec2.2"> <title>2.2。自适应性</t我tle> <p>随着时间的推移,存储设备的体积是动态多变。的情况下添加一个新的设备和删除现有设备的情况下为例。当存储系统的规模发生变化时,数据放置策略应用于重组数据,使数据分布式设备集满足公平标准。此外,它需要保证迁移后的数据量接近最优迁移数据量。这将降低数据迁移的开销。最优迁移数据量等于获得的数据量的添加设备,或等于删除设备上的数据量。的自适应性数据放置策略是衡量其实际迁移的数据量比最优迁移数据量。因此,比率值为1.0时表示的最优条件。</p> </sec> <sec id="sec2.3"> <title>2.3。冗余</t我tle> <p>得到几个复制复制数据,或使数据仍然可以通过使用擦除失去一个复制的代码。以便公平IO负载平衡,自适应性可以reensure公平按照存储规模变化、大小和数据迁移和IO带宽占用也可以减少。最后,可以提高数据的可靠性。</p> </sec> <sec id="sec2.4"> <title>2.4。可用性</t我tle> <p>它是至关重要的,一个系统在所有情况下都可以正常访问。一旦系统不可用,所有功能无法正常执行。提高系统可用性,有必要定期有数据显示位置调整存储设备的可用性,从而最大限度地提高系统的可用性(<xref ref-type="bibr" rid="B9"> 9</xref>]。</p> </sec> <sec id="sec2.5"> <title>2.5。可靠性</t我tle> <p>它表明该系统是否可以正常访问一段时间。随着大规模存储系统包含成千上万的存储设备,磁盘故障的概率相当高。应用数据放置策略时,可靠性指标需要使用数据大小等设计参数的放置策略。因此,存储系统具有更高的可靠性。</p> </sec> <sec id="sec2.6"> <title>2.6。时空有效性</t我tle> <p>这意味着一些时间和空间是用于计算的数据位置的数据放置策略。</p> <p>当设计大规模网络存储系统的数据放置策略,满足某些特定的目标需要根据不同的应用要求。然而,它是不可能同时满足所有目标。</p> </sec> </sec> <sec id="sec3"> <title>3所示。相关工作</t我tle> <p>一些云计算环境下数据管理系统目前已经出现,例如,Google文件系统(<xref ref-type="bibr" rid="B10"> 10</xref>]和Hadoop [<xref ref-type="bibr" rid="B11"> 11</xref>,<xref ref-type="bibr" rid="B12"> 12</xref>),这两个隐藏了基础设施用于存储应用程序数据的用户。Google文件系统主要用于Web搜索应用程序,而不是流程应用程序在云计算环境下。Hadoop是一个更常见的分布式文件系统,它使用很多公司包括亚马逊(<xref ref-type="bibr" rid="B13"> 13</xref>)和Facebook。Hadoop文件系统接收一个文件时,系统会自动把文件分成几块,每个随机放置在一个集群中。积云项目(<xref ref-type="bibr" rid="B14"> 14</xref>)提出了一个云架构的单一数据中心环境。然而,上述云数据管理系统没有研究数据密集型的数据放置问题流程应用程序在云环境下。最后,让我们看看几个例子现有流行的大规模数据存储系统。商业并行文件系统(cpf) (<xref ref-type="bibr" rid="B15"> 15</xref>,<xref ref-type="bibr" rid="B16"> 16</xref>)把一个文件分成相同大小的数据块,存储在不同的磁盘上的文件系统的旋转。并行虚拟文件系统(PVFS) (<xref ref-type="bibr" rid="B17"> 17</xref>)与开源的代码将文件划分为地带和块和采用的方法将切片数据在多个输入输出节点旋转。PVFS的数据块大小是一个常数。PVFS数据没有任何容错功能。Panasas [<xref ref-type="bibr" rid="B18"> 18</xref>)是一种面向对象的文件系统,数据分配给底层智能对象存储设备(OSD)单位的对象(<xref ref-type="bibr" rid="B19"> 19</xref>]。一个文件分为条,每一条单位存储在多个OSD的对象。在初始位置,对象是相当分布式OSD设备之间使用随机方法。</p> <p>PanFS, Panasas开发的公司,基于对象存储是一个Linux集群文件系统(<xref ref-type="bibr" rid="B20"> 20.</xref>]。这是ActiveScale存储系统的核心部分。起初,这些文件系统把文件成条状,然后分配每个地带底层智能OSD单元的对象。文件的分布在多个osd基于循环算法的实现。数据对象的大小是随机的,它可能会增加相应的增加文件大小无需修改元数据映射图元数据服务器上。</p> <p>面向对象的文件系统光泽是全球文件系统透明。光泽文件系统会将该文件视为一个对象,位于由元数据服务器,然后指导实际的文件I / O请求到相应的对象存储目标(ost)。由于技术是采用元数据分开存储数据,计算资源可以完全分开存储资源(<xref ref-type="bibr" rid="B21"> 21</xref>]。因此,客户可以专注于用户和应用程序的I / O请求。与此同时,OST和元数据服务器可以关注数据读取,传输以及写作。</p> <p>宇宙中所有存储节点并行文件系统(<xref ref-type="bibr" rid="B22"> 22</xref>分为几条。每个宇宙文件存储在一个特定地带。和带的长度和逻辑块磁盘速度和文件访问模式相关的应用程序。这种类型的数据放置策略特性,比如高性能、大文件适宜性和高度的并行性。通过剥夺了子文件,宇宙是直接保存在本地磁盘的形式共同的JFS文件。因此,表达式直接管理的磁盘是避免而增加了管理费用当进入VFS的核心/ Vnode第二次。</p> </sec> <sec id="sec4"> <title>4所示。研究和分析现有的数据放置策略</t我tle> <p>这里有一些当前流行的数据布局算法。标准的散列是最简单的均匀(指出所有存储设备具有相同的体积)放置算法,可保证公平。但当存储规模不同,所有的数据必须被改变的位置。</p> <p>一致性哈希(<xref ref-type="bibr" rid="B23"> 23</xref>)使用<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M1"> <mml:mi> h</米米l:米我> <mml:mi> 一个</米米l:米我> <mml:mi> 年代</米米l:米我> <mml:mi> h</米米l:米我> </mml:math> </inline-formula>设备映射到连续函数,然后哈希函数<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M2"> <mml:msub> <mml:mrow> <mml:mi> h</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn mathvariant="normal"> 2</米米l:米n> </mml:mrow> </mml:msub> <mml:mrow> <mml:mo stretchy="false"> (</米米l:米o> <mml:mrow> <mml:mi> x</米米l:米我> </mml:mrow> <mml:mo stretchy="false"> )</米米l:米o> </mml:mrow> </mml:math> </inline-formula>用于均匀连续的地图数据。然后数据分配给设备节点所代表的是最近的数据本身。由于设备不均匀分布的连续体,每个设备虚拟化<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M3"> <mml:mi> k</米米l:米我> <mml:mi> 日志</米米l:米我> <mml:mo></mml:mo> <mml:mrow> <mml:mo stretchy="false"> |</米米l:米o> <mml:mrow> <mml:mi> N</米米l:米我> </mml:mrow> <mml:mo stretchy="false"> |</米米l:米o> </mml:mrow> </mml:math> </inline-formula>设备(<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M4"> <mml:mrow> <mml:mi> k</米米l:米我> </mml:mrow> </mml:math> </inline-formula>是一个常数),以确保数据的公平分配。这个设备的数据大小等于数据分配给虚拟节点的总大小。当一个存储设备被添加到系统,只有部分的数据位于左和右邻居节点迁移到该设备。一致性哈希具有高度的自适应性,这种机制的占用空间<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M5"> <mml:mi> O</米米l:米我> <mml:mo stretchy="false"> (</米米l:米o> <mml:msup> <mml:mrow> <mml:mi> n</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn mathvariant="normal"> 2</米米l:米n> </mml:mrow> </mml:msup> <mml:mrow> <mml:mrow> <mml:mi> 日志</米米l:米我> <mml:mo></mml:mo> </mml:mrow> <mml:mo></mml:mo> <mml:mrow> <mml:mi> n</米米l:米我> </mml:mrow> </mml:mrow> <mml:mo stretchy="false"> )</米米l:米o> </mml:math> </inline-formula>。</p> <p>事实上,云计算环境下的数据存储是异构的,这意味着有巨大的体积差异存储设备。因此,一致的哈希算法改进如下:连续分配的虚拟节点基于设备的重量。设备更大的重量连续覆盖多个虚拟节点。然而,这种方法将引入大量的虚拟节点异构存储系统中极其重要的重量差异,这将增加算法的空间复杂度。</p> <p>为了解决空间浪费的问题一致的哈希,分割方法提出了基于单位间隔。在这种方法中,间隔分为单位的小区间具有相同的长度,和每个设备占有时间间隔。当添加一个设备,其他设备上的数据迁移到新设备。当设备被删除,最后的设备上的数据同样是迁移到剩余的设备,和要删除设备上的数据迁移到最后一个设备,然后设备最终删除。通过这种方式,可以保证公平。在设备之外,数据迁移量是1时间最优数据迁移量。在数据迁移设备删除,体积是2乘以体积最优数据迁移。<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M6"> <mml:mi> O</米米l:米我> <mml:mo stretchy="false"> (</米米l:米o> <mml:mrow> <mml:mrow> <mml:mi> 日志</米米l:米我> <mml:mo></mml:mo> </mml:mrow> <mml:mo></mml:mo> <mml:mrow> <mml:mi> n</米米l:米我> </mml:mrow> </mml:mrow> <mml:mo stretchy="false"> )</米米l:米o> </mml:math> </inline-formula>步骤需要定位一个特定的数据,这需要更长的时间比定位数据与一致的哈希,但只有一个空间的<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M7"> <mml:mi> O</米米l:米我> <mml:mrow> <mml:mo stretchy="false"> (</米米l:米o> <mml:mrow> <mml:mi> n</米米l:米我> <mml:mi> 日志</米米l:米我> <mml:mo></mml:mo> <mml:mi> n</米米l:米我> </mml:mrow> <mml:mo stretchy="false"> )</米米l:米o> </mml:mrow> </mml:math> </inline-formula>数字是占领。比较一致的哈希,这个算法交流的时间空间。它不适合存储系统的要求要求快速数据搜索。此外,这种算法的自适应性不是高达一致的哈希。</p> <p>为了解决太空垃圾的问题导致的一致性哈希的引入虚拟节点,提出了线性法和对数法。在线性方法,介绍了设备的重量相似。假设<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M8"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> w</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>显示设备的重量<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M9"> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:math> </inline-formula>,<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M10"> <mml:msub> <mml:mrow> <mml:mi> d</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo stretchy="false"> (</米米l:米o> <mml:mi> x</米米l:米我> <mml:mo stretchy="false"> )</米米l:米o> </mml:math> </inline-formula>表示散列值的设备之间的距离<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M11"> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:math> </inline-formula>和数据<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M12"> <mml:mrow> <mml:mi> x</米米l:米我> </mml:mrow> </mml:math> </inline-formula>。线性方法将选择设备,价值最低的<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M13"> <mml:msub> <mml:mrow> <mml:mi> H</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> =</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> d</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo stretchy="false"> (</米米l:米o> <mml:mi> x</米米l:米我> <mml:mo stretchy="false"> )</米米l:米o> <mml:mo> /</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> w</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>,存储数据<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M14"> <mml:mrow> <mml:mi> x</米米l:米我> </mml:mrow> </mml:math> </inline-formula>。</p> <p>随着存储规模的变化,线性方法只能保证数据迁移之间的添加/删除设备和其他设备。就没有其他设备之间的数据迁移。对数试图找到一个装置,使函数的最小值<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M15"> <mml:msub> <mml:mrow> <mml:mi> H</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> =</米米l:米o> <mml:mo> - - - - - -</米米l:米o> <mml:mo stretchy="false"> (</米米l:米o> <mml:mrow> <mml:mrow> <mml:mi> ln</米米l:米我> <mml:mo></mml:mo> </mml:mrow> <mml:mo></mml:mo> <mml:mrow> <mml:mo stretchy="false"> (</米米l:米o> <mml:mn> 1</米米l:米n> <mml:mo> - - - - - -</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> d</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo stretchy="false"> (</米米l:米o> <mml:mi> x</米米l:米我> <mml:mo stretchy="false"> )</米米l:米o> <mml:mo stretchy="false"> )</米米l:米o> <mml:mo stretchy="false"> )</米米l:米o> <mml:mo> /</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> w</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mrow> </mml:math> </inline-formula>。在缺乏虚拟节点,洛加尔省ithm比线性执行更好的公平,但它需要很长时间来定位数据。</p> <p>因此,基于动态区间映射的数据对象布局算法,提出了(<xref ref-type="bibr" rid="B22"> 22</xref>]。单位空间分为多个小区间根据设备的重量。然后设备之间的映射关系,建立子区间。基于区间的数据下降,对应的数据分配给设备间隔。这种方法具有更好的公平性和自适应性,时间消耗在定位数据的扩张将会增加存储设备的数量。但如果存储设备的数量非常大,当一个设备被添加或删除,系统需要与所有其他存储设备进行数据迁移,这将带来巨大的开销。此外,定位数据的时间消耗将增加存储设备的数量的扩张。</p> </sec> <sec id="sec5"> <title>5。基于云计算的层次结构</t我tle> <p>随着网络规模的扩大,数据存储设备的数量不断增加。现有的数据布局算法是不够的,以解决系统的自适应性。添加新的或删除现有的设备可能会导致一个新的数据位置,这将导致增加了数据迁移开销,以便占领IO带宽是不可避免的<xref ref-type="bibr" rid="B25"> 24</xref>,<xref ref-type="bibr" rid="B26"> 25</xref>]。因此,无法保证数据的可靠性,开销太大使用副本的数据可靠性保证(<xref ref-type="bibr" rid="B27"> 26</xref>]。因此,基于层次结构的数据放置策略提出了本文的目的是弥补现有的数据布局算法的不足,解决系统的自适应性,保证数据的可靠性,提高数据访问的效率。</p> <p>在该方法中,每个单独的存储设备直接管理通过一个公共数据放置策略,如图<xref ref-type="fig" rid="fig1"> 1</xref>。</p> <fig id="fig1"> <label>图1</l一个bel> <p>直接管理。</p> <graphic xlink:href="//www.newsama.com/downloads/journals/ddns/2012/396387.fig.001"></graphic> </fig> <p>层次结构可以减少数据查询的时间消耗和位置。因此,层次结构的数据放置策略更适合云计算环境下的数据管理,如图<xref ref-type="fig" rid="fig2"> 2</xref>。</p> <fig id="fig2"> <label>图2</l一个bel> <p>层次结构。</p> <graphic xlink:href="//www.newsama.com/downloads/journals/ddns/2012/396387.fig.002"></graphic> </fig> <p>本文认为,大量的存储设备中异构云计算环境下的存储系统。也就是说,每一个设备的存储容量是不同的。这些存储设备分为几个设备集计数数量相对较少。存储文件数据时,它首先是位于一个设备,然后里面的文件数据存储设备集合。这样的地方在这一套设备是保证文件数据,这有助于提高数据读写速度。</p> <p>的数据放置在与多个复制文件,不同的复制相同的文件应放置到不同的设备集尽可能多。这样,当某一个存储设备内一套存储设备不能正常运行,客户端可以获得目标文件的数据位于其他设备集像往常一样。因此,它可以提高文件的可用性和可靠性。</p> <p>在层次结构的数据放置策略,当添加存储设备,它的目的是将新添加的存储设备分配给一组设备;存储设备时要删除从一个设备设置、迁移数据可以限制其他不同的存储设备在设备集。这将减少通信的开销与大量的存储设备在其他存储设备集。I / O带宽占领数据迁移期间将会减少。当一个岁的存储设备需要替换为一个新的,首先原始设备上的数据转移到新的设备。自从新更换的存储设备的性能优于原来的存储卷和读/写性能,公平是中断设备组中的每个存储设备之间的数据存储。因此,新的存储设备之间的数据迁移和其他的装置内设置以满足该集合中的每个存储设备之间公平的标准。</p> </sec> <sec id="sec6"> <title>6。算法描述</t我tle> <p>我们会组织大量的异构存储设备更少数量的设备设置。已经分组集的数量保持不变。不同的存储设备集的存储总量应保持不变。文件和各种数量的副本将被映射到不同的设备集存储使用基于半定规划的一种算法。文件中的切片设备集,然后切片的数据映射到设备使用不同的卷组使用一个动态区间映射方法。</p> <sec id="sec6.1"> <title>6.1。半定规划算法</t我tle> <p>这样的数据副本放置问题转换为寻求半定规划问题,不同的副本文件放在不同的存储设备集。同时,根据算法,该文件位于一个设备设置和存储在集合内的各种设备带带;因此,确保文件位置。文件数据可以立即访问定位一次,这样文件访问速度提高。</p> <p>函数<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M16"> <mml:mi> C</米米l:米我> <mml:mrow> <mml:mo stretchy="false"> (</米米l:米o> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> ,</米米l:米o> <mml:mi> j</米米l:米我> </mml:mrow> <mml:mo stretchy="false"> )</米米l:米o> </mml:mrow> <mml:mo> =</米米l:米o> <mml:mrow> <mml:mo stretchy="false"> (</米米l:米o> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> ,</米米l:米o> <mml:mi> j</米米l:米我> </mml:mrow> <mml:mo stretchy="false"> )</米米l:米o> </mml:mrow> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:math> </inline-formula>是正确的只有当<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M17"> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:math> </inline-formula>和<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M18"> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:math> </inline-formula>同样是两个不同的副本文件,或者什么时候<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M19"> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:math> </inline-formula>代表的副本<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M20"> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:math> </inline-formula>。如果不是这样,<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M21"> <mml:mi> C</米米l:米我> <mml:mrow> <mml:mo stretchy="false"> (</米米l:米o> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> ,</米米l:米o> <mml:mi> j</米米l:米我> </mml:mrow> <mml:mo stretchy="false"> )</米米l:米o> </mml:mrow> <mml:mo> =</米米l:米o> <mml:mn> 0</米米l:米n> </mml:math> </inline-formula>。同时,<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M22"> <mml:mi> C</米米l:米我> <mml:mrow> <mml:mo stretchy="false"> (</米米l:米o> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> ,</米米l:米o> <mml:mi> j</米米l:米我> </mml:mrow> <mml:mo stretchy="false"> )</米米l:米o> </mml:mrow> <mml:mo> =</米米l:米o> <mml:mn> 0</米米l:米n> </mml:math> </inline-formula>当<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M23"> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:math> </inline-formula>=<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M24"> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:math> </inline-formula>。一个关联矩阵<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M25"> <mml:mrow> <mml:mi> C</米米l:米我> </mml:mrow> </mml:math> </inline-formula>构造使用<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M26"> <mml:mi> C</米米l:米我> <mml:mrow> <mml:mo stretchy="false"> (</米米l:米o> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> ,</米米l:米o> <mml:mi> j</米米l:米我> </mml:mrow> <mml:mo stretchy="false"> )</米米l:米o> </mml:mrow> </mml:math> </inline-formula>。<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M27"> <mml:mrow> <mml:mi> C</米米l:米我> </mml:mrow> </mml:math> </inline-formula>能代表所有文件之间的关系,也就是说,哪些文件拥有和哪些文件副本。该算法<xref ref-type="other" rid="alg1"> 1</xref>将数据副本放置问题转化为半定规划问题的形式化描述。</p> <p id="alg1"> <list list-content="algorithm"> <title><大胆>算法1:< /大胆>正式描述。</t我tle> <list-item></list-item> </list></p> <p>半定规划问题的正式描述</p> <list-item> <p>解决方案:</p> </list-item> <list-item> <p> <inline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M28"> <mml:mrow> <mml:mrow> <mml:mi mathvariant="normal"> 最小值</米米l:米我> </mml:mrow> <mml:mo></mml:mo> <mml:mrow></mml:mrow> </mml:mrow> <mml:mrow> <mml:munderover> <mml:mo stretchy="false"> ∑</米米l:米o> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> ≠</米米l:米o> <mml:mi> j</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> n</米米l:米我> </mml:mrow> </mml:munderover> <mml:mrow> <mml:mi> C</米米l:米我> <mml:mrow> <mml:mo stretchy="false"> (</米米l:米o> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> ,</米米l:米o> <mml:mi> j</米米l:米我> </mml:mrow> <mml:mo stretchy="false"> )</米米l:米o> </mml:mrow> </mml:mrow> </mml:mrow> <mml:mo> ·</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> l</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> ·</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> l</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula></p> </list-item> <list-item> <p>让人满意的原因:</p> </list-item> <list-item> <p> <inline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M29"> <mml:msub> <mml:mrow> <mml:mi> l</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> ,</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> l</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>是单位向量;<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M30"> <mml:msub> <mml:mrow> <mml:mi> l</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> ·</米米l:米o> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> =</米米l:米o> <mml:mn mathvariant="normal"> 1</米米l:米n> </mml:math> </inline-formula></p> </list-item> <list-item> <p> <inline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M31"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> l</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>和<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M32"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> l</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>形成矩阵<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M33"> <mml:mi> l</米米l:米我> <mml:mo> =</米米l:米o> <mml:mrow> <mml:mo stretchy="false"> (</米米l:米o> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> l</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> ·</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> l</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> <mml:mo stretchy="false"> ]</米米l:米o> </mml:mrow> </mml:math> </inline-formula>和它的所有</p> </list-item> <list-item> <p> <italic> </italic>特征值大于或等于0,</p> </list-item> <list-item> <p>也就是说,矩阵<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M34"> <mml:mrow> <mml:mi> l</米米l:米我> </mml:mrow> </mml:math> </inline-formula>是半定。</p> </list-item> <p></p> <p>解决半定规划问题可以产生一个半正定矩阵<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M35"> <mml:mi> l</米米l:米我> <mml:mo> =</米米l:米o> <mml:mrow> <mml:mo stretchy="false"> (</米米l:米o> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> l</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> ·</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> l</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> <mml:mo stretchy="false"> ]</米米l:米o> </mml:mrow> </mml:math> </inline-formula>。和半正定矩阵的进一步处理<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M36"> <mml:mrow> <mml:mi> l</米米l:米我> </mml:mrow> </mml:math> </inline-formula>可以获得该设备集,每个文件复制存储在存储系统。</p> </sec> <sec id="sec6.2"> <title>6.2。动态区间映射算法</t我tle> <p>假设一些设备<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M37"> <mml:mrow> <mml:mi> D</米米l:米我> </mml:mrow> </mml:math> </inline-formula>包含<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M38"> <mml:mrow> <mml:mi> n</米米l:米我> </mml:mrow> </mml:math> </inline-formula>设备,也就是说,<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M39"> <mml:msub> <mml:mrow> <mml:mi> d</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 1</米米l:米n> </mml:mrow> </mml:msub> <mml:mo> ,</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> d</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 2</米米l:米n> </mml:mrow> </mml:msub> <mml:mo> ,</米米l:米o> <mml:mo> …</米米l:米o> <mml:mo> ,</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> d</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> n</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>。所有这些n设备有不同的卷,分别<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M40"> <mml:msub> <mml:mrow> <mml:mi> D</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 1</米米l:米n> </mml:mrow> </mml:msub> <mml:mo> ,</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> D</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 2</米米l:米n> </mml:mrow> </mml:msub> <mml:mo> ,</米米l:米o> <mml:mo> …</米米l:米o> <mml:mo> ,</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> D</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> n</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>,所以每个设备的重量体积比总量在这个设备集<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M41"> <mml:msub> <mml:mrow> <mml:mi> r</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> =</米米l:米o> <mml:mrow> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> D</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> <mml:mo> /</米米l:米o> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> D</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 1</米米l:米n> </mml:mrow> </mml:msub> </mml:mrow> </mml:mrow> <mml:mo> +</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> D</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 2</米米l:米n> </mml:mrow> </mml:msub> <mml:mo> +</米米l:米o> <mml:mo> ⋯</米米l:米o> <mml:mo> +</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> D</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> n</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>,在那里<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M42"> <mml:mi> 我</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1、2</米米l:米n> <mml:mo> ,</米米l:米o> <mml:mo> …</米米l:米o> <mml:mo> ,</米米l:米o> <mml:mi> n</米米l:米我> </mml:math> </inline-formula>和<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M43"> <mml:msub> <mml:mrow> <mml:mi> r</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 0</米米l:米n> </mml:mrow> </mml:msub> <mml:mo> =</米米l:米o> <mml:mn> 0</米米l:米n> </mml:math> </inline-formula>。众所周知,<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M44"> <mml:mrow> <mml:msubsup> <mml:mo stretchy="false"> ∑</米米l:米o> <mml:mrow> <mml:mi> t</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mrow> <mml:mi> n</米米l:米我> </mml:mrow> </mml:msubsup> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> r</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> </mml:mrow> </mml:math> </inline-formula>。然后我们的子区间段的长度<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M45"> <mml:msub> <mml:mrow> <mml:mi> w</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> =</米米l:米o> <mml:mrow> <mml:mo stretchy="false"> (</米米l:米o> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> r</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> - - - - - -</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> </mml:msub> <mml:mo> ,</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> r</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> - - - - - -</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> </mml:msub> <mml:mo> +</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> r</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> <mml:mo stretchy="false"> ]</米米l:米o> </mml:mrow> </mml:math> </inline-formula>为每个设备<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M46"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> D</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>在这一期间<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M47"> <mml:mo stretchy="false"> (</米米l:米o> <mml:mn> 0</米米l:米n> <mml:mo> ,</米米l:米o> <mml:mi></mml:mi> <mml:mn> 1</米米l:米n> <mml:mo stretchy="false"> ]</米米l:米o> </mml:math> </inline-formula>。当文件分配到一套设备,它分为数据块集<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M48"> <mml:mi> 年代</米米l:米我> <mml:mo> :</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> 年代</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 1</米米l:米n> </mml:mrow> </mml:msub> <mml:mo> ,</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> 年代</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 2</米米l:米n> </mml:mrow> </mml:msub> <mml:mo> ,</米米l:米o> <mml:mo> …</米米l:米o> <mml:mo> ,</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> 年代</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 米</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>相同的大小,然后<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M49"> <mml:mrow> <mml:mi> 米</米米l:米我> </mml:mrow> </mml:math> </inline-formula>数据块被映射到设备设置不同的权重值(算法<xref ref-type="other" rid="alg2"> 2</xref>)。</p> <p id="alg2"> <list list-content="algorithm"> <title><大胆>算法2:< /大胆>正式描述。</t我tle> <list-item></list-item> </list></p> <p>算法的伪代码</p> <list-item> <p>初始化:</p> </list-item> <list-item> <p>设备组<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M50"> <mml:mrow> <mml:mi> D</米米l:米我> </mml:mrow> </mml:math> </inline-formula>,数据集<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M51"> <mml:mrow> <mml:mi> 年代</米米l:米我> </mml:mrow> </mml:math> </inline-formula>,子区间<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M52"> <mml:mrow> <mml:mi> w</米米l:米我> </mml:mrow> </mml:math> </inline-formula>;</p> </list-item> <list-item> <p>输入:数据块<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M53"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 年代</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula></p> </list-item> <list-item> <p>主要项目:<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M54"> <mml:mi> k</米米l:米我> <mml:mo> =</米米l:米o> <mml:mi> h</米米l:米我> <mml:mrow> <mml:mo stretchy="false"> (</米米l:米o> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 年代</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> <mml:mo stretchy="false"> )</米米l:米o> </mml:mrow> </mml:math> </inline-formula>;</p> </list-item> <list-item> <p> <inline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M55"> <mml:mtext> 为</米米l:米text> <mml:mrow> <mml:mo stretchy="false"> (</米米l:米o> <mml:mrow> <mml:mi> j</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn mathvariant="normal"> 1</米米l:米n> <mml:mo> ;</米米l:米o> <mml:mi> j</米米l:米我> <mml:mo> <</米米l:米o> <mml:mi> n</米米l:米我> <mml:mo> ;</米米l:米o> <mml:mi> j</米米l:米我> <mml:mo> +</米米l:米o> <mml:mo> +</米米l:米o> </mml:mrow> <mml:mo stretchy="false"> )</米米l:米o> </mml:mrow> </mml:math> </inline-formula></p> </list-item> <list-item> <p> <inline-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M56"> <mml:mtext> 如果</米米l:米text> <mml:mrow> <mml:mo stretchy="false"> (</米米l:米o> <mml:mrow> <mml:mi> k</米米l:米我> <mml:mo> ∈</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> w</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> <mml:mo stretchy="false"> )</米米l:米o> </mml:mrow> </mml:math> </inline-formula></p> </list-item> <list-item> <p>将数据块<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M57"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 年代</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>在设备上<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M58"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> d</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula></p> </list-item> <list-item> <p>输出:数据量存储在设备上<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M59"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> d</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula></p> </list-item> <p></p> <p>哈希函数<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M60"> <mml:mi> h</米米l:米我> <mml:mrow> <mml:mo stretchy="false"> (</米米l:米o> <mml:mrow> <mml:mi> 年代</米米l:米我> </mml:mrow> <mml:mo stretchy="false"> )</米米l:米o> </mml:mrow> <mml:mo> :</米米l:米o> <mml:mo> →</米米l:米o> <mml:mo stretchy="false"> (</米米l:米o> <mml:mn> 0 1</米米l:米n> <mml:mo stretchy="false"> ]</米米l:米o> </mml:math> </inline-formula>用于数据块映射到区间<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M61"> <mml:mo stretchy="false"> (</米米l:米o> <mml:mn> 0</米米l:米n> <mml:mo> ,</米米l:米o> <mml:mi></mml:mi> <mml:mn> 1</米米l:米n> <mml:mo stretchy="false"> ]</米米l:米o> </mml:math> </inline-formula>。如果<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M62"> <mml:mi> h</米米l:米我> <mml:mo stretchy="false"> (</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> 年代</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo stretchy="false"> )</米米l:米o> <mml:mo> ∈</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> w</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>,那么数据块<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M63"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 年代</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>分配给设备映射的间隔<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M64"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> w</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>。</p> </sec> </sec> <sec id="sec7"> <title>7所示。实验和分析</t我tle> <p>本文分层数据放置两个关键算法,即半定规划(SDP)算法和动态区间映射算法,在Matlab平台上实现。矩阵是Matlab语言的基本单位,可直接用于矩阵计算。因此,可以直接应用Matlab优化、线性规划等解决复杂的问题。半定规划问题我们需要解决本文将描述一个数学形式化的矩阵。此外,它很容易形式化一个动态区间映射问题转化为一个正式的矩阵,这是适合在Matlab环境中实现。同时,Matlab一组丰富的工具箱和模块特性。为了寻求半定规划问题的解,一个提供支持Matlab工具箱解决SDP问题应该安装。</p> <sec id="sec7.1"> <title>7.1。公平分析半定规划算法</t我tle> <p>假设每个文件有5份。然后,分别分发100年、200年、300年和400年文件到10设备集和20设备集使用半定规划方法。部署图所示<xref ref-type="fig" rid="fig3"> 3</xref>和<xref ref-type="fig" rid="fig4"> 4</xref>。实验表明,文件可以相当均匀分布到多个设备集使用半定的编程。说明,这种方法可以确保文件数据布局的公平。</p> <fig id="fig3"> <label>图3</l一个bel> <p>文件分布在10设备集。</p> <graphic xlink:href="//www.newsama.com/downloads/journals/ddns/2012/396387.fig.003"></graphic> </fig> <fig id="fig4"> <label>图4</l一个bel> <p>文件分布在10设备集。</p> <graphic xlink:href="//www.newsama.com/downloads/journals/ddns/2012/396387.fig.004"></graphic> </fig> </sec> <sec id="sec7.2"> <title>7.2。可靠性分析半定规划算法</t我tle> <p>现在让我们进一步讨论的情况下放置5份相同的文件,也就是说,问题关于是否所有5份相同的文件被放置到不同的设备集。如表所示<xref ref-type="table" rid="tab1"> 1</xref>(2000份),当400年文件分发给10到20设备集,所有的5份,299年和372年分别设置文件是完全分布式的5种不同的设备。其他文件不包括这些副本未能做到这一点。有2的5份一个文件分配给相同的设备集。因此,半定规划算法表现出更好的性能来分配不同的文件复制到不同的存储设备。因此,由于设备故障数据丢失的概率降低,和数据可靠性提高。</p> <table-wrap id="tab1"> <label>表1</l一个bel> <p>复制的分布情况。</p> <table> <thead> <tr> <th align="left">复制分布</th> <th align="center">10设备集</th> <th align="center">20设备集</th> </tr> </thead> <tbody> <tr> <td align="left">100个文件(500复制)</td> <td align="center">79年</td> <td align="center">93年</td> </tr> <tr> <td align="left">200个文件(1000复制)</td> <td align="center">154年</td> <td align="center">186年</td> </tr> <tr> <td align="left">300个文件(1500复制)</td> <td align="center">237年</td> <td align="center">266年</td> </tr> <tr> <td align="left">400个文件(2000复制)</td> <td align="center">299年</td> <td align="center">372年</td> </tr> </tbody> </table> </table-wrap> <p>基于随机函数的原理,它可以推断为数据分配给每个子区间的概率使用动态区间映射算法每个区间的长度成正比。同样,所有设备内的设备的数据量正比于它的开销。已经证明,当存储设备内的存储节点设置改变,动态区间映射方法可以最小化数据迁移的开销的条件下存储节点的数量不是非常高的。这消除了管理费用的变化所导致的沟通和迁移数据存储节点的数量,当直接管理一个非常大量的存储设备。添加一个新设备,每个设备在设备占用的子区间设置相应的变化,重新分配的时间间隔被现有的设备和相应的数据块的新设备,以实现公平。通信和数据传输的开销仅局限于少数设备内部的设备设置。</p> </sec> <sec id="sec7.3"> <title>7.3。公平分析动态区间映射算法</t我tle> <p>首先,公平的动态区间映射算法进行测试。让我们看一看该文件数据量存储在每个存储设备在设备集。当1000文件存储在设备集,100个文件存储在没有。5设备设置为显示在图<xref ref-type="fig" rid="fig3"> 3</xref>。然后,我们假设里面有10个存储设备。5设备集。剥夺了到1500年和100年的文件数据,存储到10存储设备通过动态区间映射算法。所有这些10存储设备,每个设备的存储卷的百分比存储总量,以及区间长度(<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M65"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> w</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>)对应于这一比例见表<xref ref-type="table" rid="tab2"> 2</xref>。</p> <table-wrap id="tab2"> <label>表2</l一个bel> <p>存储每个设备的比例相对于总存储卷。</p> <table> <thead> <tr> <th align="left">设备代码</th> <th align="center">1号</th> <th align="center">2号</th> <th align="center">3号</th> <th align="center">4号</th> <th align="center">5号</th> <th align="center">6号</th> <th align="center">7号</th> <th align="center">8号</th> <th align="center">9号</th> <th align="center">10号</th> </tr> </thead> <tbody> <tr> <td align="left">%</td> <td align="center">5</td> <td align="center">10</td> <td align="center">16</td> <td align="center">11</td> <td align="center">20.</td> <td align="center">9</td> <td align="center">8</td> <td align="center">10</td> <td align="center">6</td> <td align="center">5</td> </tr> <tr> <td align="left" colspan="11"> <hr></td> </tr> <tr> <td align="left" rowspan="3">时间间隔</td> <td align="center">0</td> <td align="center">0.05</td> <td align="center">0.15</td> <td align="center">0.31</td> <td align="center">0.42</td> <td align="center">0.62</td> <td align="center">0.71</td> <td align="center">0.79</td> <td align="center">0.89</td> <td align="center">0.95</td> </tr> <tr> <td align="center">~</td> <td align="center">~</td> <td align="center">~</td> <td align="center">~</td> <td align="center">~</td> <td align="center">~</td> <td align="center">~</td> <td align="center">~</td> <td align="center">~</td> <td align="center">~</td> </tr> <tr> <td align="center">0.05</td> <td align="center">0.15</td> <td align="center">0.31</td> <td align="center">0.42</td> <td align="center">0.62</td> <td align="center">0.71</td> <td align="center">0.79</td> <td align="center">0.89</td> <td align="center">0.95</td> <td align="center">1</td> </tr> </tbody> </table> </table-wrap> <p>基于动态区间映射算法和上述的每个存储设备,剥夺了1500条数据都存储在这10个存储设备。理论分配情况如表所示<xref ref-type="table" rid="tab3"> 3</xref>。</p> <table-wrap id="tab3"> <label>表3</l一个bel> <p>10日理论数据分配存储设备。</p> <table> <thead> <tr> <th align="left">设备代码</th> <th align="center">1号</th> <th align="center">2号</th> <th align="center">3号</th> <th align="center">4号</th> <th align="center">5号</th> <th align="center">6号</th> <th align="center">7号</th> <th align="center">8号</th> <th align="center">9号</th> <th align="center">10号</th> </tr> </thead> <tbody> <tr> <td align="left">数据分配</td> <td align="center">75年</td> <td align="center">150年</td> <td align="center">240年</td> <td align="center">165年</td> <td align="center">300年</td> <td align="center">135年</td> <td align="center">120年</td> <td align="center">150年</td> <td align="center">90年</td> <td align="center">75年</td> </tr> </tbody> </table> </table-wrap> <p>实现动态区间映射算法时,哈希函数<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M66"> <mml:mi> h</米米l:米我> <mml:mo stretchy="false"> (</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> 年代</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo stretchy="false"> )</米米l:米o> </mml:math> </inline-formula>用于地图数据块吗<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M67"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 年代</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>之间的一个随机数<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M68"> <mml:mo stretchy="false"> (</米米l:米o> <mml:mn> 0 1</米米l:米n> <mml:mo stretchy="false"> )</米米l:米o> </mml:math> </inline-formula>。如果<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M69"> <mml:mi> h</米米l:米我> <mml:mo stretchy="false"> (</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> 年代</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo stretchy="false"> )</米米l:米o> <mml:mo> ∈</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> w</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>,<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M70"> <mml:mo stretchy="false"> (</米米l:米o> <mml:mn> 0</米米l:米n> <mml:mo> <</米米l:米o> <mml:mi> j</米米l:米我> <mml:mo> ≤</米米l:米o> <mml:mn> 10</米米l:米n> <mml:mo stretchy="false"> )</米米l:米o> </mml:math> </inline-formula>,数据块<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M71"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 年代</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>被放置到存储设备<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M72"> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:math> </inline-formula>。因此,所有的1500条数据存储到存储设备。比较实际的分配情况和理论情况如图<xref ref-type="fig" rid="fig5"> 5</xref>。</p> <fig id="fig5"> <label>图5</l一个bel> <p>比较实际和理论之间的分配。</p> <graphic xlink:href="//www.newsama.com/downloads/journals/ddns/2012/396387.fig.005"></graphic> </fig> </sec> <sec id="sec7.4"> <title>7.4。对动态区间映射算法自适应性分析</t我tle> <p>让我们测试动态区间映射算法的自适应性。删除存储设备的情况下,添加一个新的存储设备,分别考虑。</p> <sec id="sec7.4.1"> <title>7.4.1。删除存储设备</t我tle> <p>让我们检查文件数据量之间的迁移其他存储设备,存储设备从设备集。例如,删除表<xref ref-type="table" rid="tab4"> 4</xref>当没有显示的情况。7设备从设备中删除组。每个剩余设备的储存容量的百分比,和相对应的区间长度百分比如表所示<xref ref-type="table" rid="tab4"> 4</xref>。</p> <table-wrap id="tab4"> <label>表4</l一个bel> <table> <thead> <tr> <th align="left">设备代码</th> <th align="center">1号</th> <th align="center">2号</th> <th align="center">3号</th> <th align="center">4号</th> <th align="center">5号</th> <th align="center">6号</th> <th align="center">7号</th> <th align="center">8号</th> <th align="center">9号</th> <th align="center">10号</th> </tr> </thead> <tbody> <tr> <td align="left">%</td> <td align="center">5。4</td> <td align="center">10.9</td> <td align="center">17.4</td> <td align="center">12</td> <td align="center">21.7</td> <td align="center">9.8</td> <td align="center">0</td> <td align="center">10.9</td> <td align="center">6。5</td> <td align="center">5。4</td> </tr> <tr> <td align="left" colspan="11"> <hr></td> </tr> <tr> <td align="left" rowspan="3">时间间隔</td> <td align="center">0</td> <td align="center">0.054</td> <td align="center">0.163</td> <td align="center">0.337</td> <td align="center">0.457</td> <td align="center">0.674</td> <td align="center">0</td> <td align="center">0.797</td> <td align="center">0.881</td> <td align="center">0.946</td> </tr> <tr> <td align="center">~</td> <td align="center">~</td> <td align="center">~</td> <td align="center">~</td> <td align="center">~</td> <td align="center">~</td> <td align="center">~</td> <td align="center">~</td> <td align="center">~</td> <td align="center">~</td> </tr> <tr> <td align="center">0.054</td> <td align="center">0.163</td> <td align="center">0.337</td> <td align="center">0.457</td> <td align="center">0.674</td> <td align="center">0.772</td> <td align="center">0</td> <td align="center">0.881</td> <td align="center">0.946</td> <td align="center">1</td> </tr> </tbody> </table> </table-wrap> <p>当删除。7存储设备,设备的数据迁移到其余9存储设备。变化的情况与实际数据迁移图所示<xref ref-type="fig" rid="fig6"> 6</xref>。</p> <fig id="fig6"> <label>图6</l一个bel> <p>数据迁移后删除。7设备。</p> <graphic xlink:href="//www.newsama.com/downloads/journals/ddns/2012/396387.fig.006"></graphic> </fig> <p>从图<xref ref-type="fig" rid="fig7"> 7</xref>上图中,我们可以看到,在删除的。剩余7设备,这些设备集中存储设备仍然可以根据存储数据的比例每一个存储卷的总剩余的存储卷。</p> <fig id="fig7"> <label>图7</l一个bel> <p>对比实际和理论分配后删除。7设备。</p> <graphic xlink:href="//www.newsama.com/downloads/journals/ddns/2012/396387.fig.007"></graphic> </fig> </sec> <sec id="sec7.4.2"> <title>7.4.2。添加一个新的存储设备</t我tle> <p>现在让我们检查添加到存储设备时,设备集。此案是类似于上述情况删除存储设备。我们会按照以下步骤如下。<l我年代t> <list-item> <label>(1)</l一个bel> </list-item> </list></p> <p>首先,当一个新的存储设备添加到设备,每个设备的比例相对于总存储卷重新计算。和间隔的长度(<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M73"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> w</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>)对应于这一比例也重新定义了。</p> <list-item> <label>(2)</l一个bel> <p>然后最初的区间长度的区别,添加后的修改一个计算存储设备。和相对应的数据长度的区别是如何被迁移到新的存储设备。</p> </list-item> <list-item> <label>(3)</l一个bel> <p>动态区间映射算法将数据迁移到新添加的存储设备。哈希函数<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M74"> <mml:mi> h</米米l:米我> <mml:mo stretchy="false"> (</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> 年代</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo stretchy="false"> )</米米l:米o> </mml:math> </inline-formula>是用于将数据映射地带<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M75"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 年代</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>之间的一个随机数(0,1)如果<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M76"> <mml:mi> h</米米l:米我> <mml:mo stretchy="false"> (</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> 年代</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo stretchy="false"> )</米米l:米o> <mml:mo> ∈</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> w</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>,<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M77"> <mml:mrow> <mml:mo stretchy="false"> (</米米l:米o> <mml:mrow> <mml:mn> 0</米米l:米n> <mml:mo> <</米米l:米o> <mml:mi> j</米米l:米我> <mml:mo> ≤</米米l:米o> <mml:mn> 10</米米l:米n> </mml:mrow> <mml:mo stretchy="false"> )</米米l:米o> </mml:mrow> </mml:math> </inline-formula>,数据块<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M78"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 年代</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:math> </inline-formula>被放置在设备<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M79"> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:math> </inline-formula>。</p> </list-item> <p></p> </sec> </sec> </sec> <sec id="sec8"> <title>8。结论</t我tle> <p>一个层次结构提出了云计算环境下数据布局算法。该算法结合了半定规划算法和动态区间映射方法。半定规划方法将数据文件的复制分发给分组设备集。实验表明,该方法能保证数据可靠性和高速文件可访问性。动态区间映射方法可以分发数据相当设备内与不同的卷设备集。理论上证明了此方法的自适应性。</p> </sec> <back> <ack> <title>确认</t我tle> <p>这项研究得到了国家自然科学基金(通用项目)(批准号61272029),国家关键技术研发项目(批准号:2009年BAG12A10), China Railway Ministry Major Program (2008G017-A), and State Key Laboratory of Rail Traffic Control and Safety, Beijing Jiaotong University, China (Contract no. RCS2009ZT007).</p> </ack> <ref-list> <ref id="B1" content-type="article"> <label>1</l一个bel> <nlm-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 张</年代urname> <given-names> Q。</given-names> </name> <name> <surname> 程</年代urname> <given-names> l</given-names> </name> <name> <surname> Boutaba</年代urname> <given-names> R。</given-names> </name> </person-group> <article-title> 云计算:最先进的和研究的挑战</一个rt我cle-title> <source> <italic> 《互联网服务和应用程序</我t一个l我c> <year> 2010年</year> <volume> 1</volume> <issue> 1</我年代年代ue> <fpage> 7</fpage> <lpage> 18</lpage> <pub-id pub-id-type="other"> 2 - s2.0 - 78649302229</pub-id> <pub-id pub-id-type="doi"> 10.1007 / s13174 - 010 - 0007 - 6</pub-id> </nlm-citation> </ref> <ref id="B2" content-type="inproceedings"> <label>2</l一个bel> <nlm-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> Miceli</年代urname> <given-names> C。</given-names> </name> <name> <surname> Miceli</年代urname> <given-names> M。</given-names> </name> <name> <surname> 杰哈</年代urname> <given-names> 年代。</given-names> </name> <name> <surname> 凯撒</年代urname> <given-names> H。</given-names> </name> <name> <surname> Merzky</年代urname> <given-names> 一个。</given-names> </name> </person-group> <article-title> 编程抽象数据密集型计算和网格的云层上</一个rt我cle-title> <conf-name> 学报》第九届IEEE / ACM国际研讨会集群计算和网格(CCGRID ' 09)</conf-name> <conf-date> 2009年5月</conf-date> <conf-loc> 中国上海</conf-loc> <fpage> 478年</fpage> <lpage> 483年</lpage> <pub-id pub-id-type="other"> 2 - s2.0 - 70349755440</pub-id> <pub-id pub-id-type="doi"> 10.1109 / CCGRID.2009.87</pub-id> </nlm-citation> </ref> <ref id="B3" content-type="article"> <label>3</l一个bel> <nlm-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> Liua</年代urname> <given-names> K。</given-names> </name> <name> <surname> 越南盾</年代urname> <given-names> l . J。</given-names> </name> </person-group> <article-title> 云数据存储技术研究及其架构实现</一个rt我cle-title> <source> <italic> Procedia工程</我t一个l我c> <year> 2012年</year> <volume> 29日</volume> <fpage> 133年</fpage> <lpage> 137年</lpage> <pub-id pub-id-type="doi"> 10.1016 / j.proeng.2011.12.682</pub-id> </nlm-citation> </ref> <ref id="B4" content-type="article"> <label>4</l一个bel> <nlm-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 马</年代urname> <given-names> J。</given-names> </name> </person-group> <article-title> 为数字化项目管理元数据</一个rt我cle-title> <source> <italic> 图书馆收藏,收购和技术服务</我t一个l我c> <year> 2006年</year> <volume> 30.</volume> <issue> 1 - 2</我年代年代ue> <fpage> 3</fpage> <lpage> 17</lpage> <pub-id pub-id-type="other"> 2 - s2.0 - 33749537057</pub-id> <pub-id pub-id-type="doi"> 10.1016 / j.lcats.2006.07.001</pub-id> </nlm-citation> </ref> <ref id="B5" content-type="article"> <label>5</l一个bel> <nlm-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 王</年代urname> <given-names> W。</given-names> </name> <name> <surname> 张</年代urname> <given-names> W。</given-names> </name> <name> <surname> 郭</年代urname> <given-names> H。</given-names> </name> <name> <surname> Bubb</年代urname> <given-names> H。</given-names> </name> <name> <surname> Ikeuchi</年代urname> <given-names> K。</given-names> </name> </person-group> <article-title> 基于接近与不同的驾驶行为模型特征</一个rt我cle-title> <source> <italic> 交通研究C</我t一个l我c> <year> 2011年</year> <volume> 19</volume> <issue> 6</我年代年代ue> <fpage> 1202年</fpage> <lpage> 1214年</lpage> <pub-id pub-id-type="other"> 2 - s2.0 - 79952054517</pub-id> <pub-id pub-id-type="doi"> 10.1016 / j.trc.2011.02.002</pub-id> </nlm-citation> </ref> <ref id="B6" content-type="book"> <label>6</l一个bel> <nlm-citation publication-type="book"> <person-group person-group-type="author"> <name> <surname> 王</年代urname> <given-names> W。</given-names> </name> </person-group> <source> <italic> 车辆的安全和驾驶员辅助人机交互</我t一个l我c> <year> 2012年</year> <publisher-loc> 中国,北京</publisher-loc> <publisher-name> 中国通信媒体</publisher-name> </nlm-citation> </ref> <ref id="B7" content-type="incollection"> <label>7</l一个bel> <nlm-citation publication-type="book"> <person-group person-group-type="author"> <name> <surname> Tran</年代urname> <given-names> 诉T。</given-names> </name> <name> <surname> Antoniu</年代urname> <given-names> G。</given-names> </name> <name> <surname> 尼古拉·</年代urname> <given-names> B。</given-names> </name> <name> <surname> Bouge</年代urname> <given-names> l</given-names> </name> <name> <surname> Tatebe</年代urname> <given-names> O。</given-names> </name> </person-group> <article-title> 对网格文件系统基于大规模的BLOB管理服务</一个rt我cle-title> <source> <italic> 计算网格、P2P和服务</我t一个l我c> <year> 2010年</year> <fpage> 7</fpage> <lpage> 19</lpage> </nlm-citation> </ref> <ref id="B8" content-type="article"> <label>8</l一个bel> <nlm-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> Amsaleg</年代urname> <given-names> l</given-names> </name> <name> <surname> 富兰克林</年代urname> <given-names> m·J。</given-names> </name> <name> <surname> Tomasic</年代urname> <given-names> 一个。</given-names> </name> <name> <surname> Urhan</年代urname> <given-names> T。</given-names> </name> </person-group> <article-title> 改善广域数据访问的响应能力</一个rt我cle-title> <source> <italic> 工程数据</我t一个l我c> <year> 1997年</year> <volume> 20.</volume> <fpage> 3</fpage> <lpage> 11</lpage> </nlm-citation> </ref> <ref id="B9" content-type="article"> <label>9</l一个bel> <nlm-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> Deshpande</年代urname> <given-names> 一个。</given-names> </name> <name> <surname> 艾夫斯</年代urname> <given-names> Z。</given-names> </name> </person-group> <article-title> 自适应查询处理</一个rt我cle-title> <source> <italic> 基础和趋势数据库</我t一个l我c> <year> 2007年</year> <volume> 1</volume> <issue> 1</我年代年代ue> <fpage> 1</fpage> <lpage> 140年</lpage> <pub-id pub-id-type="other"> ZBL1198.68127</pub-id> </nlm-citation> </ref> <ref id="B10" content-type="inproceedings"> <label>10</l一个bel> <nlm-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 格玛沃特</年代urname> <given-names> 年代。</given-names> </name> <name> <surname> Gobioff</年代urname> <given-names> H。</given-names> </name> <name> <surname> 梁</年代urname> <given-names> s T。</given-names> </name> </person-group> <article-title> google文件系统</一个rt我cle-title> <conf-name> 19 ACM学报》研讨会上操作系统原理(SOSP ' 03)</conf-name> <conf-date> 2003年10月</conf-date> <conf-loc> 纽约,纽约,美国</conf-loc> <publisher-name> ACM</publisher-name> <fpage> 29日</fpage> <lpage> 43</lpage> <pub-id pub-id-type="other"> 2 - s2.0 - 21644437974</pub-id> </nlm-citation> </ref> <ref id="B11" content-type="misc"> <label>11</l一个bel> <nlm-citation publication-type="other"> <person-group person-group-type="author"> <name> <surname> Apache Hadoop</年代urname> </name> </person-group> <comment> <ext-link ext-link-type="url" xlink:href="http://hadoop.apache.org/"> http://hadoop.apache.org/</ext-link> </comment> </nlm-citation> </ref> <ref id="B12" content-type="misc"> <label>12</l一个bel> <nlm-citation publication-type="other"> <article-title> Hadoop分布式文件系统</一个rt我cle-title> <comment> <ext-link ext-link-type="url" xlink:href="http://hadoop.apache.org/docs/r0.18.0/hdfs_design.pdf"> http://hadoop.apache.org/docs/r0.18.0/hdfs_design.pdf</ext-link> </comment> </nlm-citation> </ref> <ref id="B13" content-type="misc"> <label>13</l一个bel> <nlm-citation publication-type="other"> <person-group person-group-type="author"> <name> <surname> Amazon Elastic MapReduce</年代urname> </name> </person-group> <comment> <ext-link ext-link-type="url" xlink:href="http://aws.amazon.com/elasticmapreduce/"> http://aws.amazon.com/elasticmapreduce/</ext-link> </comment> </nlm-citation> </ref> <ref id="B14" content-type="inproceedings"> <label>14</l一个bel> <nlm-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 道</年代urname> <given-names> J。</given-names> </name> <name> <surname> Kunze</年代urname> <given-names> M。</given-names> </name> <name> <surname> 卡斯特罗</年代urname> <given-names> a . C。</given-names> </name> <name> <surname> 王</年代urname> <given-names> l</given-names> </name> <name> <surname> 克莱默</年代urname> <given-names> D。</given-names> </name> <name> <surname> 卡尔</年代urname> <given-names> W。</given-names> </name> </person-group> <article-title> 科学云计算:早期的定义和经验</一个rt我cle-title> <conf-name> 第十届IEEE国际研讨会论文集在高性能计算和通信(HPCC ' 08)</conf-name> <conf-date> 2008年9月</conf-date> <conf-loc> 大连,中国</conf-loc> <fpage> 825年</fpage> <lpage> 830年</lpage> <pub-id pub-id-type="other"> 2 - s2.0 - 56349161277</pub-id> <pub-id pub-id-type="doi"> 10.1109 / HPCC.2008.38</pub-id> </nlm-citation> </ref> <ref id="B15" content-type="inproceedings"> <label>15</l一个bel> <nlm-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 翟</年代urname> <given-names> Y。</given-names> </name> <name> <surname> 刘</年代urname> <given-names> M。</given-names> </name> <name> <surname> 翟</年代urname> <given-names> J。</given-names> </name> <name> <surname> 马</年代urname> <given-names> X。</given-names> </name> </person-group> <article-title> 亚马逊云与内部集群:评估集群MPI运行应用程序的计算实例</一个rt我cle-title> <conf-name> 诉讼SC的11个国家的实践报告</conf-name> <conf-date> 2011年</conf-date> </nlm-citation> </ref> <ref id="B16" content-type="inproceedings"> <label>16</l一个bel> <nlm-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> Evangelinos</年代urname> <given-names> C . h . C。</given-names> </name> </person-group> <article-title> 云计算为并行科学HPC应用程序:运行的可行性耦合气候模型对Amazon的EC2硕士</一个rt我cle-title> <conf-name> 学报第一云计算及其应用研讨会(CCA ' 08)</conf-name> <conf-date> 2008年10月</conf-date> </nlm-citation> </ref> <ref id="B17" content-type="inproceedings"> <label>17</l一个bel> <nlm-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 肉</年代urname> <given-names> p . H。</given-names> </name> <name> <surname> 利贡</年代urname> <given-names> i W。</given-names> </name> <name> <surname> 罗斯</年代urname> <given-names> R。</given-names> </name> <name> <surname> Thakur</年代urname> <given-names> R。</given-names> </name> </person-group> <article-title> PVFS: linux集群的并行文件系统</一个rt我cle-title> <conf-name> 第四届年度Linux展示和会议学报》上</conf-name> <conf-date> 2000年</conf-date> <conf-loc> 亚特兰大,乔治亚州,美国</conf-loc> </nlm-citation> </ref> <ref id="B18" content-type="misc"> <label>18</l一个bel> <nlm-citation publication-type="other"> <article-title> 云计算与并行存储</一个rt我cle-title> <comment> <ext-link ext-link-type="url" xlink:href="http://www.panasas.com/blog/cloud-computing-with-parallel-storage"> http://www.panasas.com/blog/cloud-computing-with-parallel-storage</ext-link> </comment> </nlm-citation> </ref> <ref id="B19" content-type="article"> <label>19</l一个bel> <nlm-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 元</年代urname> <given-names> D。</given-names> </name> <name> <surname> 杨</年代urname> <given-names> Y。</given-names> </name> <name> <surname> 刘</年代urname> <given-names> X。</given-names> </name> <name> <surname> 程ydF4y2Ba</surname> <given-names> J。</given-names> </name> </person-group> <article-title> 在科学云工作流数据放置策略</一个rt我cle-title> <source> <italic> 未来一代计算机系统</我t一个l我c> <year> 2010年</year> <volume> 26</volume> <issue> 8</我年代年代ue> <fpage> 1200年</fpage> <lpage> 1214年</lpage> <pub-id pub-id-type="other"> 2 - s2.0 - 77955511626</pub-id> <pub-id pub-id-type="doi"> 10.1016 / j.future.2010.02.004</pub-id> </nlm-citation> </ref> <ref id="B20" content-type="article"> <label>20.</l一个bel> <nlm-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> Maheshwari</年代urname> <given-names> N。</given-names> </name> <name> <surname> Nanduri</年代urname> <given-names> R。</given-names> </name> <name> <surname> Varma</年代urname> <given-names> V。</given-names> </name> </person-group> <article-title> 动态节能数据放置和集群MapReduce框架重构算法</一个rt我cle-title> <source> <italic> 未来一代计算机系统</我t一个l我c> <year> 2012年</year> <volume> 28</volume> <issue> 1</我年代年代ue> <fpage> 119年</fpage> <lpage> 127年</lpage> <pub-id pub-id-type="doi"> 10.1016 / j.future.2011.07.001</pub-id> </nlm-citation> </ref> <ref id="B21" content-type="article"> <label>21</l一个bel> <nlm-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 迪安</年代urname> <given-names> J。</given-names> </name> <name> <surname> 格玛沃特</年代urname> <given-names> 年代。</given-names> </name> </person-group> <article-title> MapReduce:简化数据处理大型集群</一个rt我cle-title> <source> <italic> ACM的通信</我t一个l我c> <year> 2008年</year> <volume> 51</volume> <issue> 1</我年代年代ue> <fpage> 107年</fpage> <lpage> 113年</lpage> <pub-id pub-id-type="other"> 2 - s2.0 - 37549003336</pub-id> <pub-id pub-id-type="doi"> 10.1145/1327452.1327492</pub-id> </nlm-citation> </ref> <ref id="B22" content-type="inproceedings"> <label>22</l一个bel> <nlm-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 时</年代urname> <given-names> R。</given-names> </name> <name> <surname> 詹金斯</年代urname> <given-names> B。</given-names> </name> <name> <surname> 拉森</年代urname> <given-names> p。</given-names> </name> <name> <surname> 拉姆齐</年代urname> <given-names> B。</given-names> </name> </person-group> <article-title> 范围:简单和高效的并行处理大规模数据集</一个rt我cle-title> <volume> 1 - 2</volume> <conf-name> 《VLDB养老VLDB养老Hompage档案</conf-name> <conf-date> 2008年</conf-date> <fpage> 1265年</fpage> <lpage> 1276年</lpage> <pub-id pub-id-type="other"> 1753410</pub-id> <pub-id pub-id-type="other"> ZBL0963.68012</pub-id> </nlm-citation> </ref> <ref id="B23" content-type="incollection"> <label>23</l一个bel> <nlm-citation publication-type="book"> <person-group person-group-type="author"> <name> <surname> Karger</年代urname> <given-names> D。</given-names> </name> <name> <surname> 雷曼兄弟</年代urname> <given-names> E。</given-names> </name> <name> <surname> 雷顿</年代urname> <given-names> T。</given-names> </name> <name> <surname> Panigrahy</年代urname> <given-names> R。</given-names> </name> </person-group> <article-title> 一致性哈希和随机树:分布式缓存协议缓解热点在万维网上</一个rt我cle-title> <source> <italic> 《第29届ACM计算理论研讨会上(97年获得STOC”)</我t一个l我c> <year> 1999年</year> <publisher-loc> 纽约,纽约,美国</publisher-loc> <publisher-name> ACM</publisher-name> <fpage> 654年</fpage> <lpage> 663年</lpage> <pub-id pub-id-type="other"> 1753410</pub-id> </nlm-citation> </ref> <ref id="B25" content-type="inproceedings"> <label>24</l一个bel> <nlm-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> Dhok</年代urname> <given-names> J。</given-names> </name> <name> <surname> Maheshwari</年代urname> <given-names> N。</given-names> </name> <name> <surname> Varma</年代urname> <given-names> V。</given-names> </name> </person-group> <article-title> 基于学习的机会入学MapReduce服务的控制算法</一个rt我cle-title> <conf-name> 第三,印度软件工程研讨会论文集(“ISEC 10)</conf-name> <conf-date> 2010年2月</conf-date> <conf-loc> 迈索尔,印度</conf-loc> <publisher-name> ACM</publisher-name> <fpage> 153年</fpage> <lpage> 160年</lpage> <pub-id pub-id-type="other"> 2 - s2.0 - 77951434450</pub-id> <pub-id pub-id-type="doi"> 10.1145/1730874.1730903</pub-id> </nlm-citation> </ref> <ref id="B26" content-type="article"> <label>25</l一个bel> <nlm-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> Buyya</年代urname> <given-names> R。</given-names> </name> <name> <surname> 杨</年代urname> <given-names> c·S。</given-names> </name> <name> <surname> Venugopal</年代urname> <given-names> 年代。</given-names> </name> <name> <surname> Broberg</年代urname> <given-names> J。</given-names> </name> <name> <surname> Brandic</年代urname> <given-names> 我。</given-names> </name> </person-group> <article-title> 云计算和新兴IT平台:愿景、炒作,和现实提供计算第五效用</一个rt我cle-title> <source> <italic> 未来一代计算机系统</我t一个l我c> <year> 2009年</year> <volume> 25</volume> <issue> 6</我年代年代ue> <fpage> 599年</fpage> <lpage> 616年</lpage> <pub-id pub-id-type="other"> 2 - s2.0 - 63649117166</pub-id> <pub-id pub-id-type="doi"> 10.1016 / j.future.2008.12.001</pub-id> </nlm-citation> </ref> <ref id="B27" content-type="inproceedings"> <label>26</l一个bel> <nlm-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 金</年代urname> <given-names> k . H。</given-names> </name> <name> <surname> Buyya</年代urname> <given-names> R。</given-names> </name> <name> <surname> 金</年代urname> <given-names> J。</given-names> </name> </person-group> <article-title> 权力意识到调度与期限限制DVS-enabled bag-of-tasks应用程序的集群</一个rt我cle-title> <conf-name> 学报》第七届IEEE国际研讨会上集群计算和网格(CCGrid ' 07)</conf-name> <conf-date> 2007年5月</conf-date> <conf-loc> 巴西里约热内卢</conf-loc> <fpage> 541年</fpage> <lpage> 548年</lpage> <pub-id pub-id-type="other"> 2 - s2.0 - 34548305045</pub-id> <pub-id pub-id-type="doi"> 10.1109 / CCGRID.2007.85</pub-id> </nlm-citation> </ref> </ref-list> </back> </article> </body> </html>