下面的查询执行过程分析显示当火花SQL将中间数据写入磁盘。查询语句是:

选择

l_partkey、l_quantity l_extendedprice

分析表明,查询只包含一个连接操作。SQL查询的执行过程下火花图所示 4。

上述执行引发的过程分为三个阶段。阶段0读取一部分表和属性p_partkey上投影操作运行。阶段1读取lineitem表并执行投影操作的三个属性l_partkey, l_quantity l_extendedprice以及选择操作l_quantity < 40岁。第二阶段读0和1阶段的中间结果,执行连接操作p_partkey = l_partkey最后将查询结果写入磁盘。

这个查询的分析表明,该查询执行工作流的火花可以分为两个阶段。一是S-Stage投影、选择和聚合操作,另一种是J-Stage连接操作。

S-Stage,下面的规则可以用来计算输出数据在这个阶段的大小。 (1)

投影

例如,图 5这个SQL查询的运行状态图在火花。输入数据大小阅读阶段0 = 233.2 MB, Lpartkey = 10, l _D= 194。通过上面的分析,可以计算|这个阶段的输出 D_出| = β_箴| D_在| = 10/194≈233∗13 MB。它接近实际的输出阶段0 10 MB。同样,输入数据大小阅读阶段1是7.3 GB, Lpartkey = 10, Lquantity = Lextendedprice = 15, l _D= 231。抽样显示,元组与l_quantity > 40元组约占总数的60%。所以这个阶段的输出是| D_出| = β_箴∗ β_费尔| D_在| = (10 + 15 + 15)/ 231∗∗7.3 GB 0.6≈776 MB,这接近824 MB的实际输出生成的第一阶段。

J-Stage,下面的规则用于计算这个阶段的输出数据大小。 (4) D 出 加入 = γ D 1 在 × C D 2 在 。

如果没有联接条件 C,它变成了笛卡儿积 γ= 1。如果没有元组满足联接条件C, γ= 0。通常0≤ γ≤1。如果联接条件 D₁· 一个= D₂·B,有三个特殊的情况。 (1)

如果 一个的主键吗 D₁每个元组, D₂匹配一个元组 D₁,这是| D_出(加入)|≤| D_在2 |。所以, γ≤1 / | D_在1 |。如果 B的主键吗 D₂, γ≤1 / | D_在2 |。

频率分布直方图构造不同宽度的分布直方图

构建不同宽度的分布直方图后,加入后的算法来计算总元组数算法所示 2。

由直方图方法估计大小的连接操作

算法的输入是关系的不同宽度的分布直方图 R和的关系 年代。输出元组的总数后,两人关系的连接操作。算法寻求重叠两个从第一个直方图直方图桶桶之间的关系 R和的关系 年代直方图。直方图桶是均匀分布,templeft tempright可以重叠的大小除以直方图桶的宽度,然后把结果乘以的总频率直方图桶。Templeft和tempright代表等价属性的频率直方图桶的关系 R和的关系 年代分别。templeft乘以tempright除以重叠的大小,然后总元组数生成的连接操作的直方图桶与重叠。如果没有重叠两个直方图桶和桶的范围 h _我 r小于桶的范围 h _j 年代桶的范围 h _{我+ 1} r和水桶 h _j 年代需要比较。继续上面的步骤,直到所有的直方图桶的关系 R或关系 年代遍历。

计算的总大小的缓存层后,接下来的问题是有多少内存分配给集群中的每个节点。由于火花数据局部性原理,当读取HDFS文件时,火花将分配数据存储最近的遗嘱执行人。对于存储多个输入数据的节点,应该分配更多的内存。输入数据在HDFS组织块,和一块的默认大小是128 MB。所以,在解析用户的查询语句来获取所需的表,有必要分析集群中的每个块的分布表。因为在HDFS中每个块的大小是一样的,内存大小 米 _我分配给每个节点可以通过计算每个节点的批号的比率 B _我总块 B_总。 (5) 米 我 = B 我 B 总 米 总 。

Q1查询之前提到过,Lineitem表的大小是7.2 GB包括60块。表的大小是233 MB包括两个街区。这些块的分布在集群如图 6。

在获得输入数据的分布在集群中,根据计算出的总大小的缓存层查询缓存层中的系统论模块和公式分配模块,每个节点所需的内存大小是790∗2/62≈25.48 MB, 790∗21/62≈267.58 MB, 790∗3/62≈38.22 MB, 790∗20/62≈254.83 MB, 790∗4/62≈50.96 MB, 790∗5/62≈63.71 MB。结果近似实际洗牌表中的数据 1。

由于火花是一个基于内存计算框架,操作弹性分布式数据集洗牌之前或之后都是在内存中进行操作。集群是否有足够的内存,即使一定大小的内存空间分配了中间数据缓存层,剩余的内存足够的火花任务来执行计算。如果集群的内存资源有限,系统论的查询模块将计算洗牌的缓存大小之前查询运行时,通过缓存层和分配内存分配模块。这将导致占用内存洗牌操作之前执行。显然这不是一个合理的方法。缓存层分配模块采用延迟分配方案来解决这个问题。星火计划将尽可能多的内存分配给火花在non-Shuffle阶段工作。在洗牌阶段,火花工作不需要计算内存资源。然后在火花工作内存资源的一部分,剩下的内存资源集群中被称为中间数据缓存层。

执行火星任务的成本模型应该建立以合并火花任务中间数据相关性。然后合并的收益和额外的成本应该基于模型计算决定是否合并相比之下。

建立任务执行成本模型的火花,我们Singhal和辛格提出的改进方法 15)并添加排序操作所产生的成本。在计算阶段成本、读取输入数据、合并和排序中间数据,和写作输出数据被认为是 (6) C 阶段 = C 读 阶段 + C 排序 阶段 + C 写 阶段 。

因为两个 C_读(阶段), C_写(阶段) 我/ O成本,成本计算公式 C _{我/ O}= C₀T + C₁ x。每个参数的定义如表所示 2。

阶段阅读阶段的成本 C_读(阶段)可以计算 (7) C 1 x = D 在 t r + α D 在 t b = t r + α t b D 在 。

| D_在|的大小是由源输入数据或其他阶段的输出数据。的价值 α是0.3。它是由默认three-copy HDFS的存储策略,一个当地,一个在同一架和一个远程机架上。的数量 我/ O发生取决于特定的阶段。S-Stage,如果源读取输入数据, T= 1作为源数据存储。如果其他阶段的输出是阅读,的价值 T是由生成的文件数量的中间数据在之前的阶段。火花写中间数据缓冲区的第一个任务,然后覆盖磁盘缓冲区满时形成一个文件。假设前一个阶段产生的数据大小| D_出|,| D_出| / B将生成中间文件, B是火花任务缓冲区的大小。的数量 我/ O发生 T= | D_出| / B。J-Stage,这个阶段必须的输入输出的其他两个阶段将两个表的连接操作。假设前两阶段生产| D_出|大小输出数据,如果使用双向归并排序加入算法,⌈日志2 (| D_出| / B)⌉需要扫描的时候,和数量 我/ O发生| D_出| / B⌈日志2 (| D_出| / B)⌉。总之,成本的计算公式如下的阅读阶段阶段。 (8) C 读 阶段 = C 0 T + t r + α t b D 在 。

阶段的写作阶段的成本 C_写(阶段),因为中间数据覆盖到本地磁盘,这个过程不涉及网络传输成本。计算公式是 (9) C 1 x = D 出 t w , 在| D_出|可以由第二章中描述的方法计算。的数量 我/ O发生 T是由中间文件的数量。|中间文件的数量计算 D_出| / B。然后写的计算公式是由成本阶段 (10) C 写 阶段 = C 0 D 出 B + t w D 出 。

每个任务阶段需要排序和合并所有产生的中间数据文件本身。如果一个| D_出| / B生成中间文件,可以认为每个任务生成| D_出| / B _米中间文件, 米在每个阶段任务的数量。所以,排序阶段的成本 C_排序(阶段)计算 (11) C 排序 阶段 = C 0 D 出 B 米 日志 2 D 出 B 米 + t r D 出 。

假设的数量排序 P= | D_出| / B _米⌈日志2 (| D_出| / B _米)⌉,引发了一个阶段的执行成本 (12) C 阶段 = t r + α t b D 在 + t r + t w D 出 + C 0 T + P + D 出 B 。

为了合并中间数据,洗牌中间数据的格式是首次引入,然后共享字段合并算法。

火花的MapTask洗牌阶段提取所需的数据扫描源数据文件的每一行。然后它存储数据的键和值<键,值>双和输出到本地磁盘。工作第一阶段在图 8作为一个例子,相应的查询 选择l_partkey、l_quantity l_extendedprice lineitem的一部分p_partkey的地方= l_partkey。

解析后的工作流程都是加入了减少任务的火花SQL。在MapTask阶段,从lineitem表读取的数据行,然后l_partkey保存为关键,l_quantity和l_extendedprice保存的值。在减少方便连接操作,实际表单的<键,值>对< l_partkey, l_quantity | l_extendprice | >。

同样,第三阶段在图 8、查询选择l_partkey l_quantity lineitem的供应商那里s_suppkey = l_suppkey s_nationkey = 2。<键,值>对生成的洗牌阶段< l_suppkey, l_partkey | l_quantity >。

字段l_partkey出现在中间数据输出的第一阶段和第三阶段,作为一个关键和其他的价值。与此同时,l_quantity也出现在这两个阶段的价值。因为两个子查询只涉及连接和投影操作,没有选择操作,输出数据从阶段1和阶段3包含MapTask lineitem表中的所有行。可以认为,这两种类型的对包含所有l_partkey l_quantity lineitem表,这样他们就可以被合并。虽然合并减少写当前阶段的成本,也增加了阅读后续阶段的成本。例如,第二阶段加入表和lineitem表部分,但合并后读取意外l_suppkey字段。同样,第五阶段加入供应商表和lineitem表,但合并后读取意外l_extendedprice字段。因此,保存的写作成本字段和阅读成本增加的字段应该在洗牌重来确定是否合并中间数据。这个问题可以通过共享字段合并算法来解决。

假设阶段的SQL语句 _我是 选择我₁ ,我₂、… 我 _n 从表 _我,<键,值>的格式对生成的是< 我₁, 我₂| 我₃|…| 我 _n>。<键,值>的格式对生成的阶段_j是< j₁, j₂| j₃…| j _米>。让 年代 _我= { 我₂, 我₃、… 我 _n}, 年代 _j= { j₂, j₃、… j _米},那么<键,值的格式>对<合并后 我₁∪ j₁, 年代 _我∪ 年代 _j-i1∪ j₁>。首先比较两双的关键。统一成一个字段,如果字段名称相同,否则,由“|一起加入两个字段。“下一个,合并两双的值集和删除已经出现在关键的领域。总之,合并后的数据格式的中间数据阶段1和阶段3是< l_partkey | l_suppkey, l_quantity | l_extendedprice >。

测量了写作的好处字段和字段的阅读成本增加,成本模型的定义 (13) 储蓄 = C 0 D 写 B + t w D 写 , 成本 = C 0 D 读 B 日志 2 D 读 B + t r + α t b D 读 , 在| D_写| = | D_出| l_{save_cols}/ l_总、| D_读| = | D_出| l_{add_cols}/ l_总。 l_{save_cols}写作的是保存字段的长度。 l_{add_cols}阅读是增加字段的长度。 l_总是总字段的长度。| D_出|可以由第二章中描述的方法计算。例如,合并后对以上,重复写l_parkey和l_quantity可以减少,和 l_{save_cols}= l_{l_partkey}+ l_{l_quantity}。同样,阅读l_extendedprice l_suppkey增加,冗余 l_{add_cols}= l_{l_extendedprice}+ l_{l_suppkey}。让 E= Savings-Costs。如果 E> 0,这意味着共享冗余字段的降低成本的成本大于阅读附加字段。中间的公共字段数据可以合并。否则,如果收入< 0,这些字段不会合并。是否要合并的中间数据需求比较储蓄的价值和成本的价值。

硬件环境如下。实验集群10包括一个主节点和子节点。节点通过千兆以太网连接。每个节点配置了2.7 GHz CPU(8核16个线程,20 m缓存,涡轮频率),64 GB的DDR3 1600和500 GB SAS机械硬盘。

至于软件环境,操作系统使用的头节点和奴隶节点Centos6.7。每个节点安装JDK 1.8.0, Hadoop 2.6.0,引发2.0.1和Scala魅惑。实验中使用的编程语言开发Java和Scala。IDE是在开发环境中使用。

这里使用的实验数据集被tpc - h基准测试工具生成的。TPC - h是一个标准数据库管理系统性能测试由TPC(美国事务处理性能委员会),一个非营利性的组织。它可以用来模拟业务应用程序环境在现实生活中,被广泛用于评估决策支持系统的综合性能。使用命令生成的测试数据 dbgen - s x提供的tpc - h的地方 x表示生成GB的数据大小。除了测试数据集,tpc - h也提供了22 Q1-Q22查询语句。用户使用命令 qgentpc - h来生成这些查询提供的性能测试。

在完成内存分配的火花洗牌在每个节点缓存层,选择几个具有代表性的查询在tpc - h Q1, Q5,网上购物的时候,问题19。Q1和问题19大的输入数据和更少的中间数据。Q5,你校的时候有更少的输入数据和更大的中间数据。查询程序提交给SSO系统和原引发体系,和查询执行时间被记录。实验结果如图所示 9。

Q5结果表明,网上购物的时候他们的中间数据远远大于输入数据,中间数据缓存层可以解决高的问题随机磁盘 我/ O成本。优化的效果是显而易见的。但对于Q1和问题19的输入数据大于中间数据,读取输入数据占多数的磁盘 我/ O。中间数据缓存层的优化效果的查询是相对有限。

磁盘的变化 我/ O在查询过程如图 10。从图可以看出,自源数据存储顺序,阅读的过程产生的输入数据集中的磁盘 我/ O。在这两个系统,磁盘读取率大约是80 MB / S的峰值性能稳定的机械硬盘。在运行过程中,阅读和写作的程序进入洗牌阶段中间数据。在这个时候,引发系统随机生成的原始磁盘 我/ O和磁盘读取率波动很大。它花了很长时间来完成洗牌过程在最初引发体系。使用SSO系统中间数据缓存层,和中间数据在内存中读取和写入。所以,SSO的洗牌阶段系统没有生成磁盘I / O的成本。SSO系统查询任务完成速度比原来的引发体系。图 11显示两个系统的内存使用相似上半年的查询过程,都稳步上升。当进入洗牌阶段,SSO系统由查询系统论模块计算所需内存大小和分配的每个节点的内存缓存层分配模块。因此,内存使用SSO系统将增加瞬间。这部分内存将查询结束后发布。查询的整个过程中,主节点有足够的内存(64 GB),而查询网上购物所产生的中间数据的大小仅为14.1 GB。可以创建一个块作为中间数据缓冲区内存空间。SSO系统内存使用率较高,这是主要原因之一SSO系统的执行效率就越高。

通过合并相同的中间数据字段,生成中间数据的大小可能会进一步降低,从而减少内存使用的中间数据缓存层。来验证算法的有效性,在这一节中,选择篮的tpc - h查询提交给SSO系统和原来的火花SQL系统分别。同时,不使用中间数据相关性合并算法,原始火花SQL系统在两种情况下进行了测试:使用中间数据缓存层。查询执行时间被记录下来,如图 12。

结果表明,SSO系统和火花SQL的执行时间和中间数据缓存层既短比火花SQL系统没有任何优化,而前两个系统的执行时间往往是相同的。为了比较这两个系统中,每个节点使用的缓存大小的监测结果见表 3。

缓存的使用SSO系统合并中间数据关联算法比火花的SQL系统在每个节点没有优化算法。这是因为通过共享相同的字段l_partkey l_quantity,中间1.5 GB的数据可以减少和写作的数据导致磁盘成本19.2秒。冗余读取字段l_extendedprice和l_suppkey也生成。阅读1.26 GB的数据引起的磁盘 我/ O的16.4秒。比较表明,保存的成本大于生成的成本。所以,在这种情况下,算法将会合并相同的中间数据。然而,中间数据在内存中读取和写入后采用缓存层和内存读/写率超过几十GB每秒。前提是缓存层缓存所有的中间数据,缓存使用的数量几乎没有影响任务执行效率。这是主要原因的查询时间前两个实验往往是一致的。但在集群内存资源紧张的情况下,合并中间数据关联算法可以降低缓存的使用,从而节约有效的内存资源。