文摘

随着互联网技术的不断改革和创新,社会经济的不断发展和进步,大数据云计算技术越来越广泛应用于人们的工作和生活。许多并行算法求解大型线性方程组中发挥非常重要的作用在不同的应用程序。为此,本文旨在提出和总结云计算任务调度模型,依赖于大型线性方程组的解。本文的方法是求解大规模线性方程组的研究技术,并提出一个M-QoS-OCCSM调度模型。实验方法的功能是解决问题的有效执行N相互依赖并行任务在有限的资源,充分满足用户的任务预期完成时间、带宽速率、可靠性、和成本。摘要大规模线性方程组的应用实验任务调度是用于研究任务调度算法。结果表明,当任务负载是10和20日MPQGA算法的收敛速度是32秒,95秒的速度比BGA算法,分别。

1。介绍

互联网的快速发展也促进了云计算的发展,和人们的对云计算的研究越来越深入和广泛。在互联网上大规模数据挖掘和分布式处理技术也受到越来越多的关注。本文结合两个的特点并提出一个模型结合文本挖掘和云计算任务调度下。云计算是一种新的商业计算模型,它使用网络连接来获得各种应用程序、数据和IT服务。云计算的核心是云环境和任务的综合调度和管理资源由用户根据用户提交的需求,用户只需要支付需求。因此,对于云服务,如何满足不同用户的不同需求的服务质量(QoS)是一个很重要的问题时,需要考虑云计算调度。

研究资源部署和任务调度问题及其解决方案在云计算环境中具有十分重要的意义和价值的云计算的理论研究和应用实践。作为一个业务服务,云计算不仅要考虑优化任务调度策略来改善系统的服务功能也考虑云服务提供商的服务收入。在这个领域有一些争议,但没有有效的解决方案。因此,研究云计算任务调度策略具有重要的理论价值和实践意义为提高云计算系统的服务功能。

本文提出一个平衡的克隆调度算法,可以有效地提高资源利用率和任务调度的效率。提出了一种模型,结合数据挖掘和任务调度在云环境中。结合数据挖掘和分布式计算的优点,这个模型可以冷静地处理大量信息的数据处理,为用户提供高效的服务。本文综合考虑了输电成本,处理时间,处理成本,和传输时间的数据在云计算环境中,并提出了任务调度优化的数学模型。提出了一个数学模型和粒子群优化算法设计基于变量的增加社区。仿真结果表明,该优化模型和优化算法不仅可以优化时间,而且优化成本。

求解大型线性方程组的道路从未停止。近年来,人们已经逐渐把它跟任务调度以达到意想不到的结果。王等人提出一种SSLE方法一般基于混合精确罚函数约束优化。他补充说自动调整规则来惩罚参数的选择算法,确保更新的惩罚参数的数量是有限的。他还延伸Facchinei活动集识别技术一般约束优化,给相应的识别功能。在每个迭代中,该算法只解决了相同的两个或三个简化的线性方程系数获取搜索方向。没有假设严格互补和弱于强大的二阶充分条件,证明了算法的收敛速度是线性(超级1]。永福,Verbitsky获得准线性度量系数方程的全局最优解,解决了大量的模型问题2]。Lv和王研究了存在、独特性和渐近稳定的行波方面离散时滞拟线性方程。他第一次建立行波方面使用超子解的存在性和单调迭代技术。然后,他证明了行波前在翻译之前是独一无二的。最后,他利用比较原理和压缩技术证明行波前相移,是全局渐近稳定3]。Mingtong介绍了大型建筑物的自动建模的基本流程。通过扩展L-system理论,利用高程地图和河流自动识别,他研究并提出一种自动生成方法对于复杂地形。实验表明,给出的结果与周围的地形环境他的方法是一致的。它可以自动生成修改的道路在复杂地形高度限制和河流。路一代算法,基于泰森多边形法图他提议,可以有效地弥补缺乏道路系统[产生的变化4]。企鹅Samriya等人提出了一种多目标优化算法。该方法是通过分析二进制引力搜索算法,蚁群优化,和粒子群优化,使它适用于数据中心虚拟机。与其他策略相比,他提出的算法是节能和具有显著差异(5]。中等人提出了一种增强型蚁蛉优化算法与流行的混合粒子群优化算法来优化工作流调度专门为云。研究旨在提供增强的工作流调度,比现有的安全框架。它增强了程序的能力来评估根据成本,负载,和完成时间6]。唐等人提出了一个基于dvf节能工作流任务调度算法,其目的是为了获得更多的能量储蓄和保持服务质量在会议的最后期限的前提下。该算法可以回收有用的空闲时间在服务器合并和获得整个时间和期限根据heterogeneous-earliest-finish-time算法(7]。Gruzlikov等人提出了一个流水线车间调度方法的计算过程在一个分布式实时系统。这种方法是基于一个可解的系统用一个简单的优化调度算法。这种方法开启了思路提高装配线车间的效率(8,9]。

3所示。线性方程解的方法和任务调度方法

3.1。常见的大规模线性方程求解技术

有两种方法求解线性方程组的直接法和迭代法(10]。中小方程(n< 10000)往往通过直接法解决,和直接法需要分解系数矩阵a。在正常情况下,不能保证矩阵稀疏。的程度n增加时,所需的内存变得O (n2),和所需的浮点操作变得O (n3)。基于排序有一些稀疏的直接方法控制内存需求和时间消耗,使现代cpu个人电脑上解决100000 -阶矩阵。然而,稀疏的成功直接法矩阵本身的性质有关,和高阶线性系统是无能为力的11]。因此,迭代方法通常用于大型或非常大的方程。简单来说,迭代方法是创建一个修改年代k初始近似解向量Xo的每一个步骤。这使得下一个近似解向量Xk+ 1等于当前的近似解+修正向量年代k。

这产生一个迭代向量序列{Xk}。可以看出,理想应该修正向量 在哪里 联立方程的解, 代表了kth残余向量。然而,为了获得理想的修正向量,本文需要解决方程 ,这是同样的问题解决原始方程。不同的迭代方法的代表不同的方法计算修正向量 (12]。经典迭代法是基于矩阵分裂,假设系数矩阵一个有以下部门。 在哪里P可逆矩阵和原方程组(P−问)x=b。因此,下面的迭代序列构造。

为了避免计算 和 ,它可以解决方程以下列方式:

不同的P不同的选择有不同的分割方法和迭代方法(13]。假设:

其中,D对角的一部分吗一个, 下三角的一部分吗一个, 是上三角的一部分一个。

为了达到更好的结果,人们建造了一个对称超松弛法(SSOR方法),分裂一个成一个=Psso- - - - - -问ssor,在那里

此外,还有交替方向迭代等方法,埃尔米特和anti-Hermitian分裂,和多个分裂,都是基于实际问题,都是数值代数14]。线性方程的系数矩阵系统通过有限元方法或矩量法通常是一个复杂的对称矩阵,可在以下格式描述。

其中, 是一个真正的对称矩阵。常见的非对称矩阵的维子空间方法(如gmr BICGSTAB和QMR)可以用来解决复杂的对称线性方程组。然而,使用这些方法来解决这个问题不利用矩阵的对称性。一些解决方案真正对称的系统转化为一个等价的对称系统,然后使用维方法来解决实对称矩阵(15]。以下是一些迭代方法直接解决(8)。使用准内积的概念 ,在哪里 上标字母T转置共轭转置,而是代表QMR方法可以递归地在短时间内达到最低。这种类型的数量和实际工程中常常出现特殊矩阵(16]。维子空间方法的成功的关键是先决条件的选择。预处理是一个线性方程系统转换成另一个线性方程系统使用相同的解决方案,但转换后的方程系统的特点促进迭代的解决方案。的先决条件是产生一个矩阵变换。如果P是一个可逆矩阵相似一个,那么预处理系统看起来像以下方程:

如果有相同的解决方案方程(1),有一个方程,很容易解决,P称为一个先决条件。方程(9从左边)预处理,也可以从右边预处理。

或者,同时双方进行预处理:

然后,在公式(前提11)是米=米1平方米。良好的前提条件应该有以下两个属性:前提条件后,系统应该很容易解决,前提应该易于构建和应用前提的成本不应过高(17]。

在现代计算机体系结构系统中,最大的问题不完全分解的先决条件是不容易并行化建设和使用的过程。近似的先决条件适应现代计算机结构系统出现,和实施具有天然的并行性18]。近年来,代数多重网格(AMG)方法,结合区域划分(DD)方法,多栅的(MG)和物理背景解决偏微分方程(pde)已成为一个热点在数值计算(19]。

3.2。基于云计算的M-QoS-OCCSM调度模型

M-QoS-OCCSM协作调度模型的架构提出了本章图所示1。


图1
M-QoS-OCCSM系统架构。

如图1,整个M-QoS-OCCSM调度模型的执行过程如下。首先,用户提交应用程序任务的最后期限底线和安排预算目标约束的任务调度器。然后任务调度器将QoS目标约束条件和其他相关参数信息的应用程序任务M-QoS-OCCSM模型的扩展模块(20.]。接下来,M-QoS-OCCSM模型的扩展模块首先在前一节中描述的方法适用于模型与多目标约束应用程序任务。然后综合考虑应用程序任务的QoS约束和目标用户的期望和基于隶属函数,描述的方法应用到目标应用程序任务的多个QoS约束转化为一个简略的约束优化问题。最后,重建的遗传算法应用于近似简略提到优化问题的最优解(21]。计算的结果是最后的调度决策计划,这是返回到调度器。调度程序选择合适的计算资源为应用程序任务调度根据优化结果,从而完成调度决定。

扩展模块作为一个集成单元在整个M-QoS-OCCSM调度模型架构。对于某些应用程序,它可以作为一个单独的中间件为真正的任务调度场景模块(22]。

从用户的角度来看,用户总是希望完成所需的时间间隔内的所有应用程序任务调度请求。这意味着应用程序任务的实际执行应尽可能减少分配的计算节点。与此同时,为一个特定的资源R可以在一个计算节点,总计算能力被所有应用程序任务的资源R不能超过资源的计算能力可以提供(23]。

从分析可以看出,上述期限的QoS约束目标底线可以表示如下:

相反,用户总是希望尽可能地节省调度成本而获得满意的服务。因此,云计算系统应该完成所有任务的调度和执行尽可能多的约束下建立调度预算(24]。换句话说,在一个既定的云计算环境中,系统应该减少调度总成本尽可能多的任务。此外,对于一个特定的应用程序的任务t之和调度成本消耗所有可用的资源在目标计算节点不能超过预算任务调度。

根据分析,QoS约束应用程序任务调度的目标预算可以表示如下:

本文比较了该算法与基本遗传算法基于QoS约束。任务之间的关系相互依赖约束如图2,具体参数和权向量的设置如表所示1。


图2
任务之间的相互依存关系图。
表1
任务调度算法参数设置表。

用户想要支付尽可能少的调度成本为调度请求应用程序的任务。云计算在实际应用场景,任务调度应用程序的成本成正比,用户的满意完成调度目标。因此,在他们的应用程序任务调度用户希望花更少的预算,假设他们有一个令人满意的调度服务25]。见公式(14),假设一个满意的调度服务,任务调度支出的隶属函数可以用来表达任务调度的成员预算和调度的目标。

的公式, 代表了最低期望值的应用程序的调度开销的任务tn, 代表了调度预算当应用程序的任务tn计划目标计算节点上 。它可以看到从方程(14),安排预算支出 应用程序的任务tn减少,隶属函数值 安排预算的减少。因为用户想支付尽可能少的任务调度的预算,最后的任务调度方案的目标是最小化的价值提到尽可能隶属函数(26]。

通过分析两个QoS的目标约束,期限和安排预算。本文发现,用更少的调度预算和最短的期限,完成一个应用程序所需的所有东西增加了任务调度请求。它试图最小化上述时期。隶属函数值的隶属函数值的时间和安排预算支出。基于这一结论,两个隶属函数可以用来转换任务调度multi-QoS目标约束优化问题转化为一个简略的约束优化问题。转换后的简略约束优化问题如下所示:

的公式,最后期限和安排预算重量参数 1和 2满足 。当调度任务,注意最后期限和每个用户的调度预算限制。因此,当提到的建设目标任务调度方案,调整两个重量参数对不同用户可以满足用户的各种QoS目标约束。

默认情况下,Hadoop通常采用“谁涨的策略。这种策略的优点是简单和低开销,同时减少工作负担的跟踪器(27]。解决问题的基本思想是排队所有任务提交的最终客户提交的工作是根据时间。工作的执行顺序队列通常是由优先级和传播秩序。提交的工作,首先由系统默认有一个更高的优先级,并将被处理。但FIFO策略的缺点是,它是不公平的。根据该策略的解决方案,对于那些工作优先级较低,正在处理的机会将大大减少,和等待时间空闲机器会特别长。也就是说,很难保证QoS与低优先级工作。这个策略没有考虑工作需求的差异。

3.3。云计算任务调度策略

云计算资源包括存储资源、计算资源、网络资源,等等。事实上,这些资源抽象成服务通过虚拟化技术和提供给外部世界。相反,有一个服务质量之间的相关性和资源占用率,服务质量和能源消耗。因此,当优化资源,本文必须考虑全面,而不是偏置的一个方面。因此,当部署和调度优化资源,所有资源必须充分考虑,共同管理和优化。有必要优化QoS,优化能源消耗和成本(28]。

在云计算环境中任务调度的状态可以解释如下。资源的总数P和相应的设置 。工作由用户提交的总数米,相应的设置 。假设米对应于一组工作 分为N任务,Jm工作分为 任务,然后相应的任务总数的总数任务如下:

网络带宽是一个重要的指标来衡量网络的使用(29日]。带宽的大小决定了网络传输容量的大小,进而影响沟通效率在云环境中。更频繁的沟通,信息量越大,和更高的带宽要求。让 云计算环境的资源带宽, 代表预期的工作带宽Jm指定的用户B我代表任务的预期的带宽T我除以工作Jm,然后

用户满意度的功能 获得带宽如下:

假设云计算环境中的资源失败率P(可以通过资源监控系统)和用户的预期任务完成率 ,用户满意度函数的工作完成率如下:

成本约束是最受欢迎的QoS约束和成本是用户的QoS的一个重要组成部分。假设资源收费单位,P我资源的数量, , , ,和 代表的价格CPU、内存、存储和带宽资源。然后,任务的总成本T我可以表示如下:

通过之前的相关研究的现有成果方程的解决方案,它可以发现,每个方程的解决方案都必须有一个合适的数据中心网络结构,如一个集中的结构、分布式结构,层次结构(30.]。针对这一点,之前介绍drm方程解决方案引入了任务调度系统架构在云计算环境中,首先介绍了数据中心网络结构实现方程的解决方案。

如图3数据中心,实现了drm方程的解决方案是一个层次结构。这个结构主要由三种类型的节点:区域主机节点,节点,地区主管和普通主机节点(也称为站点或站点)31日]。


图3
云计算数据中心网络结构图。

4所示。基于云计算任务调度的实验和分析

4.1。大型线性方程组在任务调度中的应用

在数学中,高斯消元法也称为约旦高斯消去法,这是一个算法使用线性方程求解线性代数系统问题(32]。该算法首先判断矩阵的秩,然后计算可逆方阵的逆。当设计的高斯方法可以取消逆分配过程,消除方法还可以减少主对角线上的未知系数为零。消去法不需要取代对角系数矩阵方程,这种方法被称为乔丹消元法。然而,乘法和除法操作的数量在约旦消除纯高斯消去法的两倍。解线性方程时这是不可取的,但求解逆矩阵时是很有用的。

高斯消去法的操作速度,和约旦消去法如表所示2和3,分别。

表2
高斯消去法方法的实验数据。
表3
约旦消除方法的实验数据。

图4
加速分析两种消除方法(两个节点)。

实验结果如表所示4通过运行高斯消元法对基于多处理器来处理泊松方程。从表中的数据,加速求解泊松方程可以计算出四核下如图5。

表4
泊松方程解决实验结果(单位:秒)。

图5
加速比四核下泊松方程的解决方案。

下面的结论可以从本文分析图表:①啮合的规模达到一定水平时,与单核的系列解决方案相比,并行解决方案四将突出其优势的解决方案。因为,当电网部门的规模很小,每个进程之间的通信时间需要一个更大的比例比总体运行时间。因此,多核的并行过程中不会显示其优势解决规模较小的啮合。②分析各种改进的并行算法的加速比5可以看出,非阻塞方法确实可以提高并行求解的效率。并在此基础上,重叠的一部分计算与非阻塞消息传递可以进一步提高并行求解的效率。③分析的并行算法的加速比5可以看出,如果流程的数量是固定的,并行效率会增加子域的大小问题增加。随着问题的增长,Gauss-Jordan迭代的数量也增加了。此外,增加高斯消去法的迭代次数的方法有线性趋势与网格划分比例的增加,显示了理性高斯消去法求解大规模稀疏线性方程的方法。本文还提出了一种基于服务质量优化任务调度优化策略,考虑系统负载条件。本文还给出了系统的近似服务成本及其相关证明。通过实验,本文详细分析模型和TSSQO策略并比较他们代表的策略。它验证了本文中的策略可以更合理地安排任务,以便整个系统不仅可以实现高服务质量,但也相对较低的服务成本。

4.2。多模匹配自动机实验

大多数应用程序服务在云计算必须分解为几个子任务调度,和子任务分解不同程度的依赖。如何提高并行性、实时和coupling-dependent任务的动态调度,提高系统利用率,并进行合理的调度和部署相关的任务请求已成为当前要解决的热点,分布式计算和云计算。

这个实验测试时间多模匹配自动机方法的性能。测试硬件环境是200 g的硬盘,16 g内存,和两个4核的cpu。计算机操作系统是Ubuntu Linux。这个实验测试1 g的数据集文件的匹配算法和时间消耗的传统算法相比,多模自动机算法当比较规则是相同的。

它比较了调度长度和通信开销的性能与分量和Min_Min算法TDDPS三个异构处理器节点组成的分布式系统不同的任务集。及其统计使用TDDPS算法进行系统负载平衡,取决于任务调度。

在实验图的任务是随机生成的。节点的数量在每个任务图1∼100,任务依赖关系,节点之间的通信数据量(1∼100),和每个任务的执行时间在不同的处理器(1∼100)都是随机生成的。实验比较了三种调度思想三个方面的调度长度、节点通信能耗和资源利用率。图6显示了调度长度和通信开销的三个不同的任务集。


图6
比较不同的任务集调度长度和通信能耗在三个节点。

根据图的结果6,可以看出TDDPS算法具有良好的性能的调度长度和通信开销。由于分布式协商和调度机制,每个执行节点的异构系统首先评估节点的负载,它使谈判响应消息的任务请求根据实时负荷节点的情况。这样可以确保一定程度的负载平衡,提高资源利用率。

为了测试BCSOA算法的性能,本文采用CloudSim仿真平台模拟,建立一个数据中心。同时,该算法比较和测试尽快DFGA算法和算法。目前,尽快算法和DFGA算法是典型的云计算任务调度算法在该领域的研究。它有具体应用过程中取得了比较理想的实验结果。

实验测试包含两个方面:第一种实验主要从任务完成时间的角度相比,与第二种类型的实验主要是相比从平衡的角度因素。图7显示了任务完成时间的比较这三个任务调度算法在任务系统的数量n= 1000。


图7
任务完成时间的比较三个任务调度算法(n= 1000)。

实验数据表明,传统的匹配算法有严重的性能下降的规则数量增加时,使用多模自动机和匹配机制可以大大提高匹配的速度,当规则集。通过比较这四个规则集的结果,基于多通道的时间性能匹配自动机与传统的算法相比已经大大提高。

4.3。任务调度算法

为了验证的性能MPQGA任务调度算法,本文比较了算法与前面提到的启发式算法HEFT-T HEFT-B, BGA CPOP,基本的随机搜索算法。本文进行了相关的测试在两个测试集的实际应用程序图和随机生成的DAG应用程序表。

MPQGA算法由C编程实现。DAG任务图是由一个类,和其成员包括一系列的任务。它使用一个二维矩阵来表示每个任务在异构处理器的计算速度,并使用另一个二维矩阵来表示每一对之间的通信数据量的任务。程序中的任务也是一个类,和其成员包括前任和接班人的任务,任务的输入和输出,计算的数据量的任务。实现FFT的输入向量k,有2k−1递归调用klog2k蝴蝶操作(本文假设k= 2我,我是一个整数)。在FFT任务图,每条路径从开始的任务结束的任务是关键路径。各级任务的计算成本是相同的,两者之间的所有路径的沟通成本水平是一样的。图8(一个)显示了任务调度算法的平均单反FFT任务图的大小不同,在MPQGA算法优于其他算法的平均单反。图8 (b)显示了不同的算法的效率与64年的数据节点,MPQGA算法也比其他算法效率。

(一)
(一)
(b)
(b)
图8
快速傅里叶变换的算法平均单反和效率:(a)算法平均单反与FFT图尺寸和(b)算法效率和数量的处理器。

在本文的实验,CCR的值设置为0.2,0.4,0.6,1.0,5.0和8.0。图9显示了平均单反和算法的效率值与不同的CCR价值观和不同数量的异构处理器。

(一)
(一)
(b)
(b)
图9
算法平均单反和效率的分子动力学代码:(a)算法平均单反与CCR和(b)算法效率和数量的处理器。

图9(一个)显示,当CCR值增加,平均算法的单反也增加。图9 (b)显示了该算法的效率在不同数量的处理器。

在这些实验中,本文使用随机生成的任务图来评估算法的性能。为了生成随机图,本文实现了一个随机图生成器,允许用户生成随机图具有不同特点。生成器的输入参数:图中任务的数量,每个任务的指令数(计算),后续任务的数量(并行),和CCR价值。本文评估算法不同参数下的性能,包括不同数量的任务,不同数量的异构处理器,和不同的CCR值。值在图10平均最大和最小完成时间超过100种不同的随机DAG图。

(一)
(一)
(b)
(b)
图10
算法的收敛速度下不同数量的任务:(a)数量的随机任务= 10和(b)数量的随机任务= 20。

图10显示最大完工时间的收敛过程的一组应用程序随机生成的DAG图(尺寸10和20,分别)。本文中可以观察到,当应用程序DAG图很小,MPQGA算法的收敛速度和BGA算法非常快。当DAG应用程序变得非常大,算法的收敛速度变得缓慢,但这两种算法的收敛速度是不同的。摘要MPQGA算法收敛速度比BGA算法,最后获得的最小和最大完成时间比BGA算法。

一般来说,随着网络可靠性的发展,廉价的计算机硬件和软件,硬件虚拟化技术,面向服务的体系结构,越来越多的公司开始投资云计算技术的发展和应用。越来越多的企业和个人开始使用云计算技术。它继续推动云计算技术的进步和发展。今天,云计算为核心的新一代技术,有伟大的优点,如高灵活性、可扩展性、易用性、规模经济、绿色节能和环境保护。它被认为是下一代网络在互联网。

5。讨论

云计算已经成为信息技术领域的趋势。本文进行了深入研究云计算的任务调度策略,取得了一些成果。然而,本文的工作尚未全面和成熟。与此同时,由于云计算技术的快速发展,仍有许多问题领域的云计算技术,需要进一步改进和解决。这些问题主要体现在以下几个方面:用户隐私和数据安全。云计算的发展需要大量用户的参与。如何确保用户信息存储在云是足够安全,确保用户隐私和泄露用户数据不会被收集或通过云服务提供商和不会被盗或被第三方非法使用。这不仅是一个技术问题,而是一个法律问题。它需要研究人员和政府部门的联合推广。学者今后应加强的研究稀疏矩阵的压缩存储。 In this article, the matrix storage of the MPI experiment program is a file that stores all zero elements in the sparse matrix, which will greatly waste the system’s memory resources and affect the performance of the parallel program.

6。结论

本文进行了深入分析和研究task-dependent云计算调度机制,包括现有调度模型的特点和缺点,并task-dependent调度需要解决的问题。提出了一种新的系统模型适合云计算环境和动态并行任务调度机制的依赖。本文针对调度过程的资源匹配问题,提出了一种基于多模自动机的并行匹配方法。当任务量是10,BGA算法的计算速度和MPQGA算法是43,11日分别当任务量是20,BGA算法的计算速度和MPQGA算法是108和13,分别。可以看出MPQGA算法更优秀,和更多的任务,更明显的优势。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这个研究是由重庆科技计划项目渝北统景风景区乳峰山下。项目的名字是大数据服务PAAS自动交付和管理平台的开发。本文作者感谢项目支持。