文摘
与新兴互联网服务的数量显著增加,Fog-Radio访问网络(F-RAN)最近成为一个有前途的模式来提高高负载任务处理功能为移动设备,如物联网(物联网)和移动终端。因此,它成为一个挑战F-RAN降低卸载成本通过设计一个有效的卸载策略和合理规划有限的网络资源来提高质量的经验(体验质量)。本文调查了F-RAN二进制卸载政策。它提出了一个智能算法能够最优适应任务卸载政策,雾计算资源分配,将信道资源分配。评估卸载战略直觉,我们设计一个系统效用度量定义为一个推迟能源加权和。联合优化问题转化为一个凸问题基于这一指标,即。一个混合整数非线性规划(适应)的问题。一种新颖的算法基于改进double-deep问DDQN神经网络,这是解决这个问题的提议。此外,一个动作空间映射方法DDQN框架提出了获得卸载的决定。大量实验数据表明,该DDQN算法可以有效地降低卸载成本和适应不同卸载场景。
1。介绍
如今,随着移动通讯技术的迅速发展,由第五代(5克)和人工智能的广泛应用,我们的社会变得越来越聪明,和产生的物联网的数量(物联网)服务(1急剧增加。然而,一些备受期待的应用包括虚拟现实(VR),增强现实(AR)和互联网的车辆(IoV)需要非常低的延迟和能源消耗同时受到成本和计算资源。雾计算,也被称为fog-radio接入网(F-RAN) [2雾)和移动计算(MFC) (3),建立了以满足物联网服务的需要,充分利用物联网的好处,并克服有限计算资源的用户设备的问题(问题)。排队延误造成的卸载任务远程云服务器(4)可以减少通过核心网络允许问题卸载任务到附近的雾接入点(F-APs)进行处理。同时,雾服务器的添加降低了通信基站和核心网络显著(5),从而缓解回程网络的负载。
然而在实践中,在实际应用中,雾服务器的计算和网络资源并不是无限的。不同的资源分配方案显著影响用户体验的质量(体验质量)6)的用户。因此,它就变成了一个挑战F-RAN设计一个有效的卸载策略通过适当的规划有限的网络资源。现有的一些研究提出了卸载方法来解决这些问题。Goudarzi等人在7)任务布局的基础上,提出了一种新的技术迷因算法最大化任务并行计算在每个服务器的数量。在[8),提出了分布式决策的概念。算法是分配给每个设备和卸载的决定将由当地直接生成装置,大大降低了网络的复杂性。然而,并不是每个设备之间共享信息,很明显对于服务器拥塞发生。局域网等人在9卸载时间划分为高峰和非高峰时间。然后,应用不同的卸载算法针对每种情况找到卸载决策的任务。
1.1。相关工作
在现有的作品,其中大部分是变换卸载(CCO)作为约束的凸优化问题不同的指标和约束选择,如服务延迟,网络容量,回程速度,和能源消耗4]。王等人在10)联合优化的计算卸载决策,资源分配和内容缓存策略并把原问题转化为一个凸优化问题。然后,他们提供了一个交替方向法multipliers-based解决凸问题。马等人提出了一种遗传凸优化算法(GCOA) (11),以满足不同用户的不同的服务质量要求。在[12],江泽民等人把问题转变成一个不确定性多项式解决问题(ndp)延迟最小化的目标。
在[13,14),作者提供了一个新颖的方法来解决F-RAN决策和资源分配问题。他们表现出在二进制变量的卸载决策任务。通过推导卸载总成本表达式,分配问题可以转化为一个混合整数规划问题(MIP)。在[15),资源优化问题是制定约束二次规划平方(QCQP)问题。然后,最优出售决定是通过解决QCQP问题。唐et al。16)创新定义了卸载优化问题作为一个分散的部分可观测马尔可夫决策过程(Dec-POMDP)。每个设备提供了卸载决定根据当地环境的观察。同时,减少CCO的计算复杂度问题,坐标下降法(17)和凸松弛法(18提出了。
另一方面,博弈论及其变体也采用解决卸载问题[19- - - - - -22]。在[20.),一个分布式游戏与集团感知研究方法,确保资源的最大利用率。杰等人提出了一个Stackelberg-based在线任务卸载方案(21]。Shuchen和瓦格22)提出了一种多用户部分计算卸载策略基于博弈论。在此基础上,作者在22,23]智能网关与迁移功能添加到网络,以减轻服务器拥堵。上述方法,尽管如此,研究假设每个状态的转移概率和完整的系统模型可以获得的,而这些假设过于理想在现实的场景中。
此外,F-RAN,一个关键的研究问题是计算资源分配的联合设计和渠道资源分配(4,24]。在[25),一个迭代算法来解决问题的联合计算和无线资源配置在卸载。在[26),卸载的多级随机规划方法计算开销高的调查任务。曹et al。20.]研究了最优和次最优的资源分配问题F-RANs基于非正交的多址技术。在[27),联合计算和通信资源分配的主要问题多用户,多服务器系统分为子问题,然后使用匹配和连续凸规划算法来解决。在[28],刘等人认为是雾与能量收集网络,其中每个用户获得能量从一个混合访问点(HAP)。他们的目标是最大化最小能量平衡在所有用户,共同优化卸载时间和雾资源分配。同样,作者在29日)提出了一个节能计算offload-resource分配计划(ECORA)共同优化计算资源分配和传输功率。顾et al。30.结合声誉机制与卸载。该系统将为每台设备分配一个声誉值。如果卸载一个任务,该算法将分配计算资源设备基于声誉的价值。并非巧合的是,在工作31日),定价提出了不同资源的想法。时至今日et al。32)提出了一个在F-RAN EFRO模型来管理资源。
近年来,随着神经网络的发展(33),深度学习已经越来越多地应用于卸载计算。例如,作者在34)提出了一个联合卸载决策和资源分配算法基于强化学习(DRL)。计算卸载策略的情况下F-RAN与多个问题研究(35),总效用的问题通过使用DQN算法进行优化。在此基础上,作者在35,36)提高设备间通过考虑计算卸载策略(D2D) F-RAN问题之间的通信。DDQN算法被用于文献[37]在semionline分布预测问题的卸载操作任务,同时还计算和更新总奖励每次卸载后决定,直到达到最大值。在[38),强化学习在线出售(DROO)提出了解决产生的问题在快衰落信道条件下决定迅速。在[39),深问网络被用来预测每个设备与未知的信道状态信息,获得最合适的出售模式。同样,LSMT网络和double-deep问网络结合在40)获得卸载决策的任务。在[41),Baccarelli等人应用的网络CDDNs移动雾计算生成卸载政策。然而,大多数现有的智能算法是基于一个假设,即任务是一个不可分割的整体。在现实场景中,部分任务可以分成多个独立的子任务,这是不容忽视的。除此之外,上述智能算法同样分配资源,在实践中过于理想主义。因此,一种新的智能算法需要解决的问题,把政策和资源分配的可拆卸的任务卸载。
1.2。方法和贡献
在本文中,我们提出一个新颖的卸载框架F-RAN针对独立的可拆卸的任务double-deep q学习的。F-RAN,有多个用户,多个接入点的雾,远程云服务器,边缘路由器和核心网络层。用户可以将他们的任务到任何服务器,如雾云服务器或服务器,维持高体验质量,同时节约电池供电。
边缘路由器在网络的边缘排列,管理all-fog计算资源。通过收集信息卸载任务,通信信道状态和F-APs状态,边缘路由器输出为任务和卸载决定资源分配的决策,其中包含上传通道资源分配决策和雾计算资源分配的决定,与DDQN算法。与此同时,提出DDQN算法训练的边缘服务器上。核心网络层由大量的航线,主要负责数据路由和转发。
本文的主要贡献如下:(1)小说雾卸载框架提出,把决策和资源分配政策的任务是由边缘路由器。用户上传任务信息通过F-AP边缘路由器。然后,路由器使用DDQN算法训练的边缘服务器给卸载决定为每个任务和资源分配策略基于信息。(2)F-RAN,我们模型的系统实用程序的加权和延迟和能量消耗计算所有任务。最小化系统实用程序,卸载决策和资源分配问题提出了F-RAN。问题共同优化卸载决定,雾的计算资源,并上传系统带宽分配的每项任务。(3)一个double-deep Q-learning-based卸载算法F-RAN DDQN算法,它包含一个主要的网络和目标网络。DDQN生成主要的行动空间网络,并使用目标网络评估行动在接下来的时刻,提高性能的主要网络。除此之外,这些生成的卸载存储在一个公共决策和资源分配政策经验池进一步训练和提高double-deep问网络。(4)仿真结果表明,该DDQN算法具有更好的收敛性和平均成本低于基准。与此同时,它是高度自适应多用户场景和不同的焦点。
本文的其余部分如下:卸载模型和封闭延迟和能量的表达式2,建设推迟能源加权和最小化问题。DDQN算法是指在部分3。部分4主要提供仿真分析。此外,在最后一节给出了结论。
2。系统模型
在本文中,我们考虑一个Fog-Radio访问网络,如图1组成的用户设备(UE),雾接入点(F-AP),远程云服务器,边缘路由器和核心网络层。这个问题可以由一组表示 。同样,一组 是用来表示F-AP。这些F-APs可以提供计算服务的设备,但他们没有决策能力。此外,F-APs与本地设备通过无线通信。
假设每一个问题都有无关的计算任务,表示 。在一开始的时候 ,一个问题只有一个可拆卸的任务要求,指出 ,在哪里表示问题的卸载数据的大小的 - - - - - -th任务,即。,the workload of the task which needs to be transmitted from the device to the server, and代表革命的数量要求的本地设备来处理这个任务(表达周期)。
2.1。通信模型
假设的环境状态F-RAN保持不变在同一时刻。之间的无线信道增益 - - - - - -据美联社和th - - - - - -th问题时用 。此外,渠道获得遵循空间路径损耗模型。然后,无线信道增益可以表示如下: 在哪里表示天线增益,是载波频率,路径损耗指数。代表的直线距离 - - - - - -th的问题 - - - - - -美联社。
不失一般性,假设所有F-APs使用相同的频道。总上行信道带宽是指出 ,可以分成多个相互正交的子信道。此外,没有这些子信道之间的相互干扰。根据香农公式,乐队之间的利用率 - - - - - -th问题和 - - - - - -th F-AP可以表示如下: 在哪里传输功率的设备吗和表示高斯白噪声的力量。
此外, 用于表示信道资源分配的比例 - - - - - -th问题时 。传输延迟 上传任务如下:
与此同时,伴随着在上传设备的能源消耗。让表示能耗上传1的数据。本地设备的能量消耗,当卸载可以表示如下:
2.2。传输时间分配模型
在这里,传输时间分配为出售的模型被认为是,如图2。如果生成的计算任务,问题将首先发送数据信息以及距离 之间的问题而且每个F-AP通过最近的雾边缘路由器节点。路由器将使用训练DDQN算法给卸载决定为每个任务和资源分配策略。此外,上传的时间成本表示为相关的信息 。
一旦一个可拆卸的任务卸载时,问题将首先将任务发送到F-AP与最优通道状态,转发到边缘路由器。边缘路线计算任务调度的计算资源雾服务器。计算结束后,返回的结果是通过回程连接到设备。计算完成后,结果是由回程连接到设备。同样,让在卸载表示任务的传输时间,的回程推迟的结果。
一般来说,上传信息和回程的数据的大小远小于卸载任务(13,38,40),而下行传输速率比上行速率快得多(40];因此,延迟的和可以忽略。因此,传输延迟 的问题的 - - - - - -卸载任务可以近似 。
2.3。卸载计算模式
2.3.1。当地的计算模式
我们使用二进制变量 代表的决定问题的 - - - - - -任务在本地端。 意味着将在本地执行的任务,虽然 意味着它将卸载到服务器。设备的计算能力用 。由于没有任务在本地模式下传输成本,延误 可以表示如下:
与此同时,本地任务计算能耗,定义本地能源消耗如下: 在哪里表示的能量消耗的CPU周期。
2.3.2。雾计算模式
使用 在雾端来表示任务的决定,如果 ( ),任务将在雾中计算服务器(而不是在雾中)。
考虑可拆卸的任务,它可以分为多个相互独立的子任务,卸载的决定。因此,可以同时多个子任务分配给不同的F-APs并行计算,可以充分利用all-fog服务器。让一组 的计算资源F-APs由边缘路由器。因此,总计算资源F预定的边缘路由器如下:
F-AP边缘路由器的距离接近高传输速率,因此之间的通信延迟都可以忽略。因此,时间成本在雾中计算方式如下: 在哪里 雾的比例计算资源分配给 - - - - - -边缘路由器问题的时间 。
关于能源消费,只有本地设备的成本,而服务器端成本被忽略。因此,能源消耗的任务在雾计算方式如下:
2.3.3。云计算模式
同样,该变量 采用云中的代表任务的决定。当 ,任务将在云中执行。如果任务将在其他服务器处理, 。
不失一般性,假设云服务器几乎无限的计算资源,可以同时处理多个任务。作为云服务器位于顶部的网络,这是远离当地方面,云计算的延迟主要是传播延迟的影响。传播延迟通常是固定的,可以表示为一个常数。因此,总延迟 云计算的模式如下所示:
和能源消耗模式如下:
2.4。问题公式化
根据上述卸载模型,表达式的总延迟和能源消耗卸载可以得出结论,分别如下:
尽量减少延迟和能源消耗问题,我们引入了一个成本函数修改后的加权和延迟和能量如下: 在哪里 , , , 和 。 权重因子来表示是延迟比能量。
对每个输入和 ,我们感兴趣的是最小化代价函数来获取所需的次优决策( )如下:
方程(14 b)限制计算的任务只有一个地方,雾,或云模式 。方程(14摄氏度)代表上传通道分配资源的总和不能超过总渠道资源。方程(14 d)意味着雾分配计算资源的总和不能超过总F-RAN。
具体来说,有二进制变量和连续变量和非线性的乘法未知变量的方程(14)。因此,最小化代价函数的问题可以归结为混合整数非线性规划(适应)问题,这是一个非凸问题困难的解决方案。
在下一节中,我们将把这个问题变成一个容易处理的凸的问题,提出了深Q-learning-based算法来解决这个问题。此外,符号的意义2表所示1。
3所示。把解决方案
在本节中,为了解决适应问题,一个模范自由卸载算法基于double-deep问网络,DDQN,提出使卸载F-RAN决策和资源分配。
假设一开始的时间 ,边缘路由器将收集的环境信息设备的状态F-RAN,如以下: 在哪里仍然是雾和计算资源是保持F-RAN信道带宽。表示未加工任务的数量问题 。
在那之后,将产生大量的可能的行动基于DDQN算法 。一旦操作实现,算法将奖励基于当前状态和采取行动。根据方程(13),奖励时间定义如下:
3.1。设计基于映射向量
在方程(15),有三个约束变量,确定损失函数,即卸载的决定 ,雾分配计算资源 ,和分配的上行信道资源 ,分别。因此,在时间 ,让边缘路由器输出以下决定:(1)在卸载位置的问题的 - - - - - -th任务, 。 代表了问题的 - - - - - -th任务将在本地处理。此外, 表明,这个任务将卸载雾服务器 意味着它将在云服务器进行处理。(2)频道资源分配问题 : 。以q学习不适用于连续动作的空间,不能连续比例的方式分配资源,例如,渠道资源和雾的比例计算资源分配。因此,打算提高样品质量和加快收敛,本文提出使用平均分配作为基准。它表明,信道资源分配问题分布介于0和4 * 0.2的平均间隔信道资源。(3)雾计算资源分配问题 : 给出了。
此外,我们参考 , ,和随着卸载subactions,表示 。 代表决定行动的问题 。操作空间包含所有决定行动的集合,可以输出。由于可能的动作输出的数量是{21}3,21日,我们可以计算总行动空间的大小到1323岁。
DDQN算法,我们使用single-intelligence输出操作方法。首先,边缘路由器收集当前状态 。然后,DDQN算法输出最大的行动 - - - - - -行动的价值空间 。最后,DDQN算法输出操作映射到对应的卸载subactions获得可执行的决定。因此,我们构建一个一对一的映射关系迭代的方法,如算法所示1。
|
3.2。DDQN算法
提出的结构DDQN算法如图3。它由两个网络,即主神经网络和神经网络目标。DDQN使用的主要网络生成行动空间最大的核反应能量。更新的目标网络的主要网络和评估下一步行动确认是否生成的操作空间是次优的解决方案。
3.2.1之上。主要神经网络
作为第一步,我们构造一个主要神经网络政策作为决策准则,其网络参数 。假设如果DDQN算法生成一个决定行动在时间与政策 ,指出, ,它仍然会采取同样的策略来生成决策行动之后。我们注意到回报的期望值 ,完成后由该算法得到的轨迹与政策 ,的核反应能量算法。给出了核反应能量如下: 在哪里在时间参数的主要网络吗 。
一旦核反应能量计算,主要的网络将记录对应的q值对所有可选择的行动。主要网络选择的行动空间,对应于最大的核反应能量,为当前输出操作。
然而,如果选择动作仅仅是基于方程(18),它会导致迭代计算的结论,DDQN算法总是遵循相同的政策决策。因此,输出仍将同样的决定行动。这一政策π不能有效地更新的主要网络。
为了避免只有遵循同样的策略在输出相同的行动,我们导入一个 - - - - - -贪婪的扩展方法的探索行动如下: 在哪里代表了目前采用的概率选择动作的方法。方程(19)州主要的网络将选择最高的行动核反应能量的概率或随机行为的概率 。
3.2.2。针对神经网络
在深问算法,如果只有核反应能量的主要网络评估,它将导致若干次迭代后估计过高。这里,另外添加目标神经网络,具有完全相同的结构为主要网络但有不同的参数。生成的行动空间是主要的网络。此外,目标网络是主要负责修正网络同时为输出选择成本最低的操作。
具体来说,如果主要的网络决定了一个新的决定行动 - - - - - -th,它将首先通过行动到目标网络。然后,目标网络将评估这一行动的核反应能量根据特定的预测功能。同时,核反应能量将替换到损失函数来确定是否主要的网络应该更新。预测函数如下所示: 在哪里是计算的核反应能量目标网络基于当前行动,目标网络的参数。 表示动作的主要网络,这是选择的根据 - - - - - -贪婪的方法的参数 。
另外,在本文中,均方误差函数作为损失函数来更新参数主要的网络。损失函数如下: 在哪里 目标网络的核反应能量输出在旧的参数 。
后生成所有可能的行动空间,目标网络将选择成本最低的行动为输出。此外,行动目标网络输出的记录为次优决策状态的时间 。
3.2.3。网络改进和培训
关于更新网络参数,本文使用实证重放方法。次优决策得到方程(22)将更新卸载政策的主要网络。具体来说,输出每个次优决策目标网络后,DDQN算法将存储一组样品,注意 ,到一个有限的存储空间。这个存储空间称为公共经验池,主要的网络随机选择更新它的参数 。与此同时,如果公众经验池已满,最古老的将被替换为新的。
作为一个例子,假设在DDQN算法与环境进行交互,一个轨迹能够产生100套样品转移。同时,假设公共经验池的大小是500,它将被填满之后5个完整的轨迹。池时,算法随机吸引某一批它和给他们的网络学习。通过学习,更新主网络的参数,从而改善其政策 。此外,更新后的政策继续与环境和产生新的交互 。因此,DDQN取代了古老的与新和一遍又一遍地重复这一步骤。
在下一节中,该DDQN算法的性能和精度评价是基于大量的模拟。此外,显示了DDQN算法的伪代码2。
|
4所示。仿真和评估
在仿真中,我们解释与30个问题,5 F-APs F-RAN,每个问题都有100和可拆卸的任务计算无关。上传数据的范围值(150 ,1024年),并在本地所需的计算量的过程(100 MHz、500 MHz)。此外,所有本地设备被认为具有相同的1 GHz的处理能力。除此之外,距离从问题到F-AP均匀分布在(20米、200米)。其他参数设置表2。
我们采用深问完全连接网络的网络模型和4个隐藏层,每一层都包含80个神经元。隐藏层使用Relu作为激活函数。学习速率是0.001,公众经验池的大小是512。在每次训练,该算法将随机挑选32个数据。除此之外,我们认为500集,即 ,每一集有1000个数据,也就是说, 。
4.1。收敛性和绩效评估
DDQN算法评估在不同的融合算法设置。仿真结果如图所示4。在次要情节x设在代表每一集,y设在显示了每集卸载的平均成本。
(一)
(b)
(c)
(d)
DDQN算法的收敛性能在不同的公共经验池大小如图4 (b),内存池的大小表示。缺乏足够的数据,聚合与小记忆算法的成本相当高(例如,256)。随着记忆逐渐增加(从512年到4096年),卸载是控制在一个较低的平均成本的状态。然而,更大的内存对应于一个收敛速度慢。因此,在接下来的仿真,我们采用512的内存大小。
在图4 (c),我们调查的收敛性能在不同批量大小,即。在每个培训,数据采样的数量。从4到32随着批量大小的增加,该算法收敛速度明显加快。从32到128年进一步增加,性能没有显著提高收敛速度和成本。此外,一个更大的批量大小意味着更多的训练时间是必需的。因此,在这篇文章中,我们可以选择一个合适的批量大小,不仅降低了一轮的训练时间但也并不显著减少DDQN算法的性能,如批量大小= 32。
图4 (d)显示不同的损失函数下的收敛性能,包括梯度下降(GD),均方差(MSD)和自适应估计(亚当)。正如图所示4 (d),CD函数的性能差,这可能不适合DDQN算法。默沙东和亚当函数导致相似的收敛速度和成本。从上面的仿真结果,在图4展品,我们提议DDQN算法稳定收敛性能在不同参数设置下。
图5显示了DDQN对卸载策略的影响在不同数量的问题。当问题的数量很小,主要的任务卸载到雾服务器。随着数量的增加,雾服务器的比例逐渐增加在当地执行的百分比减少。与此同时,云只是参与在这个过程中少量的计算。条件下表2(主要影响参数的计算量任务),在本地计算的成本是低于卸载到云服务器的数量不管用正餐(如图6)。因此,当雾计算资源不足,超载的任务处理本地没有的选项卸载到云上。
在图7,我们比较不同计算量的影响在DDQN卸载策略的算法。计算体积的增加,本地任务计算的比例急剧减少,在云上的比例迅速增加。当计算体积很小,DDQN算法主要分配任务计算在本地或在雾中。随着计算体积的增长,雾和当地的计算资源不足以支持当前的需求。因此,DDQN算法可以卸载多个任务到云服务器,计算资源丰富的地方进行处理。它说明了该算法可以应用于场景与不同的计算需求。
图8研究不同的权重值的影响μ在卸载策略。当 ,这意味着我们只关心卸载能源消费。在这种情况下,大多数任务都被雾或云服务器,能源成本是更低。当体重增加到0.1时,我们可以观察到云服务器的比例显著下降,而雾的比例增加。通过引入时间的效用,为当前计算卷(如表所示2),任务在雾中花更少的时间来计算传播延迟云。此外,在当地计算时间成本小于雾的时间成本与当前设置,但当地的能源消耗远远高于雾的条件。这就是为什么处理雾服务器随增加的百分比虽然当地已经上升。此外,图8表明DDQN算法可以很好地应用于场景有不同的焦点。
在图9的平均计算时间,我们进一步研究DDQN算法在不同数量的问题。为DDQN使用不同数量的问题,每个卸载的时间成本几乎是相同的任务,保持在0.27 s。由于问题的数量不会影响算法的时间成本,它可以应用于大规模用户卸载场景,如无人工厂。
4.2。系统实用程序的比较
对于实际系统的性能,我们DDQN算法相比,5代表标准如下:(我)坐标下降(CD)算法(13迭代地互换的卸载模式问题,导致在每一轮最小的延迟和能源成本。迭代时将停止出售模式交换不进一步改善系统性能。此外,CD算法被证明在不同的实现算法决定 。(2)联合计算卸载,数据压缩,能量收获,应用场景(JCDEA)算法(18)是一个全面的联合计算卸载,卸载算法,解决了数据压缩,能量收获,F-RAN应用场景优化问题。JCDEA算法获得最优出售决策和资源分配策略通过将找到一个卸载政策的问题转换为解决当地的最低成本,雾和云计算。我们假设的数据压缩比是1,也就是说。,the task is not compressed when introducing this benchmark algorithm. The energy harvesting efficiency is 0, i.e., the local device does not collect energy from the outside.(3)贪婪算法将所有任务到一个特定的F-AP并调用当前雾的所有计算资源节点。如果雾节点已达到它的最大处理能力,首要任务是随机分配到下一个空F-AP。如果所有的雾计算资源超载,任务处理本地或在云中,这取决于模式有较低的平均成本。(iv)所有本地计算任务在本地处理设备。(v)All-fog计算任务是随机卸载在F-RAN雾服务器进行处理。(vi)所有云计算,云服务器,远程处理所有用户的任务。
如图6,而问题的数量变化,所有本地计算的平均成本保持稳定。然而,对于其他基准,卸载的平均成本增加随着用户的增长。至于越来越多,上行信道带宽资源竞争的问题出现,从而导致减少上传速率分配给任务增加卸货的时间成本。此外,当雾有限计算资源不足以支持众多的任务,被迫承受额外的排队延迟,这进一步增加了额外的卸货延迟。因此,该算法用一个卸载模式,多用户卸载的场景,不是合适的。
CD算法,问题的数量的变化几乎没有影响到平均成本,甚至成本multi-UE状态( )低于few-UE状态( )。因此,更倾向于CD算法应用于多用户场景。贪婪算法,我们得出这样的结论:增加的问题,不再是有效的到达最优出售的决定。基准JCDEA算法优于其他算法,但消费总是高于平均成本DDQN算法。总之,DDQN算法提供了一种降低卸载成本计划与更好的性能,相对于基准算法。
图10调查的影响不同的计算量平均成本。云服务器与丰富的计算资源,主要的时间成本是由传播延迟,不随计算体积。这就是为什么所有算法的平均成本,除了所有云计算模型,计算的数量直线上升。贪婪算法的性能是比较弱,尤其是当雾服务器超载。DDQN、CD和JCDEA算法提高他们的平均成本相对缓慢的计算量增加,最终收敛于所有云计算的成本。然而,拟议的DDQN算法始终保持一个较低的平均成本比其他基准算法。相比之下,任务卸载会有更好的性能,它总是保持较低的成本在不同的聚焦卸载情况下采用我们DDQN算法。
5。结论
在这项工作中,小说模范自由卸载算法,DDQN,提出了卸载场景F-RAN可拆卸的任务,这是基于double-deep问网络,分配任务的卸载决定,上行信道带宽,和雾计算资源,达到成本最小化。通过导入二进制变量在卸载策略,我们将把转换为一个问题找到二进制的卸载与资源分配决策。接下来,我们设计推迟能源加权和度量,并进一步将上述问题转化为一个混合整数非线性规划问题(适应)基于延迟和能量,即。,获得合适的卸载决策和资源分配策略,减少成本。此外,推迟能源加权和度量是专为评估卸载策略。此外,我们进一步将上述问题转化为一个混合整数非线性规划问题(适应)基于延迟和能量加权和,即:,获得一个合理的和有效的把决策和资源分配策略把成本降到最低。自适应问题是棘手的解决一般地,DDQN算法生成的决策。与此同时,我们创新结合的行动空间映射方法强化学习。数值模拟说明DDQN算法,与基准算法相比,可以显著减少卸载任务执行的成本。
最后,希望该DDQN卸载在未来F-RANs框架可以扩展,如智能神往和无人驾驶汽车,优化实时卸载与多个用户各种场景。
数据可用性
底层数据支持这项研究的结果可以在官方网站找到北京自然科学基金。
的利益冲突
作者宣称他们没有关于这篇文章的出版的利益冲突。
确认
这项工作是在北京自然科学基金的支持下,海淀原始创新联合基金项目(没有。L182039)。