文摘
人造卫星物联网(S-IoT),尤其是S-IoT地球低轨道(LEO)卫星的基础上,在未来的无线系统中发挥着重要作用。然而,有限的车载通信和计算资源和高流动性的LEO卫星很难对物联网用户提供满意服务。最大化延迟约束下的任务完成率,LEO网络之间的协同计算和资源分配联合调查,卸载和联合任务,调度和资源分配是动态整数问题制定。策略的复杂问题,我们解耦成两个子问题较低复杂性。首先,采用不等式公平最小化最大延迟通过资源的优化配置与固定的任务分配。然后,卸载和调度的共同任务是制定作为一个马尔可夫决策过程与最优的通信和计算资源分配,和深度利用强化学习来获取长期利益。仿真结果表明,该方案具有性能优越与其他方案。
1。介绍
物联网(物联网)中扮演一个重要的角色在未来智能社会,和许多技术评估和实施提供更好的服务在物联网数据传输网络。虽然第五代(5克)无线系统可以支持大规模的机器类型通信(mMTC),它主要关注的是陆地的基于网络的物联网。对于人口稀少的地区缺乏通信基础设施、卫星通信采用5 g的一个重要组件超越或第六代(6克)无线系统1,2]。此外,边缘计算指的是技术,计算单位转移到附近的访问节点用户设备,或在用户设备本地数据处理(3]。边计算,可以减少访问延迟,收音机也可以有效地利用资源。受益于卫星车载处理技术的发展(4),边缘computing-enhanced卫星网络也成为一个热点话题综合卫星和地面网络(2,5,6]。因此,边缘computing-enhanced人造卫星物联网(S-IoT)收到大量的注意力在工业和学术领域7,8]。
对边缘computing-enhanced S-IoT网络、物联网设备和卫星都是资源有限。因此,联合计算和通信资源分配任务生成的用户(物联网设备)是重要的提高系统的性能9]。此外,卫星网络的特点也会影响机制用于资源管理(10]。一般来说,现有的卫星通信系统可以分为三个类别,这是地球同步轨道(GEO),中地球轨道(MEO)和低地球轨道(LEO)。卫星系统的三个类别中,最低的LEO卫星传播延迟正在成为未来一个重要组件集成卫星和地面网络(11- - - - - -13]。在这篇文章中,我们也关注边缘computing-enhanced LEO卫星网络,和狮子座人造卫星物联网的优势其他卫星系统可以概括如下:(1)介绍的传播延迟的LEO卫星很低。例如,一次性传播延迟大约是5 ms LEO卫星位于1500公里的高度。同时为GEO卫星大约120毫秒(2)虽然卫星车载处理能力通常是有限的,多在LEO卫星网络,特别是mega-constellation LEO网络,可以形成一个虚拟的资源池,可以用来提高计算边缘的性能增强S-IoT(3)可以生成多个LEO卫星重叠覆盖区域,和通信和计算资源可以灵活分配
从上面的分析中,狮子座S-IoT可以受益于较低的传播延迟和协作处理在多个卫星。然而,边缘computing-enhanced狮子座S-IoT仍面临一些问题。首先,不同拓扑的LEO网络很难管理有限的通信和计算资源动态(14]。第二,资源管理共同应该考虑多种类型的链接,如satellite-to-ground和satellite-to-satellite。最后但不是最少,通信和计算资源应该共同分配。
摘要computing-enhanced LEO S-IoT被认为是边缘,和用户生成的任务需要处理本地或通过LEO网络协作。与现有的研究不同,协作计算在多个卫星是用来减少车载处理延迟。此外,satellite-to-ground和satellite-to-satellite链接被认为是共同的通信和计算资源分配。列出了主要贡献如下。(我)协同计算的框架在多个LEO卫星提供了不同拓扑,和satellite-to-ground的影响和satellite-to-satellite链接处理延迟共同考虑(2)用户任务的协同计算和资源分配是制定联合任务卸载,调度,和多维资源分配问题任务的完成率,最大化和较低的复杂的问题分成两个子问题的复杂性(3)深入强化学习(DRL)和不等式性质公平优化采用实现长远利益的任务完成率,和仿真结果验证该算法的性能
本文的其余部分组织如下。部分2总结了相关的工作。节中描述的系统模型和问题公式化3。节4基于极大极小,资源分配公平和任务调度和卸载DRL实验室进行了分析,分别。部分5评估提出的算法,以及部分6本文总结道。
2。相关的工作
联合任务卸载、调度和资源配置中发挥着重要作用计算边缘增强S-IoT网络。爸爸等人对可重构软件定义网络与LEO星座和提出一个最优控制器位置和satellite-to-controller赋值方法可以最小化平均流设置时间(15]。刘等人提出一个task-orient边缘计算网络体系结构增强space-air-ground-aqua集成网络(9]。谢等人分析了联合缓存、通信、空间信息网络和计算资源管理(2]。尽管联合任务卸载、调度和资源分配的计算边缘增强S-IoT现有工作中突出显示(2,9,15),资源管理方法没有给出细节。
程等人提出一种计算卸载方法在space-air-ground集成物联网应用与固定网络数据率(16]。曹等人提出一个edge-cloud架构基于软件定义网络和网络功能的虚拟化space-air-ground集成网络(17]。王等人介绍的硬件和软件结构边缘computing-enhanced S-IoT [18]。细粒度的资源管理方案介绍王等人的边缘computing-enhanced卫星网络(19]。燕等人提出一个5 g卫星边缘计算框架基于microservice架构的嵌入式硬件平台(5]。LiWang等人调查计算卸载方法与卫星地面网络延迟和成本约束的车辆(20.]。娇等人分析联合网络稳定性和高通量卫星物联网资源分配优化问题(21]。介绍了轨道边缘计算架构Denby和露西亚,和权力和软件优化,分析了轨道边缘(22]。崔等人提出一种联合卸载和资源分配对GEO人造卫星vehicle-to-vehicle沟通(23]。协同计算和多个用户之间的资源分配方法对由张等人对GEO S-IoT [24]。歌等人提出一个移动边缘计算地球卫星物联网框架,和一个节能计算卸载和资源分配方法用于最小化加权和能源消耗(25]。学习型queue-aware任务卸载和资源分配算法分析了辽河等人space-air-ground-integrated电力物联网(26]。唐等人提出一个混合云,边缘计算LEO卫星网络和调查计算卸载决定减少能源消耗和地面用户(27]。
尽管一些退出工作上面列出的调查任务卸载和资源分配边缘computing-enhanced S-IoT,这些考虑协同工作计算在多个LEO卫星。此外,联合优化satellite-to-ground和satellite-to-satellite链接也不是调查。
3所示。系统模型和问题公式化
在本文中,我们考虑一个典型的场景中,如图1,由多个地面用户和LEO卫星星座。LEO卫星星座部署与星际链路(种)合作处理卫星,和每个卫星可以通过种与四个相邻卫星交换信息。与上面描述的网络拓扑结构,由用户生成的任务到随机时间序列,并在本地处理的任务或卸载卫星进行处理。虽然一个卫星的计算资源稀缺是由于车载设备的特点,计算在多个卫星可以形成一个合作单位计算池,和重载的卫星可以向前的任务需要处理的其他卫星光负载。因此,任务卸载到卫星可以由其服役的卫星或其他卫星可以通过种。此外,物联网设备可用的计算资源也有限,和任务需要处理本地处理。而对于卫星,来自多个用户的任务可以并行处理,资源是属于多个用户之间共享任务。
此外,每个卫星都需要保持satellite-to-ground传输队列和车载处理队列中。satellite-to-ground传输的任务卸载到卫星将安排槽槽,和不能分割的任务。当任务到达卫星用于数据处理,它将输入处理队列,等待数据处理。保证传输和数据处理的效率和可靠性,通信/计算资源分配给用户的任务将结束占领,直到传输/处理。数据处理后,结果将交付给用户。任务卸载过程中,资源占用和机动性的LEO卫星都将影响系统的性能。本地任务处理,队列中等待的延迟主要由延迟和处理延迟。而对于任务由卫星,几个因素,传播延迟,传播延迟,延迟和处理,需要被考虑。因此,采用的系统模型和下面列出问题公式化。
3.1。卫星轨道模型
在地球惯性(ECI)坐标系统,卫星在空间的位置可以通过轨道描述元素,即偏心 ,半长轴 ,倾向 ,升交点赤经(RAAN) ,近拱点的参数 ,和初始真异常 。在本文中,我们考虑一个圆形轨道的卫星轨道 和 ,所以卫星的ECI协调时间可以表示为
在哪里是地球半径,卫星的高度, 。 ,在哪里 表示角速度的卫星,卫星的高度相关,引力常数 ,和地球的质量 。 表示,卫星的运行时间在时间段的开始 ,在这是一个时间槽的长度。
获得卫星的坐标 ,的RAAN和初始真异常还需要计算。由于沃克星座是对称和所有卫星采用相同的圆形轨道高度和相同的倾向,沿着赤道轨道平面均匀分布,和卫星轨道平面均匀分布。的相位关系在不同的轨道卫星飞机可以表示为
在哪里表示数量的卫星,表示数量的轨道,表示在每个轨道卫星的数量,因此, 。 的序列号是轨道卫星在哪里位于, 。 是卫星的序列号吗在它的轨道, 。 表示轨道的相因子。(1)和(2),我们就可以获得任何卫星星座的ECI协调在任何时间槽。
3.2。覆盖模型
一般来说,用户的坐标表示经度,纬度,海拔(LLA)地理坐标系统。获得覆盖的卫星的情况在时间槽 ,我们首先需要转换的ECI坐标为中心的卫星地球地球固定(ECEF)配合下面的公式
在哪里 ,在这表示格林尼治时角开始第一次槽,和表示地球自转角速度。然后,我们需要把ECEF坐标LLA的卫星坐标 根据
在哪里 。自 , 可以实现。(3)和(4),我们可以获得的LLA协调用户和卫星仰角用户可以表示为
在哪里 , 和分别表示用户的经度和纬度和分别表示卫星的经度和纬度。我们认为用户通过卫星覆盖当比最低仰角大吗 。在一开始,用户将选择卫星最小的仰角的协会,当小于随着相关的卫星,用户将选择卫星根据当前时间槽的仰角交接。
3.3。通道模型
在图中所示的场景1,应该考虑两种类型的链接,satellite-to-ground (StG)和satellite-to-satellite (StS)的链接。StG链接,视距(LOS)通道被认为是总是在地面现有卫星和用户之间。因为我们专注于卫星系统的资源管理,只有路径损耗影响卫星和用户之间的距离被认为是本文和自由空间路径损耗(FSPL)模型。此外,用户的信道质量,由信噪比(信噪比),表示将通过控制量化和传递到卫星频道。StS链接,点对点光学链接是假定为实现,和StS的通道容量链接被认为是足够大的卫星之间的数据传输。
3.4。任务到达模型
一般来说,狮子座人造卫星物联网适用于多种类型的服务,如目标识别和跟踪和监控的资产。在本文中,假定每个用户的任务不断到达,和任务到达服从泊松分布。的概率任务到达时段可以表示为 在哪里表示任务到来的速度。和任务到达的时间间隔服从指数分布的参数 。此外,多个任务属于一个用户只能处理一个先进先出的政策,不能安排一个任务,直到其先前的任务的处理结果返回给用户。更复杂的场景,在一个用户的多个任务同时计划,将在未来的工作被认为是。
3.5。延迟模型
由于任务可以在本地或卸载处理卫星,延迟的任务由用户生成的分析了三种可能的情况下。
如果任务是由用户在本地处理 ,的延迟可以表示为 在哪里表示队列中的等待延迟和等待延迟由于本地资源被正在处理的任务。 表示处理延迟,的比特数的任务的用户 ,和是当地的计算资源的用户 。
如果任务是由卫星与用户相关的 ,的延迟可以表示为 在哪里卸载任务的延迟吗从用户相关的卫星 ,和它包含的等待延迟传播,传播延迟 ,和传播延迟 。此外, ,在哪里表示通过卫星数据速率分配到任务的用户 ,和影响可用的通信资源,如功率、带宽。 ,在哪里是光速,距离用户吗卫星 。 等待延迟在处理队列组成和处理延迟 ,和 ,在哪里表示计算资源分配给的任务的用户通过卫星 。 是造成的延迟发送结果返回给用户。注意,省略返回链接的传输延迟,因为的比特数的计算结果通常是非常小的。如果结果可以在卫星的覆盖时间返回给用户 , ,否则, ,和表示路由距离卫星卫星 ,和表示路由距离卫星用户 。
如果任务是将卫星通过卫星处理的延迟可以表示为 在哪里卸载任务的延迟吗从用户相关的卫星 。 传播延迟的任务从卫星路由卫星通过种。假设光学链接采用卫星间通信,和种数据速率足够高,可以省略种的传输延迟。因此, ,在这表示路由距离卫星卫星 ,和路由策略采用基于最小距离。由等待延迟在处理队列和处理延迟在卫星 。 ,在哪里表示计算资源分配给的任务的用户通过卫星 。 是返回的传播延迟的结果返回给用户。首先,结果将从卫星路由卫星 ,这是用户的卫星服务吗 。然后,结果将是通过卫星发送用户 。因此, 。
3.6。问题公式化
在这篇文章中,我们打算实现协作计算在多个卫星通过种和延时约束下最大化用户任务的完成率。因此,可以制定的问题
在哪里 当新任务到达用户 ,和 当 ,否则, 。 的最大延迟约束的任务吗的用户 。 和 , 表示用户的任务将本地处理时间段 。 和 , 表示的任务的用户将卸载卫星在时间槽进行处理。 和 , 表示的任务的用户将将传输或处理时间段 。 和 表示通过卫星通信资源分配到任务的用户在时间槽 。 和 通过卫星表示计算资源分配到任务的用户在时间槽 。 和可用的通信资源和计算资源的卫星吗在时间槽 ,分别。和表示传输队列的任务安排和处理队列的卫星在时间槽 ,分别。
从(10),我们可以看到任务的完成率是卸载的决定,影响调度的决定,在每个时间段和资源分配。此外,卸载决策、调度决策和资源分配在当前时间槽将会影响美国的时间段吗 。例如,如果任务不能完成从用户的传输到卫星在时间槽 ,它不能被处理在时间槽 ,和通信资源占领不能发布的其他任务。因此,制定问题(10)可以被看作是一个动态规划问题基于联合卸载决定,调度决策,资源分配,与传统方法难以得到解决。为了解决这个问题,我们将把复杂的问题分解为两个子问题。
4所示。任务完成率优化基于强化学习
根据节3、任务卸载和调度决策指标离散,而资源配置变量是连续的。因此,制定问题(10是一个动态的整数问题,凸,很难找到最优的解决方案。为了解决这个问题,我们将问题分解为两个子问题,以减少其复杂性。第一子问题是通信和计算资源分配与固定卸载决策和调度决策,将基于最小不等式公平解决。第二部分问题是共同把决策和调度决策,这将解决DRL-based算法。这两个子问题在以下小节分析了A和B分段,分别。
4.1。资源分配基于不等式性质与固定任务分配公平
与固定卸载的决定 , ,和调度决策在时间槽 ,卫星的通信和计算资源分配可以制定两个不等式性质分离公平问题,哪些是列为
在哪里是用户的传输延迟对于一个给定的任务吗与卫星 ,它可以计算出从传输队列的任务安排后,与通信资源分配。用户的处理延迟一个给定的任务吗在卫星处理 ,后,可以获得被调度的任务从队列处理和计算资源分配。这里,采用最大延迟最小化作为优化目标,并有助于保证每个任务的延迟约束。
带(11)为例,引入辅助变量 ,这个问题可以写成
显然,目标函数和第二约束(13)都是凸的。因此,我们只需要证明,证明这个问题的第一个约束是凸凸。
让 ,约束可以写成 。找到第二偏导数 ,和矩阵的可以表示为
(14),我们可以很容易的得到,所有的主要小是负的,是一种半正定矩阵。因此,第一个约束(13)是凸,问题(13)是一个凸的问题,它可以通过双重提升解决方法。
构造拉格朗日函数作为 在哪里 和 拉格朗日因子。的双重功能将
在哪里 。自定义的问题(13)是凸的,最大的价值相当于中定义问题的最小值(13)。因此,我们可以找到问题的最优解中定义(13),这也是问题的解决方案中定义(11),通过算法的方法1。
|
||||||||||||||||||||||||||
在这篇文章中,和被认为是聚合值差异小于0.001时连续100迭代。通过不断迭代独立变量和拉格朗日因子交替,我们可以找到最优的解决方案通信资源分配。同样的,可以获得。
4.2。联合任务卸载、调度和资源分配
与算法1,我们可以获得每个时间段的资源分配方案。然而,联合卸载决策和调度决策仍然是一个非凸问题整数规划问题,不能直接与传统方法基于优化理论解决。和负担得起的解决这一问题的复杂性,我们(MDP)这是一个马尔可夫决策过程模型的问题,提出一种DRL-based方法实现长期回报的任务完成率。
相对应的MDP(中定义的问题10)可以表示为(1)状态。美国定义为每个时间段,因为任务的调度和资源分配管理由槽槽。国家在时间槽可以被定义为 。 和分别表示用户和卫星的位置。 表示当前的任务等待安排。 ,和 表示与用户相关的卫星在时间槽 。 和 , 表示,当地的计算资源是在时间槽 。 表示卫星的通信资源被用户在时间槽 。同样的, 表示卫星的计算资源被用户在时间槽 。 和 表示的总比特的任务等待队列的传输和处理卫星,分别(2)行动。对于每一个时间段 ,行动由卸载决定,调度决策和资源分配用户的当前任务。因为我们可以获得的资源分配算法1,我们只需要定义把决策和调度决策的行动空间较低的维度。因此,行动时间槽可以被定义为 。 ,在这 表示将处理当前任务的卫星用户在时间槽 ,和 , 表示用户的当前任务将从队列中预定时间段吗 。否则,该任务将继续在队列中等待调度。与一个特定的行动 ,把决策和调度决策的所有当前任务在时间槽可以获得相应的(3)转移概率。MDP的概率从一个状态转换到另一个需要任何行动 。然而,很难得到准确的概率和行动 ,由于状态空间和动作空间太大。本文基于模范自由DRL被认为是一个方法(4)奖励。最大限度地完成任务,奖励 在时间槽与国家和行动被定义为 在哪里中定义的延迟表示(8)或(9)任务在时间槽 。 是一个恒定值,使吗积极的。是一个积极的完成奖励,表示数量的任务延迟约束的时间段内完成 。
考虑到行动的政策 ,值函数 ,可以用来评估政策的长期绩效 ,被定义为 在哪里贴现因子表示,和值函数可以被视为一个期望的完成率中定义(10), 。因此,最优政策可以表示为
在国家可以获得与行动和国家 。摘要深Q-network (DQN) [28,29日),这是由目标网络和主网络,采用获得目标核反应能量 。此外,近似Q-function 将方法 通过培训过程通过最小化损失函数,它可以被定义为 。和是网络的重量。DQN的详细描述和分析的过程中可以找到(23]。提出联合任务卸载、调度和资源分配(JTOSRA)方法显示了LEO卫星之间的协作计算算法2,在那里表示最大的训练步骤,表示经验重播缓冲区。 - - - - - -贪婪的政策是用来平衡模型的探索和利用(29日),而将通过20000步衰变从1.0到0.001。
一般来说,很难获得准确的DRL-based算法的计算复杂度。在算法2网络的计算复杂度DQN主要取决于用户的数量和神经网络的网络结构利用DQN。所有层中使用的神经网络算法是完全连接层,和网络输入参数的数量是由状态空间,可以表示为 。假设神经网络层的数量 ,和神经元的数量 - - - - - -层是表达的 ,的计算复杂度DQN网络可以表示为 (30.]。
|
||||||||||||||||||||||||||||||||||||
5。仿真结果
5.1。模拟配置
仿真参数表中列出1。在仿真中,我们专注于用户位于特定区域的LEO卫星。仿真时间从0开始:00 10月1日2020年,格林尼治时角现在是10.2。卫星将10 Gbps的通信能力。处理所需的CPU周期设置为1000循环/位(31日]。和我们设置卫星计算能力和本地计算能力10 GC / s (32GC / s)和1.5 (33),分别。
5.2。收敛的JTOSRA
图2显示了损失函数的收敛性。可以看出,损失函数中定义集中在训练的步骤会增加。如图3,完成任务的速度训练过程中也将增加。数据2和3证明基于DQN JTOSRA节制定适用于这个问题3。尽管大量的训练步骤需要达到收敛,培训过程的初始阶段才会实现LEO网络。一旦达到收敛,联合任务卸载和调度决策可以一步一步与低复杂性。此外,培训过程可以通过pretraining实现离线过程进一步降低复杂性。
5.3。性能分析
分析与固定MLMRA任务分配的性能,采用两个参考方案和比较的完成率。被列为所引用的资源分配方案(我)平均资源分配(ARA)。资源将被均匀地分配给的任务(2)资源分配基于延迟最小化(LMRA)。资源将被分配给任务通过最小化和延迟的任务
图4显示的影响许多不同的任务完成率的资源分配方法。可以看出任务的完成率将减少和增加的数量的任务。此外,MLMRA执行比LMRA, ARA算法执行最坏的打算。这表明MLMRA可以更公平地分配资源和任务的最大延迟最小化。这是因为LMRA关注减少延迟的任务,而MLMRA将分配更多的资源难以完成的任务,在有限的延迟。一般来说,该MLMRA算法能有效改善完成的任务与任务之间的公平。
评估JTOSRA的性能,介绍了以下两个算法任务分配:(我)随机。任务将被卸载,随机安排,和资源将根据LMRA和MLMRA分配。在数据5- - - - - -7,方法是贴上random-LMRA random-MLMRA,分别(2)模拟退火(SA)。任务将被卸载,计划通过SA算法,将分配和资源LMRA MLMRA。在数据5- - - - - -7,方法是贴上SA-LMRA SA-MLMRA,分别
此外,为了保证仿真结果的有效性,每个点取平均值得到的数据在多个测试,和每个测试持续200000插槽。图5显示了完成比例算法的性能随着用户数量的增加。随着用户数量的增加,等待调度任务的数量将增加,资源的短缺将导致任务完成率的衰落。显然,该JTOSRA算法执行比SA算法。JTOSRA,任务完成率减少慢比SA算法随着用户数量的增加。这是因为SA算法容易陷入局部最优解,导致算法性能变差。另一方面,传统的算法如SA算法只能优化决策为一个特定的时间段,但不能持续优化卸载和多个时段的调度决策,需要在每一步迭代的算法,时间成本高。然而,拟议的JTOSRA算法可以继续积累经验决策过程优化任务的完成率。此外,比LMRA MLMRA执行。
在图6,采用卫星通信能力变量来研究该算法的性能。可以看出,卫星通信资源的增加,这意味着更多的通信资源可以分配给任务,将导致增加的完成率。但是曲线的增加率随卫星通信资源的增加而减小。这是因为通信资源的主要因素影响任务的延迟通信资源的数量很小。当卫星通信资源的数量增加到一定值,计算资源的卫星将成为主导因素,这将主要影响延迟的任务。此外,JTOSRA算法的性能仍优于其他两种算法,和MLMRA算法的性能优于LMRA算法。同样,完成率对卫星计算能力如图7。图中每个曲线的变化趋势接近,在图6。
6。结论
本文协作计算和LEO卫星网络资源分配进行了研究。LEO卫星之间的协作框架计算不同拓扑结构,提出了联合任务卸载、调度、多维资源分配较低的问题分为两个子问题的复杂性。JTOSRA基于DRL和不等式性质提出了公平解决问题,和仿真结果表明,JTOSRA优于参考方案的任务完成率。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突。
确认
这部分工作是支持下由中国国家自然科学基金会拨款61971054和格兰特62171052和科技信息传播和传播在格兰特HHX21641X002在通信网络实验室的基础。