文摘

本研究的目的是为了降低高度动态的衬底的影响造成的网络拓扑结构和传输延迟大长通信卫星和地面之间的距离在软件定义卫星网络(SDSNs)和部分观测马尔可夫决策过程(POMDP)的服务功能链(证监会)提出了SDSN部署方案。这种SDSN架构下,网络拓扑变化可以通过SDN集中控制能力。由于拓扑结构的变化,这可能会导致不可避免的观测误差和传输延迟,完整的实际拓扑和网络状态无法实时获取。因此,我们提出一个POMDP模型证监会部署方案,和一个近似迭代算法来解决这个问题,针对SDSN优化端到端网络延迟。仿真结果表明,我们的模型可以优化证监会部署过程的延迟,提高资源利用率和SDSN的网络吞吐量。

1。介绍

软件定义网络(SDN)和网络功能虚拟化(NFV)是近年来有前途的网络技术;随着空间技术的发展和商业卫星网络,传统的卫星系统不再能满足卫星的雄心勃勃的增加用户的需求,因此研究新的卫星网络系统已经成为必然趋势。传统的卫星系统,如典型的分布式卫星系统,相互合作完成太空任务形式的多个独立的微卫星网络,及其体系相对成熟。然而,也有一些问题,如网络管理和控制流程复杂;较低的网络结构是凝固的灵活性和可重用性差。相比之下,软件定义卫星网络(SDSN) [1,2),是新一代的卫星网络体系结构基于软件定义网络的想法。其实质是独立控制功能的卫星网络数据转发的功能,以实现高效的集中控制功能和灵活的管理功能的卫星网络,这使得SDSN将来有前途的研究方向。

SDN所带来的优势主要是对其强大的管理和控制能力。作为一种新的卫星网络发展趋势,有些探究的研究和项目SDSN,最初的工作主要关注SDSN的体系结构设计和新应用程序场景。大多数情况下,网络架构分为三个或两个主要部分,包括地面或地面网络、卫星或空间网络,和也许不久(高空平台)或空气网络;卫星网络可以分为地理,MEO和LEO层(3,4]。出于新的网络技术,提高网络和服务需求,SDSN的应用场景也扩展到5克,物联网,边缘计算网络,网络的车辆网络(5- - - - - -7]。在我们的工作中,软件定义卫星网络架构如图1是由三部分组成,通过数据链路连接和控制环节,GEO卫星部分,LEO卫星部分,和地面网络部分。由地面控制中心控制链接确认和修改(GCC)在GEO卫星地面网络和SDN控制器作为管理和控制平面,而GCC生成管理策略和相应控制器发出控制命令衬底在LEO卫星和地面网络节点。衬底之间的数据流代表了数据转发路径节点由控制命令,和衬底节点异构网络是由卫星,uva,和地面基站(BS)和数据中心的服务器(直流),用户设备,车辆设备,等等。通过SDN / NFV技术,管理和控制飞机可以获得整个SDSN网络状态和适当的转发决策衬底网络和更新和重新配置他们的转发决策改变的动态网络状态和用户的请求。然而,它仍然是非常具有挑战性的管理和分配有限的资源(尤其是在参考资料)在这样一个大规模的和多源异构网络。

由欲望满足SDSN用户的请求和促进有限资源的利用率,SDN和NFV可能这些多源异构物理资源抽象成统一的虚拟资源池,包括计算、存储、光谱,从卫星和多样化的服务功能,也许不久,和地面网络。然后,这些资源调度和分配根据当前的网络状态和特定的服务要求,旨在满足微分和动态用户请求,并促进网络性能和资源利用率。虽然已经有一些关于网络资源分配的研究(RA)问题,至于网络用户的服务请求而言,很少有作品对证监会SDSN部署的问题8- - - - - -10]。具体地说,服务功能链接(证监会)是一个过程,它使用SDN / NFV能力通过命令生成一个交通流虚拟化服务功能根据特定的请求(5,11]。,SDSN中的服务功能包含一般函数和内置函数;一般的功能包括防火墙、DPI id、负载平衡等(12),而车载功能包括卫星导航器,地球监测卫星图像处理等等(13,14]。证监会提供了更简单的管理能力和更高的资源利用率为互联网服务提供商(isp),并给出了用户自定义网络片。因此,生成证监会SDN / NFV-enabled卫星网络中部署方案适应多样化用户的请求是有意义的。此外,考虑到卫星节点的移动性和不断变化的网络SDSN,证监会在SDSN部署的主要挑战是动态网络状态和延迟时间越长越多比独立的地面网络通信路径,使得控制器很难准确地监控和认知网络状态和生成有效的部署方案。这意味着香港证监会部署SDSN不应被视为一个通常的静态问题,而是一个动态部署问题在动态和异构网络,使依赖于模式的方法,获得完整的网络状态的假设无法处理它。同时,是不现实的SDSN获得整体网络控制器的精确,因为误差和干扰是客观存在的环境。部分可观测马尔可夫决策过程(POMDP)模型是一个扩展的一般马尔可夫决策过程(MDP)模型。它可以提供一个强大的数学框架求解序贯决策问题在不确定的环境中,并且可以应用到复杂的场景如机器人探索和multi-resource分配。与一般的MDP模型过度依赖于完整的系统的状态信息,POMDP可以使建模决策基于不完全状态信息获取,这是更适合解决复杂的问题。近年来,各种近似算法应用于POMDP问题提高了效率,减少了求解的复杂性,使它更适合复杂和动态的部署问题。 Hence, the Partial Observation Markov Decision Process (POMDP) that is adaptable to dynamic and inaccuracy observed environment is introduced in this paper, so that the dynamic SFC deployment problem of SDSN can be modeled as a POMDP scheme.

因此,针对整个网络状态的问题正是由于无法获得卫星拓扑的不断变化和长期的通信延迟,证监会部署方案,提出了基于POMDP SDSN。总结了本文的主要贡献如下:(一)首先,我们对证监会调查相关工作部署SDSN近年来,并考虑在SDN证监会部署问题——/ NFV-enabled SDSN网络状态无法准确地观察到,由于卫星拓扑变化频繁,节点之间的通信延迟很长。然后,部分观测马尔可夫决策过程的基础服务功能链(POMDP-SFC)部署方案,提出了制定和客观约束这个问题。(b)我们应用POMDP-SFC决定多少和卫星节点可以用作VNF服务器或转发开关,并找出适当的网络资源分配的解决方案,满足约束的不断传入的用户请求。(c)最后,我们进行仿真来验证我们的建议的网络性能,并比较四个通过STK-MATLAB相关算法;结果表明,我们的建议是有效的。

剩下的纸是组织如下。相关工作进行了综述2的体系结构模型和控制模型,介绍了SDSN部分3。描述问题的陈述和配方,POMDP-SFC模型和HHIV算法提出了部分4。而且,部分5显示了算法性能评估,仿真结果和本文的结论部分6

软件定义卫星网络的快速发展,许多优秀作品的网络体系结构设计和资源分配研究,而较少关注证监会SDSN部署问题。

2.1。SDSN网络体系结构设计和资源分配

包等。3称为OpenSAN]提出了一种软件定义卫星体系结构,将卫星网络分成三个部分通过解耦控制功能和数据转发功能,和控制平面和管理平面决定地理组和地面站。Bertaux et al。4)认为SDN / NFV引入一个典型的宽带卫星网络体系结构,为了提高卫星通信性能和其QoS。与此同时,Ferrus [5]描述三个潜在改善地区卫星通信向5克。Marchese et al。6]讨论了将物联网和无人机设备和服务集成到5 g混合地球卫星网络的目的,克服传统的地面网络的限制。南(7)提出了一种新的空中移动边缘网络集成,和研究UAV-assisted边缘缓存和计算场景。可以看出上面的工作专注于提高网络控制能力和扩大应用场景,并为下面的研究提供了一个良好的基础其他问题。

资源分配问题近年来在SDSN已经部分作品。王等人。8]提供了一个三层space-air-ground网络体系结构,使得边缘的LEO卫星计算卫星可以处理数据。在这种架构下,基于广度优先生成树搜索算法计算路由路径和调度提出了通信资源,并旨在解决用户计算和通信资源分配问题。“素质”等。9)设计了一个灵活的网络分割和边缘计算卫星网络的资源管理机制,并根据特定的QoS需求分配资源的应用场景和业务需求。Zhang et al。10]提出了分层space-air-ground分级控制器管理共享资源网络体系结构,并展望了几个开放问题,包括定制的虚拟化服务,资源的集中控制,互联网安全的车辆,等等。上面的工作主要是关于通信和计算资源的管理和优化,以及忽视了服务资源。

2.2。在SDSN服务功能链接的问题

至于SDSN服务功能链接问题,王等。14)设计了一个SFC-based可重构服务配置框架,认为VNF嵌入space-air-terrestrial架构和服务路由问题,并采取了一种启发式的贪婪算法基于节点特点和资源平衡解决香港证监会在车辆场景的网络部署的问题。Varasteh et al。15)的要求不同的服务资源和房间空气的流动节点,并提出了一种联合服务部署和路由方法基于流动意识。仿真是一个小规模的场景中进行使用一个优化问题解决者。与静态路由方法相比,显著降低服务成本和端到端延迟,但大规模场景的解决方案效率需要改进。李等人。16)提出了一个horizontal-based编排方案多域证监会在SDN - / NFV-enabled satellite-terrestrial网络,并利用多域控制器协调香港证监会编排问题,其主要贡献是关注主多域之间的协调方法协调器和域间协调器。香港证监会部署方案以上工作在方面做得很好,但大多数依赖于准确的观察。李等人。17)提出了一种软件定义基于小型卫星卫星网络框架来解决传统卫星网络的配置不灵活和调度问题,设计了多域的部署模式和卫星形成连锁服务功能,并从三个方面比较的跳数,延迟和丢包率。艾哈迈德et al。18)提出了一种实现方法,按需网络切片在SDN - / NFV-enabled satellite-terrestrial网络系统,并按需网络配置建模方法作为MILP优化问题,可以满足多样化的服务需求通过部署服务功能链。提出OnDReAMS算法和QoSAM算法的性能比较使用优化器在两个场景的需求。Cai et al。19]关注时变拓扑建模和服务请求建模的卫星通信网络(SCN),并建立了优化模型证监会部署的目的,减少端到端延迟。基于Dijkstra算法的启发式算法和BFS是用来解决这个问题。贾et al。20.)建模低轨道卫星的资源分配问题作为一个独立的经典模型。首先,独立的原始模型分解为一个平行子问题根据Dantzig-Wolfe (dw)分解方法,然后精确的解决方案方法结合列生成和分支界限法采用子问题的解决。与通用准确的解决方案方法相比,该方法更高效地处理大规模问题,但它仍然具有很高的时间复杂度。此外,这种方法侧重于优化资源消耗,忽略了考虑用户服务体验。Eramo et al。21,22关注迁移和重新配置问题在虚拟网络嵌入和虚拟路由器迁移过程。为了平衡操作和重新配置成本,同时保持QoS级别,提出两种MDP-based最佳移民政策决策算法在不同优化目标。那些早期的好作品证明MDP-based模型适用于建模虚拟网络嵌入,路由器迁移和连锁服务功能部署流程。

上述证监会部署方案取得了良好的效果在他们的重点方向,但大多数国家依赖于准确的观察。然而,SDSN链接长度引起的传输延迟和拓扑变化引起的流动将导致系统状态不准确地实时获取,和在这种情况下生成的系统观测误差不容忽视。这样的部署策略,依靠完整的信息状态有一定的缺点。为了克服的缺点不完整状态获得由系统,使用POMDP模型证监会SDSN部署过程,从而实现高效、灵活的控制功能的动态和异构网络。

3所示。问题陈述和配方

在本节中,我们描述了建议证监会SDSN部署方案;然后,制定这个问题的存在。

3.1。问题陈述

基于SDSN的架构部分1,我们可以描述香港证监会部署过程条件下,它只能获得部分观测网络状态。如图2,香港证监会SDSN depolyment过程可以安排灵活和动态的能力SDN / NFV和也给用户更好的网络性能,降低资源的消耗。在此体系结构中,狮子座卫星和地面网络设施负责数据转发和需要的网络服务功能在SDN控制器的控制命令。在本文中,我们假设需要VNFs机上服务和需要嵌入在LEO卫星。香港证监会在SDSN部署的主要步骤如下:(1)用户请求初始化。当地流行的用户覆盖范围内(的存在)发起一个请求,包括服务请求和资源沟通,请求,请求将被发送到地面网络通过当地流行的GCC。为每个用户的请求,SDSN将提供特定的网络功能和服务在特定sub-VN,也就是说,不同的证监会针对不同用户的要求。例如,在图2,用户A和用户B需要与用户C,分别需要不同的网络性能和特定的网络功能;需要两个不同的香港证监会(SFC-1和SFC-2)在两个sub-VNs (VN1和VN2)在同一衬底LEO卫星,也共享同一网络资源。(2)根据用户的请求和生成部署战略获得网络状态。管理和控制平面将产生证监会部署策略通过POMDP模型基于接收用户的请求和当前的整体网络控制器和GCC收集的状态。管理信息包括证监会部署策略将被送到GCC,而控制信息将被发送到SDN控制器GEO卫星上。管理信息包含VNFs映射关系,引导行动VNFs和服务器之间卫星节点的映射。至于控制信息,SDN控制器GEO卫星传输控制命令,分配给SDN开关在LEO卫星的形式流表。因此,它可以指导用户流量通过卫星节点收到VNFs能提供所需的网络功能和服务,同时满足用户的请求和衬底资源约束。(3)分配和调整部署策略和网络资源与环境的交互信息。更新后的整体网络状态信息从控制器,证监会部署后产生的服务信息,GCC将收集到的反馈信息管理和控制飞机。由于观测误差,POMDP模型应该适用于获取信息与环境的交互,这可能帮助部署方案重新分配和调整部署策略。精心设计的证监会部署计划将提供更好的网络性能和更高的资源利用率动态、异构网络SDSN。

3.2。问题公式化

问题制定之前,我们得出这样的结论:这项工作的主要符号表1

在本文中,我们研究的主要目的在证监会部署方案是为网络用户提供更好的网络性能,因此,端到端延迟应该放在首位,被视为系统优化目标。考虑机载处理能力薄弱的特点和长传输延迟的卫星网络,端到端延迟 可以计算出每一跳的和在香港证监会和端到端延迟主要由节点处理延迟 和链接传播延迟 因此,端到端延迟可以表示如下: 在哪里 虚拟节点的处理延迟吗u这是虚拟节点发送数据 在时间t, 的传播延迟是节点之间的联系u 在时间t。节点处理延迟的数据量有关 和节点的计算能力 ,可表示如下:

链接传播延迟 与实际的物理距离 节点之间u ,可表示如下: 在哪里 光的速度。

因此,香港证监会的部署优化目标SDSN可以表示如下:

方程(5)和(6)确保虚拟网络节点和一个虚拟链接只能映射到一个衬底节点和链接。方程(7)确保虚拟网络节点的计算资源要求不超过映射的底层节点的计算资源能力。方程(8)确保带宽资源需求的虚拟网络映射链接不超过容量的衬底连接带宽能力。方程(9)使用布尔变量表明是否衬底上的虚拟网络节点映射节点,而不是0,1是映射。方程(10)使用布尔变量表明是否衬底上的虚拟链路映射链接,而不是0,1是映射。

4所示。POMDP-SFC模型

在本节中,根据上面的优化目标和约束,问题将被描述为一个POMDP-SFC模型。首先,我们给出的定义POMDP-SFC模型,然后应用积分值迭代算法求解。

4.1。POMDP-SFC的基本模型

定义1 (POMDP-SFC)。如图3基于POMDP,证监会部署过程可以被定义为一个元组POMDP-SFC = <年代,一个,P,RΩ,O,B>,(我)S是SDSN系统的状态空间的设置,代表所有可能的网络状态的系统环境。(2)一套是行动的空间,可以在操作系统环境;执行一个动作会导致当前网络状态的转移到下一个状态。(3)P是转移概率函数的一组网络状态,自从网络之间的过渡状态的不确定性。(iv)R是奖励的功能系统,它反映了环境反馈在执行一个动作状态年代(v)Ω是有限观测空间的一组网络状态,包括所有的网络状态,可以观察到控制器。(vi)O是网络状态的观察概率函数;这意味着状态的概率年代可以观察到当前时间t(七)B是信念状态的一组网络,代表网络状态的概率年代在当前时间t。

以下4.4.1。状态空间年代

状态空间年代代表了所有国家的集合遍历由系统从初始状态到终端状态。软件定义的卫星网络,状态空间年代由网络拓扑状态和网络资源状态,那是什么 在哪里 是当前网络拓扑连接状态, 是所有网络拓扑连接状态的集合。当前网络拓扑连接状态可以表示为底层网络拓扑连接状态,虚拟网络拓扑连接状态,和生成的服务功能链接连接状态,即 ,有一个节点之间的联系 代表衬底网络, 没有联系;当 ,有一个节点之间的联系 代表虚拟网络, 没有联系,也一样

底层网络资源的当前状态,是由节点的CPU资源和链接带宽资源,然后呢 是所有网络资源状态的集合年代,即节点权重矩阵和链接权重矩阵代表当前衬底网络资源状态,这可以表示为 表示节点的可用的CPU资源 ,同样的, 表示节点的可用带宽资源 到节点

4.1.2。行动空间一个

行动空间一个代表了所有国务院系统可以采取的行动 ,和每个行动都有一个映射关系与特定的服务功能。软件定义过程的卫星网络证监会部署,有三种类型的操作集,如连接动作,VNF部署行动,香港证监会资源分配行动。 在哪里 行动是建立一个连接。如果链接中断感觉到拓扑中,采用行动重建连接并进行数据传输。 是一个网络片VNF生成部署和行动。当一个新用户提出了证监会的要求,这一行动将被用来生成一个新的虚拟网络和部署VNF在相应的节点。 是一种资源分配行为。基于生成新的虚拟网络片,计算资源和带宽资源分配到相应的节点和链接。

4.1.3。状态转移函数P

状态转移函数 代表了系统状态的概率将会转移 到下一个状态 通过执行行动 在时间t,即: ,分别代表时刻系统的状态 , 的行动时间吗 , ,分别代表系统的拓扑状态 ,,可以表示如下: 在哪里 代表了底层网络拓扑状态, 代表虚拟网络拓扑状态, 代表了服务功能链拓扑状态。 ,分别代表了网络资源的系统状态 ,即: 在哪里 表示节点的计算资源状态 , 代表了带宽资源的链接

由于复杂的环境空间,卫星网络的链路连接状态会变得坏或折断。至于方程(15),考虑是否执行连接操作取决于它的破坏因素。如果是打断了连接失败,需要重新连接,然后执行连接操作 , , ,如果连接成功,其他的都是0。如果它坏了长链接距离或物理故障,不能及时恢复,也就是说, ,当且仅当 ,

假定卫星网络链路的概率 打破时间t在随机的情况下是 中断概率计算公式可以参考卫星网络拓扑结构周期性变化,可以假设一个循环,可持续的连接状态可以保持10分钟,破碎的时间周期性的重复,可以使用历史观测数据。如果只考虑重建逻辑链路连接,成本是重建的延迟连接,传输的延迟,或者重建的延迟链。

也就是说,当 ,存在

4.1.4。奖励函数R

奖励函数 代表了奖励,系统可以执行一个动作一个在国家年代。奖励的设置函数取决于服务的解决方案的优化目标函数链部署模型,即最小化服务功能链的端到端延迟。假设系统状态 在时间t,被调用的操作 使系统状态 搬到国家 ,和奖赏函数 与端到端延迟呈正相关,也就是说, 在哪里 是端到端延迟函数, , , 是奖励系数的函数。

4.1.5。观察空间Ω

观察空间Ω代表可观测参数的设置状态。根据全球卫星网络可观测状态的特征定义的软件,观察空间被定义为网络拓扑状态和网络资源状态,并且可以表示如下: 在哪里 表示观测网络拓扑, 表示观测状态空间的网络拓扑结构, 表示观测网络资源的状态 表示网络资源的观测空间。

4.1.6。观察函数O

观察到的对象O摘要网络拓扑状态和网络延迟状态。观察到的函数可以表示如下,

观察函数O是这个系统的可观测的函数集, 表明观察状态的概率o观察,一个动作一个在这一刻达到下一个状态年代 在哪里 是观察到的状态的网络拓扑。当 ,即观察到网络拓扑状态与实际状态一致,当 ;否则,它是0。

同样的, 是观察到的网络资源。当 ,观察到的网络资源的状态与实际状态一致;否则,它是0。

由传感网络拓扑观察函数可以计算出当前网络节点和链路状态,和0/1用于表示的正常或中断状态节点和链接:

网络资源观测函数可以计算通过感知计算和可用带宽资源在当前网络,和其余的计算资源和带宽资源可以表示如下:

4.1.7。信念状态B

在POMDP问题过程中,系统内部状态不能直接获得。信念状态 代表一组系统状态的概率年代在时间T,它是由一个基于历史判断策略和观测值的条件概率。信念状态 是用来推断当前系统状态在每一个时刻,并更新它在每个时刻的观测值不同的国家行为,以获得更精确的动态环境信息。其表达式如下: 表示系统状态的概率 目前t。信念度函数的介绍后,POMDP符合马尔可夫过程,也就是说,在每一刻的信念状态只与前面的信念状态,执行行动,和观测值,然后: 在哪里 归一化常数,值是:

因此,优化目标函数的软件定义卫星网络可以翻译成: 在哪里T表示时间, 是折现系数, , 是奖励函数引入的程度的信念,和代表奖励函数当信仰点吗 选择行动

,必须有一个稳定的最优策略,最大化目标函数的值,和最优策略选择POMDP可以表示如下:

通过传达员迭代逼近策略,POMDP模型的价值函数可以转换为:

其中, 是学习速率。因此,通过值迭代最优值函数的POMDP可以表示如下:

4.2。HHVI POMDP-SFC模型的求解方法

POMDP模型的解决方法主要分为两类:精确求解算法和近似求解算法。POMDP模型的具体算法表示值函数向量形式,有助于应用MDP-based信念空间中值迭代算法。因为它需要更新整个状态空间的信念函数在每个迭代中,具体的算法的计算复杂度非常高,只适合小规模的问题的状态空间。常见的算法是通过算法,线性算法的支持,说算法、增量修剪算法,算法和见证。由于计算复杂度较高的精确算法求解大规模问题,许多研究人员试图使用近似算法算出来。例如,使用积分值迭代算法得到一个近似最优解在短时间内可能是一个不错的选择。为了达到这个结果,可获得的积分值迭代算法选择一组信念点和计算它们的价值函数,然后扩展和更新信念点集的基础上初始设定。之后,通过使用积分迭代执行过程优化的价值函数,然后我们得到可接受的近似最优的结果。常见的近似解算法包括PBVI算法,HSVI算法,FSVI算法,UMDP算法,SARSOP算法,GapMin算法等。

有太多的状态和行动对SDSN,精确解的算法无法应对如此大规模的状态空间,所以选择基于点值的迭代近似算法来解决这个问题。在上面提到的近似算法,主要区别是信仰点的选择方法和选择信仰的价值功能的更新方法分。此外,选择信仰点的数量决定了价值函数的计算复杂性和准确性。以来的探索点集算法与简单的扩展方法如PBVI和HSVI成倍增加,并可能不断探索信仰点,它会导致很长的计算时间和低效率。因此,我们选择使用混合启发式值迭代(HHVI)算法求解POMDP-SFC模型,从而缩小当前的信仰空间,探索可及信仰点以高效的方式。算法1的基本流程和算法描述如下:

输入:POMDP-SFC = < S, P, R,Ω,O, b >
输出: ,
(1) 初始化值函数的下界和上界
(2) / /下界
(3) 每一个
(4)
(5) 结束了
(6) / /为上界
(7) 每一个
(8)
(9)
(10) 结束了
(11)
(12)
(13) / /探索的信念HHVIE点集的算法在算法3
(14)
(15) / /更新下界
(16) 如果
(17) 每一个
(18)
(19)
(20)
(21) 结束了
(22) 如果
(23) / /更新上限
(24) 如果
(25) 每一个
(26)
(27)
(28) 每一个
(29)
(30)
(31) 结束了
(32)
(33)
(34) 结束了
(35) 如果
(36) 结束时(一)步骤1。首先,初始边界最优值的上、下界函数构造,和快速通知绑定(FIB)被选为初始边界的上限计算方法(算法6 - 10)。盲目的政策选择初始边界的下界计算方法(算法2 - 5行)。构造上、下界函数的目的是使用上界和下界函数逐渐减少的范围值函数空间和方法中的最优值函数迭代的过程。(b)步骤2。点有足够的差异在当前选择信仰点集构造扩展点集 新信仰的观点是探索这样的继任者点最远的从最初的 选择从随后的信念点有足够的每个值函数的上下界的差异 扩大信仰点集 HHIVE算法算法2所示。随后点的选择取决于信仰点的分布和价值函数,也就是说,信仰的密度点的双重选择标准和混合价值函数,为了提高算法的适应性和求解效率。 在哪里 是信仰的上界值点吗 , 是信仰的下界值点吗 , 的层数是信念 , 是常数。HHVIE算法的原则是开始从信仰角度b,选择最优行动最大的概率,然后选择之间的差异的最大概率加权基础上、下界,以探索新的信念 重复迭代过程,直到差值的上、下界探索信仰点小于阈值 ,获得了探索信仰点集B,并完成勘探后更新值函数的上界和下界。(c)步骤3。在更新信念点集B,备份算法更新信念点集的下界,锯齿波算法更新信念的上界点集,和价值功能V是更新。(d)步骤4。重复以上步骤,直到达到阈值的算法。
输入:
输出:
(1)
(2) 每一个
(3)
(4)
(5)
(6) 结束了
(7) 返回

算法采用的上下界的最优行动的价值功能,同时选择最优操作。,通过不断减少的上下界的空间,解决空间的每个操作的最优值函数降低,使求解结果更加准确和高效,并加速算法收敛的速度。

5。实验结果

5.1。环境设置

为了评估算法的有效性和性能提出了在部署和优化SDSN车载服务资源,基于Matlab的仿真验证了2018 b和STK 11联合仿真实验。仿真实验运行在主机与英特尔酷睿i7 - 10710 u @ 3.3 GHz CPU和16 GB的RAM来模拟卫星星座网络、inter-satellite链接连接状态,和地面网络连接状态。

卫星星座的参数由模拟指的是典型的沃克卫星星座。表2显示主要的卫星参数的设置、网络资源参数,和证监会请求参数。

此外,地理模拟网络中节点的数量是3,和狮子座节点的数量是6×11日,也就是说,6和11 LEO卫星轨道的飞机在每个轨道平面。表2描述了其他网络资源的设置参数。假设VNF的数量在每个证监会在模拟场景中参的随机分布。(2、5)。假设每个卫星节点可以充当服务提供者节点和主机多个VNFs形式的通用的边缘服务器。在本节中,车载节点计算资源的优化配置和inter-satellite链路带宽资源。为了便于研究,资源容量设置的值范围在500年和1000年之间单位,并遵循均匀分布。例如,SDSN节点集的计算能力在200 - 400单位,和Inter-Satellite带宽容量的链接(种)和Satellite-Terrestrial链接(抢断)设置在200 - 400辆,而国米轨道链接设置在150 - 300辆。假设服务请求到达服从泊松分布;然后,到达率(0.05,0.2),服务功能链长度的值范围(2、5),对节点计算和链路带宽资源的需求服从均匀分布,值范围(2、5),和一生的价值范围是[80]。

根据上述参数模拟场景,STK 11用于获取每个卫星的可见性分析数据,inter-satellite链接,连接状态数据SDSN satellite-terrestrial墨水的。即单个卫星之间的连接关系和其他卫星和地面,inter-satellite链接的持续时间以及卫星地面链接。此时网络拓扑信息可以通过可视性分析获得的数据,全球网络状态信息可以定期得到SDN控制器和系统观测状态在车载证监会部署方法4.1节中提到的可以概括。

5.2。实验结果

在上述的基础上,首先,提出POMDP-SFC中的关键变量的影响网络性能进行分析,主要包括两个关键变量,服务功能链的长度,和服务请求的数量。然后,该算法将与3服务功能链部署算法在相关作品,和网络性能指标方面的分析算法收敛速度,端到端延迟、服务请求成功率,和运行时间,以验证和评估的有效性和性能提出POMDP-SFC。

5.2.1。POMDP-SFC算法的影响变量

由于卫星节点的有限的资源和inter-satellite卫星网络链接,和卫星星座的拓扑连接关系,单个LEO卫星节点的最大连接度通常是4,也就是说,一个单一的LEO卫星总是与两个相邻的LEO卫星在同一轨道和两个邻居的轨道。因此,服务功能链的长度和到达率对其性能有一定的影响。

服务功能链的长度表示为sfc-length,和值范围(2、5),评估对成功率的影响服务请求和网络资源的利用率。

如图4的条件下,不同服务功能链长度,成功率POMDP-SFC服务请求的算法而服务请求数量的变化。随着服务请求数量的增加,服务请求的成功率逐渐减少。当服务请求的数量是90,服务请求的成功率,SFC-length值是2,3,4,5是0.77,0.69,0.67,和0.60,分别表明服务功能链的长度直接影响服务请求的成功率。与服务请求的数量的增加,船上剩下的资源减少,所以后续服务请求的成功率逐渐减少。服务功能链的长度越长,就越难选择狮子座内符合要求的节点和连接板上资源有限,所以成功率相对较低。

如图5的条件下,不同服务功能链长度,POMDP-SFC算法的计算资源利用率与服务请求的数量的变化。服务请求的数量的增加,LEO卫星节点的计算资源的利用率逐渐上升。当服务请求的数量很小,有更多的自由LEO卫星节点的比例分配计算资源节点的计算资源总额较低,所以计算资源的利用率很低。当服务请求的数量达到100时,网络的计算资源利用率和服务功能链的长度2,3,4,5 = 0.79,0.72,0.62,和0.54,分别。香港证监会的长度越长,计算节点的资源利用率越低。与服务请求的数量的增加,越来越多的服务请求逐渐占领各种资源在当前网络系统来满足其多样化的服务需求。因此,节点资源的利用率逐渐增加。但与此同时,服务功能的长度越长链和请求的数量越多,越低的概率完成VNF部署和资源分配。相邻节点的剩余的计算资源不足很难地图下VNF证监会,因此导致失败的计算资源分配和计算资源利用长连锁服务功能低于短。

6显示了带宽资源利用率变化与服务请求的数量。相比之下,图5以同样的方式,整体资源利用率波动,增加服务请求的数量。此外,服务功能链的长度越短,更大的带宽资源利用率在同一案件中。例如,当服务请求的数量达到100,SFC-Length的曲线2,3,4,5对应0.74,0.70,0.57,和0.51,分别。原因是类似于计算资源的变化。服务功能链越长,成功率越低的映射网络资源有限,和带宽资源利用率越低。与此同时,当服务请求的数量很小,资源利用率略有增加,但当服务请求数量的增加从75年到100年,资源利用率显著提高。当服务请求的数量很小,系统可以满足第一个服务请求和释放完成的服务资源的资源池,并提供后续的服务请求。然而,当服务请求的数量达到一定数量时,服务资源的释放速度无法赶上新来的服务请求,所以资源利用率增加迅速。

5.2.2。算法性能的比较

为了验证该POMDP-SFC算法的有效性和效率,几个数值模拟实验与相关工作进行了比较,应用于环境类似于SDSN近年来。拟议中的POMDP-SFC是一种启发式近似解的方法,而有关工程启发式和确切的解决方法是相似的。拟议中的POMDP-SFC算法相比,本文启发式多域服务功能链编排(MDCO)算法在裁判。17),OnDReAMS算法在裁判。18)和CALR算法在裁判。20.]比较,在收敛速度和网络性能参数,服务请求接受率、端到端延迟,总运行时间等方面进行比较和分析。收敛速度是一个关键的指标来评估算法的有效性。更快的收敛速度,提高算法的效率和可用性。车载服务部署的优化目标,端到端延迟也是一个重要的性能指标来评估算法的有效性。服务请求接受率反映了服务请求的比例部署成功完成的算法在约束所有传入的请求,和总运行时间是用来衡量算法的时间复杂度。

如图7随着迭代次数的增加,四个部署算法往往是稳定的。其中,POMDP-SFC算法往往在大约25迭代收敛,而OnDReAMS算法,MDCO算法,和CALR算法往往是稳定在大约73年,39岁和61次迭代。与后者三相比,收敛速度提高了65.75%,35.89%,59.02%。分析的原因,因为POMDP-SFC算法采用启发式值迭代法,通过不断压缩的上下界的可行解空间减少解决方案空间大小,可以获得最优可行解在更少的迭代,和优化能力是重要的。MDCO算法使用基于K最短路径的启发式算法来解决这个问题,并将原始问题划分为小规模优化问题通过域划分,然后减少可行解决方案的可行解空间加速解决方案,而且收敛速度仅次于POMDP-SFC算法。OnDReAMS算法和CALR算法属于精确求解算法。与启发式算法相比,解决问题效率密切相关的大小和优化性能。由于大规模的网络拓扑结构和状态空间资源组成的车载服务功能链部署问题,CALR算法的收敛速度仍然是劣质的启发式算法虽然知识的维度空间已经减少了dw分解方法。然而,OnDReAMS算法模型需要更少的因素考虑在内,不采取额外的加速方法,因此收敛速度慢于上述三种算法。

8显示了每个算法的端到端延迟的变化在不同的服务请求到达率。服务请求到达率设置为0.05,0.125和0.2,分别模拟卫星地面融合网络的用户规模的变化,在同一时期内发送请求。服务请求到达率的值越大,越密集在同一时期内发送的请求数。可以看出,服务请求到达率的增加,端到端延迟的四个算法也会增加,和端到端延迟的提议POMDP-SFC算法是最低的,验证算法的有效性在端到端延迟的优化目标,并能在数据传输为用户提供更好的服务体验。端到端延迟其他三种算法的优化效果CALR算法,从高到低OnDReAMS算法,MDCO算法。的原因进行了分析。传输延迟造成的观测误差不能忽视由于卫星网络的节点之间的传输距离长。提出POMDP-SFC方法可以解决延迟的优化目标的情况下获得感知状态信息的一部分,而其他三个算法依赖于系统状态的完整认知和不能充分利用观测的状态信息错误,所以效果差。

如图9,四个部署的服务请求成功率算法变化与服务请求的数量。当服务请求的数量达到200时,服务请求成功率从高到低是拟议中的POMDP-SFC算法,CALR算法,OnDReAMS算法,MDCO算法。服务请求成功率是72.5%,65%,57.5%,53%。也就是说,与其他三种算法相比,POMDP-SFC算法服务映射的成功率提高了11.54%,26.09%,和36.79%,分别。服务请求成功率是72.5%,65%,57.5%,53%。也就是说,与其他三种算法相比,POMDP-SFC算法服务映射的成功率提高了11.54%,26.09%,和36.79%,分别。通过分析原因,提出POMDP-SFC算法可以保护造成的影响观察错误,部署到服务在适当的位置更准确的形式,提高整个网络的资源利用率,从而提高服务请求的成功率。CALR算法和OnDReAMS算法,两个精确求解算法,提高了求解精度为代价的解决速度,改善服务部署的准确性和有效性,并使后续的服务请求完成部署足够的剩余资源的情况下,所以请求成功率高于MDCO算法。

6。结论

在本文中,我们专注于车载服务的动态部署框架的功能链卫星地面收敛收购网络条件下的不完整的网络状态。由于卫星通信链路,传播延迟是不容忽视的。所需的系统全局状态连锁服务功能部署的过程中无法准确、实时获取;因此,我们提出一个POMDP-based服务功能在SDSN部署方案。

首先,在分析和描述的前提下卫星和地面网络服务功能的部署流程链,过程建模为POMDP-SFC优化模型和最短的端到端延迟是作为优化目标的考虑下用户需求和可用的资源约束。因为卫星网络和系统状态空间和动作空间很大,为了提高POMDP-SFC的解决效率,我们使用一个迭代启发式算法基于点价值的方法通过构造价值函数的上下界来缩小可行解空间和探索信仰点在扩大点集,以避免过早收敛到局部最优解。最后,通过仿真实验分析,提出POMDP-SFC在收敛速度显著的优势,端到端延迟,和服务请求成功率,与OnDReAMS算法相比,CALR算法和启发式MDCO算法。

作为未来的工作,我们将研究更轻量级的、可扩展的框架,如深的强化学习方法,适用于更灵活的沟通场景,可以改善的可伸缩性较POMDP部署方案的方法。

数据可用性

所有的数据都是通过联合仿真支持本研究的发现。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究是由中国国家自然科学基金批准号62071483。