文摘

移动宽带网络的高速发展和物联网应用程序带来了大规模的数据传输和数据处理,和严重的交通拥堵有不利影响的快速增长的网络和行业。更好地分配网络资源,确保通信的运行平稳,预测网络流量成为一个重要的工具。我们详细调查的影响变量采样率对交通预测和提出一个高速交通使用机器学习和复发性神经网络预测方法。我们第一次调查VSR-NLMS自适应预测方法进行时间序列预测数据集转换。然后,我们提出一个VSR-LSTM算法实时网络流量的预测。最后,与传统交通预测算法相比基于固定采样率(FSR-LSTM),我们模拟预测精度VSR-LSTM算法基于变量的采样率。实验表明,VSR-LSTM交通具有较高的预测精度,因为它的采样率随交通。

1。介绍

随着全球移动行业走向6 g网络,移动边缘计算(MEC)的网络基础设施得到了前所未有的关注,支持物联网(神往的)应用程序与不同的业务需求1]。更好地服务用户,边缘计算提供的连通性和情报方面有巨大优势的实时服务,智能生活,安全性和可靠性2]。目前,边缘计算已应用于智能校园视频监控,工业神往,增强现实、虚拟现实(AR / VR)和其他应用程序场景,这也证明了MEC-based网络基础设施是有效的,完全有能力。

计算边缘的能力依赖于边缘服务器,通常与基站部署。预计更多的神往的应用程序将基于MEC在未来,和大量的数据生成将带宽等网络资源有很大的需求,计算能力和存储(3,4]。因此,在未来,需要多个MEC服务器共同为不同的应用程序提供服务。自MEC服务器有不同的计算处理能力和部署在一个分布式的方式,关键是将这些异构的计算任务MEC服务器根据不同的应用需求。因此,合理、有效的资源分配机制根据无线网络资源和MEC服务器资源的使用将有效地保证用户的服务需求。

资源配置将直接影响MEC-based网络基础设施的运营成本和神往的用户的体验。不合理的资源分配不仅会增加通信网络的运营成本,还可能导致严重的能源浪费。准确的无线网络流量预测可以直观地反映服务需求的变化趋势,为通信网络资源配置,提供了重要的参考和是一个重要的保证,以达到合理和有效的资源分配和计算任务卸载(5,6]。

这一直是一个有意义的研究课题,分析通信流量的分布和需求预测的无线网络流量来指导通信资源的分配(7]。前无线流量预测采用手动和statistical-based预测方法,预测和其局限性是显而易见的。手动预测是效率低下,无法实时调整网络资源分配根据服务需求的变化。在乐此不疲的交通预测模型智能地利用某些统计特征,但不能有效地综合利用各种信息,对无线通信有重要影响8]。机器学习技术的深入研究,出现了一些使用机器学习和工作深度学习无线网络流量预测算法(9- - - - - -18]。

在不久的将来,人工智能将成为下一代移动通信网络的本地特征,即第六代(6克)。在空气中通过基于ai内生智能设计接口算法,无线网络架构,和无线交通预测,等等,6 g通信网络建设可以更好地实现自治和情报网络,从而实现智能操作和维护管理6 g网络基础设施,包括MEC服务器和高效的自动部署服务(19,20.]。交通预测模型基于AI算法可以自动我的无线数据中包含的各种特性,全面利用这些特性来准确预测无线实时交通。准确的交通预测可以直接反映出的空间和时间分布通信服务需求,引导网络资源分配在不同的网络节点,然后卸载thecomputing任务在不同MEC的服务器,从而提高用户服务体验,提高自治和智能通信网络的运行和维护。

机器对机器(M2M)通讯、自动驾驶和虚拟现实只是几个6克的新应用蜂窝网络预计将在未来几年成为可能。这些应用程序都呼吁更好的网络延迟,能力,和上下文感知能力。至关重要的网络意识到流量达到这些严格的标准的要求。需要一个智能网络流量分析的发展和用户需求的准确预测。提前了解用户需求使得网络更有效地分配资源。网络可以管理用户之间的资源分配及时争夺资源。

本文的其余部分组织如下。列出相关的紧密合作,我们的研究部分2。6克MEC物联网的交通预测模型是描述的部分3。部分4关注交通预测的方法和变量抽样率(VSR)使用机器学习和RNN技术。在本节中,VSR-NLMS自适应预测方法进行时间序列预测数据集转换和VSR-LSTM算法提出了网络流量的实时预测。节中给出了仿真和性能分析5。部分6总结了全文。

网络流量分析和预测是交通工程的基础,网络规划、优化、管理和维护,资源分配、负载平衡等。前无线流量预测采用人工预测和statistical-based预测方法,有很多缺陷,如低效率和非实时。机器学习技术的深入研究,出现了一些使用机器学习和深入学习算法适合无线网络流量的预测。

所有的[9- - - - - -14]在电信网络解决网络流量预测问题。在这些研究工作除了12),LSTM或LSTM变体已经采用,取得了良好的预测性能与ARIMA等其它算法相比,SVR, FFNN, RFR, KNNR,等9- - - - - -11,14),预测主要集中在聚合行为,例如,考虑交通卷观察到在给定时间间隔(通常5 - 15分钟),这是coarse-prediction。

在[12,13),作者调查和专门的一套架构选择在卷积,复发和组合神经网络预测移动应用流量最好的粒度(包层/手机应用程序)。提供6克的AI-native服务愿景,作者在14)提出了一个新颖的edge-native框架提供一个智能预测模型使用LSTM-based encoder-decoder数据流量预测。预后模型训练在真正的时间序列多元数据记录收集的优势μ框选中的实验网络。

在[15- - - - - -18),互联网或校园网的流量预测,如ARQ消息和ping命令,都是细粒度的预测。特别是在(18),小波变换用于预处理数据预测之前,将一维时间序列数据转换为三维数据,哪个更有利于格勒乌(LSTM变体)特征提取,然后比RNN获得了更好的性能。

这些相关作品的详细比较比较方面的研究对象,交通数据的粒度,使用数据集,本文和算法,如表所示1。

表1
相关工作执行的预测不同的研究对象,通过不同的技术。

从上面的讨论,可以看出,与其他算法相比,LSTM有更好的性能在预测网络流量等时间序列数据。虽然没有指定的文献,特别是电信网络流量预测、交通生成的数据使用一个固定的采样率,不考虑交通速度的变化,将导致大型复杂的计算或预测不准确的问题。针对上述问题,一种新的算法,VSR-LSTM,可变采样率和LSTM相结合,提出了。

此外,对于读者的方便,本文中的所有缩写已经收集和列在表中2。

表2
缩略词列表。

3所示。系统模型

如图1边缘,移动计算系统模型,基于机器学习的流量预测是一个三层的层次结构组成的云平台,多个MEC网关,和大量的终端用户,包括多个独立的物联网网络。每个物联网网络许多终端用户(即服务。,不同的终端设备)。不同的终端类型和使用场景有不同的计算、存储和通信能力。例如,智能手机有相对较高的计算存储和通信能力,和充电电池有高能源供应能力。但是一些物联网节点能力不足与智能手机相比,尤其是许多节点无法更换电池,和他们的计算存储和通信能力非常有限。同时,各种服务有不同的QoS要求延迟、能耗、通信带宽,和其他指标,为不同的终端类型需要不同的处理方法和不同的业务需求。一般来说,较低的服务计算和功率要求高延迟需求可以在本地执行终端与强大的功能,如智能手机。物联网节点的计算和有限的权力,数据只能传输到网关节点或边缘服务器进行处理,这样的计算密集型服务,他们也需要卸载远程服务器与无限的能量计算能力来处理它们。


图1
交通预测6 g MEC物联网。

在图1、物联网终端用户是否卸载任务边缘服务器执行或边缘服务器远程卸载计算密集型任务执行结束,都需要系统分配适当的网络带宽资源。尽管6克已经增加了网络速度和带宽很多5 g相比,网络资源的竞争,尤其是带宽资源,仍然存在,这个资源在未来竞争可能变得更加激烈,需要基于用户需求的网络资源的动态控制。交通预测是实现动态资源分配具有重要意义,是一个前提和保证边缘计算服务器实现动态资源分配。

除了能够完成任务的执行将由用户与更大的计算需求和卸载任务执行的云,图的边缘服务器1应该也有动态交通预测函数准确地预测各种卸载任务所需的带宽资源和网络带宽资源分配提供依据。云服务器主要完成计算密集型任务卸载它的边缘服务器。

4所示。预测方法

4.1。发展中可变采样率的意义和初步的解决方案

为了避免混淆的预测,如果一个恒定的采样率是被利用,它必须交通负荷曲线的最大频率的两倍。因为更多的流量样本操作同样产生更多的交通预测操作,一个常数采样率将显著的计算复杂度放入系统。因此,开发一个low-sampling-rate解决方案看起来有吸引力。

地区的交通负载曲线,缓慢和快速变化的动作,作为灵感来源的概念VSR(可变采样率)21,22]。我们发现,交通负荷波动的主要来源是移动用户行为的时间性特征。一个显著的例子是校园学生的实时交通安排和决定的日历。然后,实时网络流量负载也是有限的访问和应用程序的数量。当用户的数量迅速波动,出现快速变化的区域,当用户数量保持一致,变化缓慢的区域出现。基于这些发现,最好的VSR策略是样品在慢慢地改变区域和低采样率在高采样率在快速变化的地区。恒定采样率的方法是经常使用在考虑整个交通载荷分布,而可变采样率时使用的策略是交通载荷分布需要独立采样和重建,一个实际的场景,从地区交通负荷变化速度。缓慢的更改和快速变化的最大频率区域,分别为代表 和 。尼奎斯特的理论,必须两倍采样率 变化缓慢的地区和的两倍 在快速变化的地区。因此,平均采样率 : 其中 和 代表时间的总长度由缓慢而快速变化的区域,分别。考虑 我们有 表明VSR方法的采样率低于固定采样率的方法。

4.2。VSR-NLMS自适应预测方法

随着负载的配置文件是未知的预测时,是不可能的配置文件加载到低收入和高速类型进行分类。作者在21)创建了VSR-NLMS自适应预测方法,该方法结合了FSR-NLMS(固定步骤size-NLSM)与VSR预测。时间的采样率tn被定义为 VSR-NLMS方案,它是迭代更新显示负相关与目标预测误差Eb> 0。我们进一步有以下限制 在那里, 和 表示系统的最高采样率最低,分别。

随着流负载曲线迅速改变导致大错误,这里使用的VSR-NLMS方案及时更新采样率,以确保准确性。基于后续观察,VSR-NLMS方法调整采样率。达到预测精度,必须提高采样率,因为预测误差越大,流量负载情况的复杂性就越大。预测误差较小,另一方面,表明交通负荷曲线变化缓慢,使采样率进行调整,以减少计算复杂度。当决定 ,我们必须选择预测精度和编译效率。大 值,显然,可能导致减少预测错误,但他们也增加了采样和预测方法的计算复杂度。当我们选择 ,我们推断,线性预测的反应时间不能太长,处理突发的交通。

4.3。量纲变换在时间序列预测

网络流量预测是一种时间序列预测技术,它的核心思想是分析非线性关系之前的数据和历史数据在某个时间点(23]。值的预测在未来的时间点完成基于建模分析的结果。我们必须使用交通流时间序列建模。交通流数据转化为多维数据,包括输入特征向量和模型输出样本标签的格式LSTM更好的模型。现在学者使用“滑动窗口”的方法将一维(1 d)数据转换为二维(2 d)数据。以下是正确的主要阶段在这个方法将一维时间序列转化为2 d机器学习数据类型。步骤1:选择的时刻T和收集N历史价值前一刻T并设置它们作为特征向量。N特征向量的长度。第二步:构造输出向量通过时刻T+1到T+米作为标签值。米是输出变量的数量代表的步长预测。

的基本流程图“滑动窗口”方法如图2。


图2
时间序列预测数据集转换。
4.4。RNN和LSTM

已知最早的RNN Hopfield网络(HN) Hopfield在1982年提出的24]。RNN,神经网络模型,可以处理时间序列和结构序列数据,已广泛应用于手写识别,语言歧视,文本翻译等领域。这些字段中包含的数据有一个共同的特性。也就是说,输入样本都是连续的序列数据,可以是一段文字或一块演讲。前面有很大相关性,以下数据的长度是不同的,不能准确地分为传统神经网络训练样本的分离。RNN模型与传统的神经网络相比,可以连接输出在当前时刻和前一时刻的输出,使神经网络具有“记忆”的功能。它可以记录历史的序列信息,不断减少梯度预测值和真实值之间的误差在迭代的过程中,最后得到最优模型。通常情况下,可以获得任何序列通过RNN预测模型。

然而,在RNN的实际训练过程模型,它是发现,这仍然是一个小不足以存储大量的历史信息。自从RNN模型存储相应的历史信息的网络层,网络层的数量越少,越不完整的历史信息记录。此外,网络层的数量越多,越复杂的训练过程,很容易有梯度下降速度快的现象,甚至消失,两者都将导致模型的预测性能差(25]。

解决上述问题,长期短期记忆网络(LSTM) Hochreiter等人提出的模型是在1997年(26]。随后,LSTM模型很快就取得了巨大的成就在语音识别和机器翻译。LSTM RNN的变种,可以解决常见问题的RNN模型通过改变隐层的结构。自从LSTM模型通过改变RNN模型,两个模型有相同的输出层和输入层结构,和差异主要反映在隐藏层的结构。

LSTM模型的隐层的结构如图3。可以看出,隐藏层主要由三个控制单元和一个内存块(细胞)单位,和三个适应性乘法控制单元的输入控制单元,忘记控制单元,分别和输出控制单元。


图3
LSTM隐层结构模型。

输入控制单元我t可用于控制,信息可以保存到内存单元在当前时刻,它包含两个网络层的激活函数s形的函数σ和褐色h函数,分别。 在哪里xt表示时刻的输入向量t,米t−1是以前隐层神经元的输出节点,并采用乙状结肠功能激活 和 。 表示重量值对应的输出结果之前隐藏层神经元的输入门口, 输入向量的重量值吗 和 的偏差参数输入控制单元计算的时候。

候选细胞状态, , ,和 重量值和偏差参数吗 分别。

接下来,相乘的结果相对应的元素的两个结果用于更新内存块细胞。

忘记控制单元Ft主要是用来连接状态的内存块单元前一时刻的状态内存块单元在当前时刻。

最终结果通过忘记门 在哪里 表示重量值对应的输出结果之前隐藏层神经元输入忘记门口。信息进入遗忘的重量控制单元通过输入控制单元在当前时刻用 ,和 的偏差参数被遗忘时控制单元计算。

输出控制单元是由两部分组成,当前时刻的输入向量结合信息从短期记忆获得输出结果 和输出的结果将输入向量与长期记忆获得的信息在当前的时刻米t。激活函数使用乙状结肠函数和棕褐色h函数,分别。 ,∘element-wise乘法,实现产品的相应位置的两个矩阵的元素。正如上面提到的, , ,和 的重量值和偏差参数吗 分别。

内存块单元的状态都是由过去的时刻状态和当前状态,在过去时刻状态是通过乘以单位过去时刻状态的输出结果忘记选通单元按照相应的元素,和当前时刻状态是通过乘以当前单元状态与当前时刻的输入控制单元按照相应的元素。

经过上面的讨论,我们清楚地理解控制采样率的重要性。本文的核心是不断调整采样率通过分析错误。本文的处理方法是应用LSTM算法。过去LSTM算法是如何工作的?误差值为输入,遗忘,和输出样本,这将在下面讨论。

LSTM算法的原因是传统RNN算法不同的是它通过忘记门可以删除一些不必要的数据。其中,一个我,B我,b我在输入控制单元;一个f,Bf,bf忘记控制单元;和一个o,Bo,bo在输出控制单元需要LSTM模型通过训练获得的。训练方法如下:错误的时间t定义在LSTM吗 和所有节点的平方和错误在输出层为代表l。在这个时候,我们有以下公式

其中, 预测价值,yt是真正的价值, 代表了隐藏状态。

然后,我们需要回到过去并使用后者时状态的错误计算上一次的错误状态。

在国家 ,错误的输入控制单元

忘记选通单元错误

输出控制单元误差

内存块单元的误差

使用上面的四个值,误差值的状态 可以计算为

然后,偏差项的梯度和梯度的重量一个,B,b派生的链式法则,然后更新梯度的梯度下降的方法。足够精确的计算一个,B,b与足够的时间间隔值,训练后,我们使用上一次的抽样误差状态 当对象使用LSTM算法来预测。当 太高了,这意味着采样精度是不够的,我们需要增加采样率;当价值 太低,这意味着采样率太高,太多的计算资源被浪费。在这种情况下,需要对采样率降低。

此外,它应该指出,封闭的复发性单元(格勒乌)也是一个RNN的变体,和它的结构类似于LSTM,不如LSTM门,减少矩阵乘法,可以节省大量的时间在不牺牲性能在小数据集的场景。但在大型数据集的场景,比格勒乌LSTM有更好的性能,如预测精度,还记得,AUC,等等。在我们的研究中,从MEC服务器获得数据集很大,所以LSTM更好的性能用于本文预测(27]。

4.5。提出VSR-LSTM模型

在这篇文章中,我们充分利用优秀的优势LSTM在时间序列预测,并结合可变采样率的概念,提高了VSR-NLMS算法,提出了一种网络高速公路交通预测模型基于LSTM可变采样率,命名为VSR-LSTM,其中包含以下三个主要部分。(1)将原始数据形式和划分训练集和测试集。(2)火车LSTM神经网络。(3)实现交通流预测和验证结果。

下面列出了模型的基本阶段。步骤1:根据收集到的实际交通流数据,训练集和测试集的比例分成7:3。步骤2:基于“滑动窗口”方法的基本原理,原来的一维交通数据转化为二维数据。步骤3:预处理的原始数据标准化和其他方法。第四步:输入训练数据到LSTM网络,训练模型参数,建立预测模型。第五步:输入的输入向量测试集LSTM训练神经网络,比较预测结果与真实值的误差模型。

符号的总结部分3表中列出3。

表3
总结部分的符号3。

5。数值结果

在本节中,我们实现了该VSR-LSTM和比较它与传统的固定采样率算法FSR-NLSM。参加促进性能比较,原来的固定采样步长算法FSR-NLMS也是实现基于LSTM,即FSR-LSTM。

5.1。评价设置

我们评估建议的体系结构的性能使用移动交通统计数据的集合十分开MEC服务器,我们聚集在过去的1个月。根据节4.5,我们确定总细胞为每个服务器流量。我们使用归一化均方根误差(NRMSE)作为衡量预测算法的有效性,这被定义为 在哪里 和xt预测值和其相应的观察吗t分别为, 是他们的意思。N点的总数。建议架构的准确性将使用相同的度量与发现使用其他预测算法。

仿真是使用Python实现,后端使用TensorFlow和Keras。表4所选hyperparameters报告。hyperparameters之一必须选择可能影响之间的权衡的时间和预测精度要求列车网络隐藏层的数量,这是固定在5。必须维护的信息,利用网络是由先前的观测值的数量之间的关系和多步预测的准确性,这是我们关注的焦点。预测精度可以通过添加更多的增强层。我们时代的总数100出于同样的原因。体系结构是使用三周的训练和验证数据。以下结果与前一周。我们反复改变网络权重基于训练数据使用亚当优化。

表4
hyperparameters培训。
5.2。结果的分析

多步预测的结果,其中包括使预测未来时间瞬间而推迟的输出通过一个预定义的数量,每天播发或者刊登然后显示。我们证明准确性受当我们试图预测交通统计数据即将到来的步伐。我们也看看,每天播发或者刊登的长度T和观察的数量LSTM网络可以观察到影响结果。这些设计参数必须计算,因为它们影响LSTM网络的内存容量和流量数据的数量必须保持一个精确的预测。

最后,我们比较该算法,即。,VSR-LSTM with a classical time-series network traffic prediction method (FSR-LSTM). For a fair comparison, the same number of hidden layers are used.Figure4说明了交通预测相同时间间隔使用两种方法。使用FSR-NLMS模型的精度较低,因为预测往往是接近流的意思,虽然VSR-LSTM流预测精度更高,因为它的采样速度随流量的变化。此外,两种预测方法对10流资料,我们比较他们的意思错误。正如所料,该算法获得更少的运动流的预测误差由于VSR属性和相对于FSR-LSTM模型,如图5。

(一)
(一)
(b)
(b)
图4
交通与不同模型预测获得的雕刻。(一)FSR-LSTM。(b) VSR-LSTM。

图5
交通与不同模型预测错误了。

计算复杂性的差异提出VSM-LSTM和基线FSR-LSTM主要是由于采样率的差异。基于前面的分析部分4.1,平均采样率 在VSR-LSTM FSS-LSTM低于固定采样率。例如,如果我们假设 在交通负荷曲线的两倍 同时也假设 ,然后,根据(1), 在VSR-LSTM FSS-LSTM固定采样率低于25%。

6。结论

在本文中,我们提出一种网络流量预测方法使用机器学习与可变采样率和LSTM技术。在可变采样率情况下,采样率,决定了交通预测的准确性可以改变在实时网络流量的动态变化。因此,相比之下,传统的交通预测方法基于固定采样率,本文提出的流量预测方法可以更准确地反映网络流量的实时变化,进一步指导网络资源的合理有效配置。

在接下来的工作,基于交通预测方法和变量抽样率提出,我们将进一步探讨智能分布式多维资源分配和管理的不同需求的资源,如计算、通信和存储在6 g MEC神往的网络在未来不同的垂直应用程序。

此外,我们还应该试着将我们的算法与马尔可夫链相结合,隐马尔科夫模型,和其他经典预测理论来提高预测精度,计算复杂度,和其他表演,尤其在小颗粒流的性能,如包,一个手机应用程序,等等。与此同时,我们也尝试新的预测算法的应用扩展到新的场景如6克,在未来数字的双胞胎,metaverse。

数据可用性

数据集用来支持这个研究的发现可以从私人公司获得。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是支持的开放的基础网络与交换技术国家重点实验室(北京邮电大学)(资金没有。SKLNST量2020量1 10)。