Noise-Immune促进短期交通流预测框架

文摘

准确的短期交通流建模是一个重要的先决条件来分析和控制交通流量。规范的数据驱动的方法是一个大的参数可能underfitted训练样本有限,但他们不能自适应地提高交通流的时空相关性的理解。吵闹的和不稳定的交通流数据也防止模型有效地学习底层模式预测未来的交通流量。为了解决这些问题,我们提出一个易于实现基于极端但有效提高模型的梯度增加,提高了小波去噪对短期交通流预测。采用离散小波去噪预处理嘈杂的交通流数据。然后,运用训练数据集是重建训练极端梯度增强模型。这两个组件无缝地集成在一个统一的框架中,整个框架可以保留在数据尽可能多的特性。我们的模型能准确捕捉数据中隐藏的空间依赖性。广泛进行的实验是在四个基准数据集与常用模型。结果表明,该模型能准确捕捉隐藏的空间依赖性的交通流数据,实现性能优越。

1。介绍

智能交通系统(ITS)交通管理与控制中起着重要作用[1,2],它显著效益增强交通安全、交通效率、减轻交通拥堵等等。准确的交通流预测在巷道网络为其提供关键信息来实现主动、高效的交通管理决策。更具体地说,交通流预测估计交通状态变化趋势利用交通流内在模式通过大量的历史数据(3]。信息和电子技术的快速发展,交通流量数据收集的变化从原来的单一到多个源(4),例如,感应圈、远程微波、蓝牙、视频和浮汽车GPS导航。然而,随着外部环境的交通系统很复杂,难以察觉的因素可能会干扰从探测器收集到的原始交通数据5]。这种干扰的降解结果可靠和准确的交通流预测(6]。

交通流是一个复杂的动态系统(7]。固有的周期性和相关性表明管理交通流的演化。经过多年的研究工作,交通流建模理论和实践取得了相当大的成果。交通流预测方法主要分为两类:模型驱动的方法和数据驱动的方法。模型驱动方法包括卡尔曼滤波模型(8,9), - - - - - -最近的邻居(10),和时间序列模型(11]。这些方法是健壮的和高效的,但他们是专业手工艺。最具代表性的交通流预测的神经网络数据驱动方法,如递归神经网络(RNN) [12]和卷积神经网络(CNN) [13]。然而,这些神经网络的性能高度依赖于训练样本的数量和质量(14]。大量的参数在网络可能underfitted有限训练样本或噪声样本,从而导致培训效率低(15]。特别是,它很容易逐渐传播错误和防止网络实现精度高。很难一个静态学习模型反映了周期性,非线性,交通流的随机性。近年来,在线增加模型受到大量关注和已经成功地应用于这一领域。作为机器学习的一个重要领域,提高模型在时间序列建模[有独特的优势16]。提高模型,如梯度提高决策树(GBDT)和自适应提升策略(演)17),表现出他们的自适应学习能力大规模交通流数据的流通加工。被广泛应用于复杂系统,如短期交通流预测(18城市道路交通事故[],特征识别19),和出租车旅行时间预测(20.]。提高模型,如梯度提升机(GBM) (21)和梯度提高决策树(GBDT) [22),可以近似周期性函数并执行令人满意地在特定的数据和应用程序。然而,提高模型具有随机性的选择权重和阈值,从而影响网络的收敛速度和结果(23,24]。然而,上述产品上架提高模型是复杂的交通工程师的集成到现有的。探索一种有效和易于实现短期交通流预测模型仍然是必不可少的。

在本文中,我们提出一个基于极端提高模型梯度增加(XGBoost)增强了离散小波去噪,上面提到的两个缺点我们的地址。这个概念第一次出现在一个会议(25),欣赏了交通工程师。XGBoost树是一个可伸缩的端到端增加系统[26从GBDT),改进。它学会了一套回归树(车)并行并获得结果,总结每个车的分数(26]。然而,吵闹的和不稳定的交通流使XGBoost难以识别潜在模式预测未来交通流量(4]。在这方面,我们建议由离散小波去噪预处理交通流数据,可以减少交通流噪声的影响。与原GBDT算法相比,一个特殊的改进的正则化目标损失函数。我们进一步考虑交通流的时空相关性。我们重建涉及的交通流数据集相空间重构理论。最后,执行XGBoost来预测未来的交通流量。XGBoost交通流预测的性能大大改善,确保准确性和鲁棒性。这项工作开始被接受为海报在数字家庭(第八届国际会议25]。我们改进模型,reconducted大部分实验,重写我们的论文。

这项工作的主要贡献如下:我们构建一个促进交通流预测模型由离散小波去噪增强我们调查的预测性能不同的母小波揭示交通流的最好的一个,我们重建考虑交通流的相空间重构理论我们在四个基准数据集评估模型

结果表明,该模型优于常用的模型计算成本较低。

2。相关的工作

2.1。小波去噪

去噪算法在各个领域(已经受到了相当大的关注8,9]。大多数传统的过滤技术,如均值滤波,高斯滤波器,和最小均方误差滤波器,不能总是保证运用交通数据的可接受的质量(27]。近几十年来,离散小波变换(DWT)已经被应用于处理降噪的问题,它优于传统的过滤器的根均方误差(RMSE), PSNR和其他评估(28]。

小波去噪算法已经被认为是一个重要的方法。在数学中,小波去噪的本质是一个函数逼近问题,换句话说,找到最佳逼近原始信号的小波空间开发的缩放和平移的小波母函数,根据该标准,实现完整的原始信号和噪声信号之间的区别。与噪声特性相比,较大的振幅在小波域的系数是重要的信号特征,而噪声系数的振幅小。因此,较大的小波系数绝对值只能保留或简约通过设定合适的阈值,和估计的小波系数(以)。

交通流数据的情况下,小波变换去噪算法数据在DWT时频域处理。然后我们可以只保留一些大型系数并把其余的全扔掉使用一个合适的阈值水平,。最大系数的结果是,少数关键信息保存,而大多数小的噪声系数将被丢弃。如果我们使用DWT分解高频噪声从原来的交通流数据,定期模式在交通流量识别效率。此外,小波分析应用的一个例子在交通流去噪是显示在图1。从图1,通过比较实际数据和去噪的数据,我们可以看到的波形数据去噪比一个真正的数据更为顺畅。我们希望去噪数据积极影响以下交通流分析和预测。

2.2。XGBoost

XGBoost树增加是一个可扩展的机器学习系统。系统的影响已被广泛公认的在几个机器学习和数据挖掘方面的挑战。系统广泛应用于高能物理等领域事件分类,预测客户的行为,广告点击率预测,大规模在线课程辍学率预测(29日]。XGBoost的成功最重要的因素是它的可扩展性。系统运行超过十倍速度比现有流行的解决方案在单个机器上和规模数十亿的例子在分布式或memory-limited设置。XGBoost定于几个基本系统的可伸缩性和算法优化26]。这些创新包括小说树学习算法来处理稀疏数据和一个理论上合理的加权分位数草图的过程,使权重近似树学习处理实例。并行和分布式计算使学习更快,使更快的模式探索。更重要的是,XGBoost利用核外计算,并使数据科学家能够处理一亿桌面的例子。最后,它是更令人兴奋的把这些技术使一个端到端的系统扩展到更广泛的数据最少的集群资源。

3所示。方法

在本节中,我们首先给出的数学定义短期交通流预测任务。然后,我们建议由小波去噪预处理原始的交通流数据。之后,自适应梯度提高算法执行更有效地运用交通流数据的算法1。

3.1。交通流公式

我们首先制定的交通流量计量点的道路网络th时间间隔为 。因此,道路网络的交通流量时间间隔可以表示为 ,在哪里是测量的数量分道路网络。交通流预测的任务是训练模型预测交通流数据集 ,在哪里是训练样本的数量。 ,和是时间滞后。这样,给定一个查询示例 ,交通流预测在 时间间隔可以表示为 。

3.2。交通流预处理

如前所述,交通流由周期趋势低频和高频变化波动9]。高频交通流波动往往被认为是噪音期刊交通流的趋势(30.]。如果这些高频噪音是学统计学习模型,模型会产生不稳定的未来交通流量的预测。因此,重要的是要消除噪音的交通流量集中上优于模型交通流的演化趋势。在这方面,我们建议采用小波去噪方法来消除高频噪声的交通流量,以避免上优于模型学习变化的波动。

小波分解将原始交通数据转换成几个不同频率的振荡波形和波形的结构可以确定在一个特定的瞬间。通过这种方式,可以局部交通流信号在时间和频率域。依靠这个属性,小波变换是广泛采用交通流进行消噪处理。

给定一个母小波(即。,dbN wavelet), the continuous wavelet transform (CWT) of a signal is denoted as 在哪里规模或扩张参数和吗是翻译参数,反映了小波的位置信息显示时间信息。

此外,由于交通数据是离散的,小波变换和离散小波变换(DWT)离散。DWT参数和翻译参数名誉扫地的二元序列;例如, , ,和 。

当 和 ,二进制小波的DWT降解。 在哪里和是交通流的高频信息和低频信息,由下列方程计算:

然后,高频信息是由一个阈值。

在小波分解过程中,交通流的高频信息和低频信息重建。重建是分解的逆过程。upsampling过程后的高频信息和低频信息,新的培训标签通过卷积的逆变换高通和低通滤波器系数。

这个变换,提出了交通流的技术去除高频噪声信号,也可以保留原始数据的质量,实现我们的目的。

3.3。模型训练

极端的梯度增加(XGBoost)是一个有效的工具,用于大规模并行了树木,可以有效地应用于分类和回归任务(26]。XGBoost提高梯度提高决策树(GBDT)通过提高并行计算,构建树近似,稀疏的数据处理。也优化计算的使用成本,使其适合于多维数据特征识别和分类。

在本文中,我们首先将交通流预测转换为一个监督学习的任务。不同于GBDT XGBoost将正则化项添加到目标函数降低模型的复杂度,避免过度拟合。 在哪里是预测,是地面真理,是正则项,是一个决策树,代表叶节点的数量,代表叶节点的分数,控制叶节点的数量,控制部分的叶节点。目标函数构造的迭代XGBoost

由二阶泰勒过程,模型的收敛速度加快,并得到全局最优解。 在哪里 是一个一阶导数和 是一个二阶导数。实验试图将分区添加到现有的叶节点在每个步骤生成最优的树结构。分离得到的

当分裂增益小于固定值或划分的次数达到指定的最大深度,分裂停止。我们可以得到最终的回归模型。交通流预测本质上是一个回归预测任务,所以我们使用XGBoost的回归量为基础的学习者。我们把小波转换交通流数据为训练XGBoost。在每个培训,我们减少每个回归量适合去年叶产生的残留误差,计算分裂分数来决定是否生成新的一页。最后,我们可以获得预测交通流数据通过增加每片叶子。拟议的框架提供如下。该方法的计算复杂度较高,小波去噪和XGBoost适合并行计算。这意味着我们可以训练XGBoost预处理部分数据模型。随着XGBoost模型训练和预测,我们同时进行预处理的下一批数据更新模型。 The core of XGBoost is approximate calculation, the complexity of which is ,在哪里树的最大深度和吗是树的总数。

4所示。实验

4.1。数据描述

我们使用四个基准数据集来评估该方法的性能。交通流数据收集从四个网站在环城公路公路结束在阿姆斯特丹,荷兰,合并前的一小段距离点。上的数据(即四个网站。,A1,A2,A4,和A8)were collected from May 20, 2010, to June 24, 2010. Highway A1 connects Amsterdam and the German border. It is the first high-capacity road, and its flow pattern is difficult to find. The A2 highway is one of the busiest highways in Netherlands, connecting Amsterdam and the Belgian border. In the experiment, we used the data before widening. It can test whether our model can predict congestion well. The A4 motorway is part of Rijksweg 4, starting from Amsterdam to the Belgian border. It is representative of a mature highway, which can prove the universality of the model. The A8 highway starts from the A10 road at the Coenplein interchange and is less than 10 kilometers from Zaandijk. Because the road has more connections with other highways, the vehicles’ speed on the road is constantly changing. By predicting the road as mentioned above traffic flow, we can study the impact of expressway capacity, travel time changes, and model prediction accidents. The 1-minute average traffic data over five weeks were collected by MONICA sensors (velocity-flow measurement points). The datasets are split in chronological order with 70% for training, 10% for validation, and 20% for testing. Missing values are excluded from both training and testing.

4.2。基线

我们比较XGBoost用以下常用的智能交通系统模型:决策树(DT)是一种决策支持工具,使用树状模型的决策及其可能的后果人工神经网络(ANN)是计算机程序设计灵感来自生物模拟人类大脑如何处理信息

人工神经网络收集他们的知识通过检测模式和关系数据和学习(或训练)通过经验,而不是从编程。支持向量回归(SVR)是一个版本的支持向量机(SVM)回归梯度提高决策树(GBDT)是一个迭代的决策树算法

算法由多个决策树,树木都是积累的结论最终答案。

4.3。实验装置

我们用两个标准,根均方误差(RMSE)和平均绝对百分误差(日军),评估该模型的性能,分别如下定义的两个方程。

我们的实验进行计算环境下英特尔酷睿i7@3.60 GHz的8 GB RAM。确定最优模型中滞后的数量,我们的预测滞后 模型和使用评估最优滞后的日军。图2显示,当 ,日军的值是最低的,我们预测在12的滞后。我们训练我们的模型使用一个优化器初始学习速率为0.01,100年的决策树,每棵树的随机抽样比率为0.5。

4.4。绩效评估

表1列出了去噪的表演XGBoost提前10分钟预测模型和基线模型在四个基准数据集。在所有的数据集XGBoost档案更好的结果。它优于常用的模型,包括DT,安,SVR, GBDT。与其他预测模型相比,XGBoost优于DT,安,SVR显著。关于第二GBDT表模型1,XGBoost达到更准确预测GBDT在所有的数据集。这是因为我们的模型消除了噪音的交通流量,防止上优于模型学习的时间依赖关系。因此,XGBoost可以发现内隐式关系数据。

我们也比较拟议的框架与传统模型在表2。从表2,我们可以观察到XGBoost优于传统的。

4.5。烧蚀研究

实测交通流数据质量是至关重要的交通流预测的准确性,因此数据质量控制平滑嘈杂的交通流数据至关重要。综合比较各种去噪框架的性能,我们采用小波去噪模型用不同的小波基对原始数据进行预处理。RMSE和日军统计数据帮助我们定量分析不同的平滑方法。总的来说,之间没有显著差异不同平滑模型在同一时间跨度数据样本。以交通流的去噪结果10分钟数据从传感器A1为例,db4模型得到最优噪声去除性能比其他基于小波去噪结果。进一步研究不同模型的去噪效果,我们看平滑的细节的每个模型如何解决原始交通流数据中的异常值。可以看出小波去噪可以成功顺利异常振荡没有丢弃数据细节。在样本数据的去噪效果与传感器A1在10分钟范围内作为一个例子,变化趋势是成功运用交通流数据在图所示3。表3显示了一个类似的平滑交通流数据的结果在传感器A1 10分钟。总之,抑制各种噪声模型显示出类似的结果数据异常值,和db4略获得更好的性能比其他平滑方法。我们也比较模型的性能当窗口是20和30在表4。

以下重要的测试实验结果见表5。从表5,模型的值是0.000001,远小于0.01。的高速公路是0.72的价值远远大于0.01。在这方面,我们认为模型的选择有重要影响,而公路的选择没有影响。

4.6。案例研究

图1显示了比较的结果观察到的交通流数据和预测价值A1探测器的测试样本。XGBoost模型更准确和流畅的短期交通流的结果。集成模型更适合周期性数据比规范方法。

5。结论

在本文中,我们提出一个易于实现和有效提高短期交通流预测模型准确。吵闹的和不稳定的交通流数据首先通过离散小波去噪预处理。我们得出这样的结论:db4母亲去噪的小波更适合交通流数据消融研究。然后,极端的梯度增加模型的训练,去噪重建数据集由考虑到相空间重构理论。广泛的四个基准数据集的实验表明,该方法可以更好的学习周期,非线性,交通流的随机性。结果表明表现通过比较该模型与常用的模型。在未来,我们打算扩展其他预测方法的应用程序,如负荷预测和出租车需求预测。

数据可用性

数据和源代码,支持本研究的发现可以要求从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作得到了国家自然科学基金委(没有。61902232),广东省自然科学基金(没有。2018 a030313291),广东省教育科学规划项目(2018 gxjk048),斯图科研基础人才(NTF18006),和2020年李嘉诚基金会跨学科研究资助(没有。2020 lksfg05d)。

引用

1. d·h·Lu黄,y的歌,江d, t·周和j .秦”St-trafficnet:时空深度学习网络流量预测,“电子产品,9卷,不。9日,第1517 - 1474页,2020年。视图:出版商的网站|谷歌学术搜索
2. 李y, z .通用电气,c .梁et al .,“上自适应跨网络特征图再熔车辆密度检测”《IEEE国际会议多媒体和世博会(ICME 2021)2019年7月,中国深圳,。视图:谷歌学术搜索
3. z h . Lu通用电气,y的歌,江d, t·周和j .秦”一个temporal-aware lstm增强loss-switch交通流预测的机制,”Neurocomputing卷,427年,第178 - 169页,2021年。视图:出版商的网站|谷歌学术搜索
4. 张,y的歌,江d, t·周和j .秦”Noise-identified卡尔曼滤波器对短期交通流预测,”学报2019年15日移动特别和传感器网络国际会议(MSN)IEEE,页462 - 466年,深圳,中国,2019年12月。视图:出版商的网站|谷歌学术搜索
5. h . y . Lin l . Li Jing, b, d太阳,“自动化交通事件检测与一个较小的数据集的基础上生成对抗的网络,”事故分析和预防文章ID 105628卷,144年,2020年。视图:出版商的网站|谷歌学术搜索
6. b . l . Li Du, y . Wang l .秦和h . Tan,“估计缺失值的异构交通数据:应用多通道深度学习模式,”以知识为基础的系统文章ID 105592卷,194年,2020年。视图:出版商的网站|谷歌学术搜索
7. l, l .秦瞿x, y . Wang j . Zhang和b跑,”日前交通流预测基于深度信念网络优化的多目标粒子群算法,”以知识为基础的系统卷,172年,页1 - 14,2019。视图:出版商的网站|谷歌学术搜索
8. l . Cai z, j·杨,y, t·周和j .秦“短期交通流预测noise-immune卡尔曼滤波器,”自然史答:统计力学及其应用文章ID 122601卷,536年,2019年。视图:出版商的网站|谷歌学术搜索
9. 周t . d .江z,林,g .汉x,和j .秦”混合双重卡尔曼滤波模型量短期交通流预测,“专业智能运输系统,13卷,不。6,1023 - 1032年,2019页。视图:出版商的网站|谷歌学术搜索
10. s . l . Cai y Yu, y的歌,z, t .周,”一个sample-rebalanced outlier-rejected k美元最近的邻居对短期交通流预测的回归模型,”IEEE访问,8卷,第22696 - 22686页,2020年。视图:出版商的网站|谷歌学术搜索
11. s·沙希瑞遇刺一周年,m . Ghasri s . a . Sisson和t . Rashidi”合奏arima:结合交通流预测参数和引导技术,”Transportmetrica答:运输科学,16卷,不。3、1552 - 1573年,2020页。视图:出版商的网站|谷歌学术搜索
12. z Lv, j .徐k郑,h, p .赵和x周,“Lc-rnn:深入学习交通速度预测模型”人工智能学报》国际联合会议IJCAI。展出虚拟,页3470 - 3476年,日本,2018年8月。视图:谷歌学术搜索
13. w·张,y, y气,f,和y王,“短期交通流预测基于时空分析和cnn深度学习,”Transportmetrica答:运输科学,15卷,不。2、1688 - 1711年,2019页。视图:出版商的网站|谷歌学术搜索
14. y, z .通用电气、z . Zhang et al .,“广泛的学习增强1 h-mrs神经系统性红斑狼疮的早期诊断,”计算和数学方法在医学ID 8874521条,卷。2020年,13页,2020。视图:出版商的网站|谷歌学术搜索
15. y, z, t·周et al。”Cnn在ct图像分割:除了损失函数,利用地面实况图像”学报2020年IEEE国际研讨会上生物医学成像(位ISBI)IEEE,页325 - 328年,爱荷华州的城市,IA,美国,2020年5月。视图:出版商的网站|谷歌学术搜索
16. 韩周t . g . x, c .汉黄y和j .秦“学习型multimodel集成框架对于动态交通流预测,“神经处理信件卷,49号1,第430 - 407页,2019。视图:出版商的网站|谷歌学术搜索
17. 韩周t . g . x徐et al .,”δ同意演堆叠autoencoder短期交通流预测,“Neurocomputing,卷247,不。4,31-38,2017页。视图:出版商的网站|谷歌学术搜索
18. l . Cai m . Lei张,y, t·周和j .秦”一个noise-immune lstm短期交通流预测网络”混乱:一个跨学科的非线性科学》杂志上,30卷,不。2、文章ID 023135, 2020。视图:出版商的网站|谷歌学术搜索
19. 瞿y, z林、h·李和张x,“城市道路交通事故的特征识别基于ga-xgboost在大数据的背景下,“IEEE访问7卷,第170115 - 170106页,2019年。视图:出版商的网站|谷歌学术搜索
20. k·d·Kankanamge y . r . Witharanage c . s . Withanage m . Hansini d . Lakmal和Thayasivam,“出租车旅行旅行时间预测与孤立xgboost回归,”学报2019 Moratuwa工程研究会议(MERCon)页,54-59 IEEE Moratuwa,斯里兰卡,2019年7月。视图:谷歌学术搜索
21. g . Yu c .叮,吴x, y,”一个梯度增加logit模型来调查司机stop-or-run信号交叉路口的行为使用高分辨率的交通数据,”交通研究部分C:新兴技术卷,72年,第238 - 225页,2016年。视图:出版商的网站|谷歌学术搜索
22. 杨,j .吴杜y, y,他和陈x,“整体学习短期流量预测基于梯度增加机器,”杂志上的传感器卷,2017篇文章ID 7074143, 15页,2017年。视图:出版商的网站|谷歌学术搜索
23. l .蔡问:陈,w•蔡x, t·周和j .秦”SVRGSA:混合学习量短期交通流预测模型为基础,“专业智能运输系统,13卷,不。9日,第1355 - 1348页,2019年。视图:出版商的网站|谷歌学术搜索
24. w . Cai, j·杨,y Yu et al .,“PSO-ELM:短期交通流预测的混合学习模式,”IEEE访问,8卷,第6514 - 6505页,2020年。视图:出版商的网站|谷歌学术搜索
25. 郑,s . Zhang, y的歌,z . Lin f . Wang和t .周”noise-eliminated梯度提高短期交通流预测模型,”第八届国际会议上数字家庭学报》上,纽约;美国纽约,2020年5月。视图:谷歌学术搜索
26. t·陈和c . Guestrin“Xgboost:一个可伸缩的树增加系统”22 acm sigkdd学报》国际会议上知识发现和数据挖掘,页785 - 794年,旧金山,美国,2016年8月。视图:谷歌学术搜索
27. l .朱y朱、毛h .和m .古”一个新的基于压缩传感,稀疏的信号去噪方法”学报2009年第二国际研讨会上知识获取和建模页35-38 IEEE,武汉,中国,2009年12月。视图:谷歌学术搜索
28. a . Tavakoli和a . Pourmohammad“基于压缩感知的图像去噪,”国际计算机理论与工程杂志》上,4卷,不。2、266 - 269年,2012页。视图:出版商的网站|谷歌学术搜索
29. 批,k·温伯格,k . Agrawal和j . Paykin”并行web搜索排名提高了回归树,”20国际会议的程序在万维网上,页387 - 396,海得拉巴,印度,2011年3月。视图:谷歌学术搜索
30. 你们谢y, y,和z,“短期交通量预测离散小波分解,用卡尔曼滤波”计算机辅助土木与基础设施工程,22卷,不。5,326 - 334年,2007页。视图:出版商的网站|谷歌学术搜索

版权

版权©2021 Shiqiang郑等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。