文摘

预测交通网络流量数据对交通管理至关重要。这是一个具有挑战性的任务由于复杂的时空相关性。最新的研究主要集中在捕获时间和空间与空间密集的交通数据依赖关系。然而,当流量数据成为空间稀疏,现有方法无法获取足够的空间相关信息,因此不能充分学习时间周期性。为了解决这些问题,我们提出一个新颖的深度学习框架,多组分的时空图卷积网络(MSTGACN),注意交通预测,我们成功地应用于交通流预测与空间稀疏数据和速度。MSTGACN主要包括三个独立的组件模型三种类型的周期信息。每个组件在MSTGACN结合扩张因果卷积,卷积图像层,层weight-shared图的关注。实验结果在三个实际交通数据集、METR-LA PeMS-BAY, PeMSD7-sparse,证明我们的方法的性能优越的空间稀疏数据。

1。介绍

交通预测是智能交通系统中最基本的任务(1]。这个任务的目标是预测未来交通状况(例如,交通速度和交通量)通过分析历史交通数据。准确和及时的交通预测是至关重要的许多实际的应用程序。例如,如果流量数据可以提前预测准确,交通主管部门可以动态地调整交通信号灯的时间;此外,导航系统可以改变路线,减少交通堵塞。然而,交通预测是非常具有挑战性,因为动态的空间相关性和非线性时间相关性。早期流量预测方法(2,3)可分为经典统计方法和机器学习模型,有限的平稳性的假设并不能捕获空间相关性。

最近,许多深度学习模型提出了交通预测。空间建模,图像卷积神经网络(GCN) [4- - - - - -6)广泛应用于基于数据。扩散分布(7)和注意力机制(8- - - - - -13)也采用研究人员捕捉空间依赖性。从周期性的角度来看,一些方法使用时间信息的样本数据作为额外的输入特性(5,7学习周期信息,和一些尝试8,14,15)将数据和模型划分为多个组件来捕获不同时期下的相关性。然而,现有的方法有以下的缺点。

现有方法主要专注于捕捉时间和空间基于密集的空间数据的依赖关系。在现实世界中,没有足够的可用探测器在一些地区由于交通不发达或异常条件(设备维护、极端天气等)(16]。图中所示的实验1探测器数量的减少,现有模型的预测结果更糟。原因在于,大多数现有的方法(5,7,17]只计算在每个模块的空间相关性,和注意力机制没有充分的利用。因此,当邻近探测器探测器不足或者是遥远,空间相关特性不能完全捕捉到现有的方法。在本文中,我们提出一个新颖的深度学习架构来解决这个问题。我们所知,这工作是第一个推出空间稀疏数据的问题。

为了解决这一问题,我们提出一个新的框架米ulticomponent年代可,TemporalG拉斐尔一个引发ConvolutionalNetwork (MSTGACN),由三个相对独立的模块;每个模块由多个时空图注意卷积模块有效地捕捉空间相关性在空间中稀疏的数据。我们样品检测器数据从两个公共数据集的一部分,METR-LA和PeMS-BAY7),我们构造一个稀疏数据集通过采样探测器在加州运输局district-7性能测量系统(到聚合物)。我们评估MSTGACN三稀疏数据集,和实验结果证明MSTGACN优于现有方法。

总而言之,我们工作的贡献可以概括如下:(1)我们提出一个时空图注意卷积块组成的扩张因果卷积,卷积图像层,层图形的关注。两层都是共享的参数在一块。MSTGACN可以更有效地捕捉时空特性在空间中稀疏的数据。(2)我们采用两种策略有效地捕获多个周期信息。首先,一周中的第几天信息和时段信息提取等附加功能。第二,输入数据,模型分为三个组件,用于捕获每周、每日,最近数据的周期性特征。(3)我们把空间稀疏数据流量预测的问题。此外,我们评估模型MSTGACN三个真实的稀疏数据集。实验结果验证该模型优于现有方法在空间中稀疏的数据。

为了更好的展示我们的工作,本文的其余部分安排如下。我们描述中工作和任务定义相关的部分2和部分3。然后,我们的方法将会详细的介绍部分4。我们目前的实验结果5。最后,我们总结这篇文章6。

2。相关工作

2.1。时序建模

交通预测是一个典型的时空序列预测问题。现有的方法大致可以分为两类,即时序建模和空间建模。从时间序列的角度来看,RNN及其变体已经被证明能够提取时间信息。最近,人们已经提出了很多RNN-based模型(18- - - - - -22在交通预测的性能优于传统的统计方法(23- - - - - -25)和机器学习模型(26,27]。然而,当序列长度很长,RNN-based模型变得效率低下,其梯度可能爆炸。相反,CNN并行计算的优势和稳定的梯度。因此,CNN-based模型(17)提出了捕获时间依赖性。此外,一些方法(5,28,29日]借扩张因果卷积的语音处理领域扩大接受域。捕获时间序列的周期信息,作者的8]构造三个不同的时间序列片段作为输入来捕获流量数据的周期特性,但是他们没有利用每个样本数据的时间段信息,如“时间”和“天的星期。”

2.2。空间建模

空间建模,一些以前的方法30.- - - - - -32]道路网络在不同的时间转换成常规2 d网格和利用传统的卷积来捕捉空间相关性,而非欧几里得的相关性在道路网络中被忽视了。最近的研究进一步探讨GCN在建模的有效性的非欧几里得的空间结构;这更符合道路网的结构在现实世界中。许多研究者提出了基于GCN有效空间建模的新方法。Yu et al。17)提出了时空之下,这完全是由卷积结构在空间和时间维度。李等人。7)提出了扩散卷积递归神经网络和应用双向随机漫步在图捕捉空间依赖性。吴et al。5]也适应扩散卷积,但他们开发了一种新颖的自适应依赖矩阵来捕捉隐藏的空间依赖性,它不依赖于先验知识。在这些方法中,邻接矩阵表示节点之间的关系,但边缘更复杂和相互作用。陈等人。33)构建沿边图根据各种边缘交互模式和实现节点和边之间的交互使用双组分图卷积。然而,我们发现,现有的方法所使用的数据集有一个共性。节点相对密集的空间中,相邻节点属于同一道路和接近对方,所以有一个明显的上游和下游的关系。二级公路或城市道路的村庄,收集设备密集不如大城市的主要道路。设备异常也会导致稀疏节点分布的问题。研究交通流预测问题在稀疏的情况下,我们现有的采样数据集,构造一个新的数据集,稀疏的点。

2.3。注意机制

注意机制的核心思想是动态关注基于输入数据最重要的信息。很多人提出了引起交通预测模型来解决问题。阴et al。34)内部的注意机制应用于捕获多个时间序列之间的交互和动态于社区的注意机制模型复杂的空间相关性。郭et al。8,35]应用时间注意和空间注意捕捉动态的时空相关性。稳定的学习过程,研究人员(36)取代了传统的注意机制与多头注意机制。Velickovic et al。13)使用一种注意力机制为图结构动态调整相邻节点的重要性。郭et al。28,37)取代GCN图关注网络(手枪)和(37)利用元知识生成得到的权重。都取得了或匹配的结果在几个基准graph-related任务(38]。考虑到空间相关性难以捕捉的空间稀疏数据,我们采用multiple-stacked广汽块更好的剥削关系和预测,它包含一个政府通讯层和一个手枪层在每一块。手枪的应用与共享参数块也可以帮助缓解oversmoothing之下。

3所示。预赛

交通预测的任务是预测未来交通状况(例如,速度和体积)基于历史流量测量传感器的道路网络。我们定义的道路网络作为加权图 与节点,是一组节点,是边的集合表示节点之间的连接, 加权邻接矩阵图吗 。假设的子集 ,图中指示某些节点不能被用作输入数据时相应的传感器在道路网络异常。

问题。鉴于交通数据过去观察到的时间片,交通数据可以表示为 ,在哪里是交通利益的数量(例如,交通量和交通速度)。当 代表数据稀疏,这个任务的目标是预测的交通数据(速度或流)时间步长,表示 。

4所示。材料和方法

在本节中,我们首先MSTGACN的总体框架和方法获取周期时间信息;然后,我们描述了时空图注意卷积(ST-GAC)块的框架。最后,我们提出多元融合的方法。

4.1。MSTGACN的体系结构

如图2MSTGACN提议在本文中包括三个独立的组件具有相同的结构,这是最近的设计模型,daily-periodic, weekly-periodic数据的依赖关系。每个组件是由一个卷积层,几堆ST-GAC块,和一个输出块。领头的卷积层捕获输入特性之间的相关性并生成多个特征图。ST-GAC块模型的时空相关性和每个ST-GAC块skip-connected避免oversmoothing。这三个组件的输出 , ,和融合到最终的输出由多元融合模块。

4.2。三个时间序列片段的详细信息

时空相关性的不同时期有不同的表现。我们采用两种策略有效地捕获多种类型的周期信息。首先,我们构造两个metafeatures:“时间”和“周”的外部属性。这些附加功能将沿着轴特征与原始输入数据连接。其次,我们拦截三个时间序列片段( , ,和 )在时间维度构建最近的输入,daily-period,分别和每周组件。假设采样频率*每天。当前时间来标示 ; 序列的长度是预测。 , ,和代表不同组件的输入数据的长度,和他们都是整数的倍数 。三个部分的细节如下。

。最近的相邻序列周期预测。交通数据(速度、流)在一个特定的位置随着时间不断改变。因此,数据预计将影响数据之前的时期。

。它包含的领域在过去的几天里在同一时间。这部分是用来提供信息模型日常周期性。

。它由段在过去几周,这周相同属性和时间间隔的预测。这段构造建模每周的周期性。

这三个组件共享相同的下一节中描述的网络结构。每个组件的输出来标示 , 和分别。这三个输出是由多元融合模块合并得到最终的预测结果。

4.3。ST-GAC块

我们首先构造一个广汽块,其中包含一个手枪层和一个政府通讯层。ST-GAC块由两个G-TCN块和两个广汽块,如图3。此外,两层都在同一个ST-GAC块共享相同的权重。G-TCN块用于捕获时间依赖性。海关总署层用于学习节点在空间中稀疏的数据之间的相关性。为了使图2更简洁,我们结合G-TCN层和一层广汽T-GAC模块。

4.3.1。封闭的时间卷积层

灵感来自图WaveNet [5),我们采用扩张因果卷积(TCN)来捕获时间依赖性。相比与传统的一维卷积,卷积扩张随意跳过一个固定的步骤执行卷积操作。通过叠加多个扩张休闲卷积层,可以使接受域指数增长。与此同时,在处理输入序列长度相同的参数的数量扩张卷积是少,比RNN和训练速度更快。因为观察点分散的空间分布和远,我们相信观察点之间的关系有一个延迟一个小时甚至更长时间的影响,和扩张卷积具有更好的可扩展性。

学习时间信息更好,我们利用一个封闭机制基于扩张休闲卷积(G-TCN)控制信息流。假设 是输入数据;封闭的卷积的输出如下: 在哪里 , ,和正在学习参数,卷积算子,是elementwise产品,是一个激活函数,控制信息流向下一层的比率。

4.3.2。图注意卷积块

因为都允许从其他节点分配不同的聚合信息的重要性和政府通讯是一种有效的变体卷积神经网络,可用于非欧几里得的空间结构,我们建立一个图表注意卷积块(GAC),得到层和一层之下学习的空间依赖性。在这项工作中,我们采用政府通讯层在图WaveNet进一步提出基于手枪模型隐藏的空间依赖性,GCN配方如下: 在哪里 代表了规范化与self-loops邻接矩阵, 表示输入数据,可用节点的数量,代表了特征维数, 是学习参数, 表示输出。如果图指示,那么扩散过程有两个方向。让代表着前进的方向,代表着落后的方向,代表的扩散。值得注意的是,当道路网络作为一个无向图,表示为方程(2)将变成如下:

4.4。多元融合

在本节中,我们讨论如何整合这三个组件的输出, , ,和 。在多组分熔块, , ,和沿着特征轴连接,视为不同时空依赖性的特征向量。然后,我们使用两个卷积层ELU激活函数学习的相关性三个组件,每个时间步预测的特征。这三个组件的输出融合如下: 在哪里意味着连接操作和是卷积操作。

5。实验和结果

5.1。数据集

我们三交通数据集验证MSTGACN METR-LA, PeMS-BAY, PeMSD7-sparse。测试性能的各种模型的稀疏数据点,我们与不同程度的稀疏重建数据集通过选择传感器。METR-LA,我们选择24,32岁,40岁,48岁,56岁,64年,72年,80年,88年,96年,104年,136年、168年和200年重建14节点数据集具有不同空间密度。PeMS-BAY,除了大量的传感器用于METR-LA之外,我们还选择232,264和296节点重构17个数据集。我们采用相同的数据预处理程序(7]。在这两个数据集,一个时间步表示5分钟数据规范化的通过Z得分方法。METR-LA:这个数据集记录四个月的交通速度数据从3月1日,2012年6月30日,2012年,包括洛杉矶县的207高速公路上的传感器。PeMS-BAY:这个数据集收集来自加州交通机构(加州运输局)性能测量系统(到聚合物)。这六个月的记录统计交通速度从1月1日,2017年5月31日,2017人,包括325个传感器在海湾地区(39]。PeMSD7-sparse:我们选择42传感器在洛杉矶和收集了两个月的数据从3月1日,2012年7月2日。所选42传感器可分为21双;两个传感器在一对很近,但面对相反的方向。可以认为有21无向图中的节点,每个节点包含交通数据在两个方向上。我们使用欧氏距离来计算两个节点之间的距离。传感器分布可视化图4。

在所有这些数据集,我们将流量数据聚合成5分钟并应用z分数归一化。按时间顺序数据集划分为70%的训练,10%的验证和测试为20%。

5.2。基线

我们比较MSTGACN用以下模型。哈:历史平均模型的交通流作为一个季节性的过程和使用前几季的加权平均作为预测。VAR(40]:向量按照一个更高级的时间序列模型来捕获所有交通流之间的两两关系系列。DCRNN(7]:扩散卷积递归神经网络集成与复发扩散卷积神经网络。图WaveNet(5]:卷积网络体系结构,结合了图像卷积和扩张休闲卷积和引入了自适应邻接矩阵。STGCN(17]:时空图卷积模型预测交通速度。ASTGCN(8]:引起时空图卷积网络结合了时空的注意机制和时空卷积。ST-MetaNet(37:一个模型与图关注网络(手枪),利用元知识生成得到的权重。

5.3。实验设置

我们的实验是在一个64位的Linux服务器上进行一个英特尔(R) (TM)核心i7 - 7800 x @ 3.50 GHz CPU和一个NVIDIA泰坦Xp GPU卡。所有的测试使用60分钟作为历史的时间窗口。换句话说,12个数据点是用来预测交通数据在未来5、15、30分钟。输入序列长度,我们用四个ST-GAC块,和扩张因素的两个T-GAC块设置为1和2,分别。我们采用亚当优化器来训练我们的模型。最初的学习速率是设置为0.001。0.5和0.3的辍学率GCN和手枪;我们设置的输出尺寸得到层和政府通讯层32,分别。我们使用方程(2)图像卷积层和扩散步骤是设置为2。邻接矩阵是由道路网与阈值距离高斯内核。 在哪里点之间的距离吗和点 , 标准差,是一个阈值来控制矩阵稀疏度,我们准备好了吗 在我们的模型中。

评价不同方法的性能,我们评估MSTGACN,哈,VAR, DCRNN, STGCN ST-MetaNet。WaveNet和图。对这七个模型METR-LA、PeMS-BAY PeMSD7-sparse,我们采用平均绝对误差(MAE)和均方误差(RMSE)作为评价指标。

6。定量实验结果

表1和2演示的平均结果MSTGACN和基线方法PeMS-BAY和METR-LA不同数量的节点。可以看出,尽管MSTGACN仅次于图WaveNet完整的数据集,随着节点数量的减少,我们的模型的性能逐渐超过了其他方法。表1和2表明STGCN的表演是最糟糕的模型中基于深度学习。可能是因为STGCN定义了道路网络作为一个无向图,这两个数据集被定义为有向图在DCRNN [7]。缺乏方向导致STGCN性能下降。来验证这一观点,进一步测试MSTGACN的有效性,我们评估这些模型PeMSD7-sparse数据集。

表3给出的结果MSTGACN和基线方法5分钟,15分钟,30分钟前预测PeMSD7-sparse数据集。我们观察如下:(1)交通数据集的分布位置分布,无论是短期预测在5分钟30分钟的中期预测,预测的影响HA和VAR是坏的。因为哈不我的空间或时间特性的数据。由于VAR的建模能力有限,无法学习中期和长期的变化,它不执行在中期和长期预测。(2)STGCN的准确性和ASTGCN低于图WaveNet和该方法。通过比较他们的原始数据,可以发现有明显的上下关系在两篇文章中使用的数据集。因此,在散点分布的情况下,STGCN和ASTGCN不能有效学习的时空相关性的数据。捕捉时空依赖性的方法基于注意机制提出了ASTGCN有利于长期预测。因此,在预测时间30分钟,STGCN比ASTGCN更好的性能。(3)单最近MSTGACN退化的版本,只有最近的一个组件。由于广汽块设计,即使是单组分模型,其性能比基线。

该模型使用广汽块学习的空间依赖性,和多组分结构有助于捕获不同时期下的相关性。因此,我们在PeMSD7-sparse MSTGACN达到最佳性能的评价指标。核实多元分割的有效性,我们调查模型与不同的组件设置。如表所示3,我们发现的性能退化模型,只有每周的每天组件或组件是不好的。它可以被认为是很难学习的时间和空间特征时空数据只使用这两个时期的数据,这表明时空特性是动态变化的,所以很难作出准确的预测未来的数据使用远的历史数据。最近的单一模型执行比单一每周和每天的模型,和最近的三重模型得到更好的性能比单一模型。它可以认为三最近的模型中的组件根据包装方法相结合,可有效提高整体的性能模型。该模型,包括最近,每天和每周的组件,达到最低的预测错误。

6.1。广汽块的比较实验

在交通预测任务,不同的空间节点相关的。准确地捕捉传感器之间的相关性在公路网络预测流量数据是必要的。因为到聚合物数据集是一个高速公路数据集,有很多相邻点时,在同一条路上点密集分布。这些点有一个明显的上游和下游的关系。当节点的数量减少,很少有相邻点位于同一路,还有很多不同的节点之间的十字路口。因此,上游和下游的点之间的关系不明显,不同的点之间的空间相关性降低。因为有多个路口之间不同的探测器,我们认为单一使用手枪或GCN不足以捕捉空间关系。

每个政府通讯模块之前,我们使用一个额外的手枪模块。虽然初衷是增加模型的能力通过手枪和总结信息进行特征提取GCN稀疏数据,这种关注机制的应用程序的共享参数块也可以帮助缓解oversmoothing之下。我们在PeMSD7-sparse做了比较实验不同的模块。如表所示4手枪+ GCN展示了最好的结果。

7所示。定性实验结果

7.1。视觉的比较美

图5演示了PeMS-BAY平均结果。可以看出,尽管MSTGACN仅次于图WaveNet完整的数据集,随着节点数量的减少,我们的模型的性能逐渐超过了其他方法。为了研究预测时间对模型性能的影响,预测时间逐渐增加从5分钟到1个小时的间隔5分钟。如图,在本文中提出的模型取得了良好的效果在短期预测和长期预测。

7.2。可视化的关注矩阵

测试性能的堆叠广汽块,我们展示不同的空间探测器中注意矩阵PeMS-BAY 8节点。如图6得到计算数量的增加,空间也注意矩阵系数增加。这是合理的因为堆叠广汽块增加接受域和遥远的点也可以是高度相关的。

7.3。交通流的可视化

如图7视觉比较,我们选择了四天的数据,发现我们的模型可以预测真实数据相同的数据趋势。

8。结论

在本文中,我们提出一个深度学习框架流量预测的空间稀疏数据。模型结合扩张因果卷积,卷积图像层,weight-shared图注意层。两层都是共享的参数在一块捕获流量数据的时空相关性的稀疏的点。捕获多个周期信息,我们提取一周中的第几天和时段信息作为附加功能。此外,我们将输入数据和模型结构分为三个部分。三个真实数据集的实验表明,我们的模型的预测精度优于基线。一般来说,交通数据受到很多外部因素的影响,如天气、事件和节日。在未来,这些外部因素应该考虑改善预测性能在空间中稀疏的数据。

数据可用性

之前报道METR-LA PeMS-BAY数据被用来支持这项研究和可用https://dblp.org/rec/conf/iclr/LiYS018。这些先前的研究(和数据)援引在文本里的相关位置的引用。之前报道PeMS-D7数据被用来支持这项研究和可用https://dblp.org/rec/conf/aaai/SongLGW20。这些先前的研究(和数据)援引在文本里的相关位置的引用。

的利益冲突

作者宣称没有利益冲突。

作者的贡献

刘Shaohua概念化的研究;戴Shaohua刘和广州市开发方法论;京开太阳和广州市戴写了初稿;毛Tianlu监督工作;Tianlu毛、Junsuo赵和亨张编辑和回顾了手稿。所有作者已阅读及同意发布版本的手稿。

确认

这部分工作是由中国国家自然科学基金重大项目(91938301)和中国国家自然科学基金(62002345)。