MISY 移动信息系统 1875 - 905 x 1574 - 017 x Hindawi 10.1155 / 2021/6630944 6630944 研究文章 空气质量预测基于时空的注意机制 https://orcid.org/0000 - 0002 - 2993 - 9498 邹 象屿 1 2 https://orcid.org/0000 - 0002 - 7047 - 0775 赵 金近 1 2 https://orcid.org/0000 - 0002 - 9679 - 3943 赵 段 1 2 太阳 本 1 2 他 释永信 1 2 富恩特斯 斯特 3 杨 Xiaoxian 1 国家和地方联合工程实验室的互联网应用技术 中国矿业大学和技术 徐州221116 中国 cumt.edu.cn 2 信息与控制工程学院 中国矿业大学和技术 徐州221116 中国 cumt.edu.cn 3 莱斯特大学 莱斯特 英国 le.ac.uk 2021年 19 2 2021年 2021年 25 11 2020年 24 1 2021年 8 2 2021年 19 2 2021年 2021年 版权©2021象屿邹et al。 这是一个开放的文章在知识共享归属许可下发布的,它允许无限制的使用,分布和繁殖在任何媒介,提供最初的工作是正确的引用。

物联网的快速发展和大数据,智能城市已经收到越来越多的关注。空气质量预测准确、有效地建立一个智能城市的一个重要组成部分。然而,空气质量预测是非常具有挑战性的,因为它是受到许多复杂因素的影响,如动态空间相关性的空气质量检测传感器、动态时间相关,外部因素(如道路网络和利益点)。因此,本文提出了一个长期的短期记忆(LSTM)空气质量预测模型基于时空的注意机制(STA-LSTM)。该模型使用一个encoder-decoder结构模型的时空特性。空间注意机制介绍了编码器捕捉周围的相对影响网站预测区。介绍了时态注意机制译码器来捕获空气质量对时间的依赖关系。此外,兴趣点等空间数据(POI)和道路网络,本文使用线图嵌入方法获取空间数据的低维向量表示获得丰富的空间特性。在北京的数据集,本文评估STA-LSTM和均方根误差(RMSE)和 R平方( R 2 )与六个基准指标用于比较。实验结果表明,本文提出的模型可以实现更好的性能比其他的性能基准。

 中国国家重点研究和发展项目 2017年yfc0804402 1。介绍

新一代信息技术的快速发展物联网、大数据等促进了“智能城市的概念。“智能城市使用信息和通讯技术(ICT)使城市服务和监控高度知觉,互动,和效率,从而促进城市的和谐和可持续发展 1]。在这些技术中,智能环境的建设是智能城市,因为空气污染的一个重要组成部分是最重要的因素之一,严重威胁人们的健康 2]。大量的多样化的空气质量监测系统目前部署在城市。例如,一个空气质量监测站设置在一个特定的位置在城市监控传统污染因素(PM2.5、可吸入颗粒物、二氧化硫等)和气象参数(温度、湿度等)小时( 3]。此外,杨( 4)设计了一种无人机移动传感系统有效地捕获meter-level空气质量指数(AQI)的变化,同时分析相应的细粒度分布。然而,监测空气质量不足以满足智能城市建设的需要。分析和挖掘城市动态数据是建立一个智能城市不可避免的一步( 5]。空气质量的预测可以为公众和政府提供早期预警之前发生严重的空气污染,使他们能够尽快采取相应紧急措施( 6]。因此,空气质量分析和预测了大数据的智能城市建设的重要部分。

六个主要污染物的空气质量指数计算,包括2,没有2、PM10、PM2.5、CO和O3评估空气质量日报。然而,空气质量指数的预测需要考虑更多的影响因素。图 1(一)展示了一个真实的物理世界的描述在不同的时刻。图 1 (b)给出了数学模型和模型图的物理世界 1(一),节点代表的地方空气监测站位于不同的时间。它显示了影响空气质量预测的因素,包括时间、空间、和不连续的信息。Zhang et al。 7指出geosensory时间序列,类似于一个空气质量序列,通常遵循一个周期模式,随着时间的变化。此外,空气质量也受到复杂的空间因素的影响。例如,如果预测区域周围的环境是好的,那么它的空气质量也会好,并将随时间变化的非线性。此外,不连续的信息如山芋和道路网络( 8, 9也会影响空气质量的预测。例如,一个公园附近的空气质量比一个工厂附近的空气质量。公路网络交通的模式有很强的相关性。交通流是造成空气污染的主要因素之一( 10),所以在一定程度上也反映了空气质量。换句话说,空气质量预测是在时间和空间受到很多因素的影响,这也是一个重大的挑战。

空气质量的影响因素。(一)物理世界。(b)数学模型。

最近,有很多研究空气质量的预测。秦et al。 11)只有把气象条件和污染物浓度在过去几小时作为预测模型的输入。黄和郭 3结合一个卷积神经网络(CNN)和LSTM 12空气质量预测。时间序列数据模型取得了良好的预测结果(气象数据、交通流量、工厂,等等)。然而,该模型不能处理不连续的信息与空间相关特性,比如POIs和道路网络。赵et al。 13)建议使用处理时间和单独non-time-series信息可以更好地捕捉时间和空间特征对空气质量的影响预测比一起使用,它还考虑相邻区域的测量区域的影响。建模方法更有利于空气质量的预测比其他方法。然而,不同的周边地区有不同的对目标区域的影响。如果我们平等对待每个区域的空间影响,预测的效果可能有上升空间。换句话说,现有的工作可能有以下缺陷:(1)时间因素没有考虑全面;(2)非连续性的信息不是处理得当;和(3)现有方法未能充分考虑空间因素,例如,周边地区之间的相关性和预测区域由于距离不同,芋泥等。

因此,为了解决现有的缺陷,本文提出了一种LSTM预测模型基于时空的注意机制(STA-LSTM),其结构形式的一个encoder-decoder,和它的目的是预测空气质量指数在未来几小时。首先,本文认为影响空气质量预测各种复杂因素,包括信息数据与时间特征和空间特征。时间信息主要包括空气质量指数、气象数据(温度、湿度、风速、风向等),交通流量,和工厂排放在过去的几个小时,和不连续的信息包括POIs和道路网络。然后,本文使用了一个LSTM网络,善于处理长期序列分析和处理根据时间序列的特征信息。non-time-series信息,不能直接处理深度学习模型,本文认为使用直线法( 14图的嵌入的信息转换成一个向量,然后使用这个向量作为模型的输入。最后,模型动态时间和空间相关性,我们时空的注意机制纳入模型( 15, 16]。编码器,介绍了空间注意捕获的不同影响周边地区在不同距离目标区域。译码器,我们引入时间注意选择相对重要的历史时间信息。相比之下,给不同地区同等权重的方法( 11),本文提出的模型可以获得更准确的预测结果和更高的性能。

本文的贡献如下:

本文提出了一种基于时空STA-LSTM模型不仅考虑时间序列信息的关注(如历史机能和气象数据)也使用non-time-series信息(POIs和道路网络)作为辅助预测。模型采用LSTM网络和线路图嵌入方法提取特征。

本文提出的模型使用一个encoder-decoder结构和引入了一个时空的注意机制,它可以自动捕获时间和空间的相对依赖。

深度学习模型提出了可以共同把握和预测在本地和全球空气质量。与其他基准空气质量预测模型相比,本文模型的精度和性能大大提高。

本文的其余部分安排如下。部分 2总结了相关的工作。在 第三节介绍本文提出的模型的细节。 第四节介绍了实验。我们目前的一个总结和结论 第五节。

 2。相关的工作

随着科学技术的迅速发展,许多领域都涉及预测技术,如人员轨迹预测、交通预测,空气质量预报,和其他日常领域。此外,优化问题( 17, 18,服务质量预测( 19),和用户推荐( 20., 21还包括预测技术。在本文中,我们主要研究空气质量的预测,因为它是构建一个智能城市的一个重要组成部分,是人们的生活和健康密切相关。目前,空气质量预测的研究有很多,大致可分为基于物理模型预测方法,传统的线性统计模型,机器学习技术,深入学习。其中,基于物理模型的预测方法使用一个物理模型来模拟形成,空气中各种污染物的扩散和转移预测空气污染物的浓度。但是大部分的基于物理模型的预测方法需要很多经验参数和假设,这可能是对一个特定的环境而不是所有城市环境( 22]。因此,为了获得更精确的预测结果比获得的这些方法,越来越多的研究者提出预测空气质量数据驱动方法,包括传统的线性统计模型,机器学习技术,深度学习的方法。

方法基于传统的线性统计模型是用来描述空气质量之间的线性关系和相关特性的影响。剑et al。 23]使用自回归综合移动平均(ARIMA)预测气象的影响因素对亚微米粒子的浓度。在[ 24),Genc等人利用多元线性回归模型预测安卡拉的空气污染指数。Moisan et al。 25)基于动态多元线性方程提出了一个方法来预测PM2.5污染浓度在不同的监测站。上述研究都是基于线性模型的预测方法。然而,空气质量及其相关因素之间的关系大多是非线性的。上述线性模型并不代表他们的复杂的相互关系。

因此,机器学习技术受到越来越多的关注空气质量预测。此预测方法将空气质量及其影响因素之间的非线性,更适合描述复杂的关系问题。例如,妞妞et al。 26)提出了一个集成经验模态分解和最小二乘支持向量机(LSSVM)方法基于相空间重构的PM2.5浓度的预测。然而,对于复杂的高维非线性时间序列长期问题,机器学习方法似乎仍然无法解决他们( 27]。

随着数据量的快速增长,深度学习方法的优势在应对预测问题慢慢显现。立顿等。 28]发现递归神经网络(RNN)模型表现出很好的性能建模时一次结构。赵et al。 29日)基于LSTM和烟花算法提出了一个模型来预测武汉的空气质量。在上面提到的RNN和LSTM网络研究深度学习方法可以一次建模,结构很好。然而,RNN短序列数据非常敏感,一旦数据很长,梯度和梯度爆炸消失的问题出现。LSTM更好地处理长时间序列数据,所以它更适合空气质量预测问题。

有很多研究深度学习应用到空气质量预测。Zhang et al。 30.结合一个CNN和LSTM网络预测空气质量。时间序列数据模型取得了良好的预测结果(气象数据、交通流量、工厂空气污染物排放,等等)。通用电气等。 31日)时间序列和non-time-series信息视为空气质量预测的影响因素。Qi et al。 32)提出了一个混合模型称为GC-LSTM,图卷积网络被用来提取不同站点之间的空间相关性,和LSTM用于捕获不同时间观测之间的时间相关。全连接神经网络基于空间组合是用来捕获目标区域之间的相关性及其五个相邻站点( 13]。然而,不同的周边地区可能有不同的对目标区域的影响由于它们之间的距离或它们的POI类型的差异。因此,本文提出了一种时空的注意机制引入到模型来捕获的相对重要性不同的周边地区。

来自于人类视觉注意机制的本质的关注。例如,当看到一个场景,人们注意到一个特定的场景的一部分,根据自己的需要,和他们无关信息( 33]。注意机制最初是用于机器翻译( 34),但现在神经网络结构的一个重要组成部分,也是广泛应用于图像处理、语音识别和计算机相关领域( 35]。在最近的文献中,李et al。 36)建议使用注意力机制来捕获过去状态最重要的部分,但忽略了周边的相对重要性网站。此外,本文的系列(道路网络和POI)也会影响目标区域的预测。因此,针对上述问题,本文介绍了时空的注意捕获时间和空间相关性的机制在空气质量预测。

 3所示。问题定义和模型框架

本节首先定义了空气质量预测问题,然后提出了总体预测模型,最后详细介绍了模型的各个组件。

3.1。问题定义

假设有 n地区空气质量监测站,时间序列预测的特点。时间序列的区域 我预测表示为 X 我 = x 1 , x 2 , … , x n Τ ∈ R n × T ,在那里 T设置时间窗的长度, n表示时间序列的数量(包括空气质量指数指数、气象数据、交通流,和工厂污染排放),和行向量 x 代表每个特性的时间序列考虑。与此同时, X 我 也可以表示为 X 我 = x 1 , x 2 , … , x T ∈ R n × T ,在那里 x t = x t 1 , 我 , x t 2 , 我 , … , x t n , 我 ∈ R n 代表每个功能区域的监测价值 我在时间 t。除了在目标区域中特征值的影响预测空气质量,周边地区的环境条件也有不同程度的影响预测结果。因此,本文表达了全球的特性 X 1 , X 2 , … , X N 。

根据时态数据、空间数据和全球目标区域的特征,STA-LSTM模型用于预测地区的空气质量 我在未来的时间 T ′ 。结果是表示为 y ^ 我 = y ^ T + 1 , y ^ T + 2 , … , y ^ T + T ′ ,在那里 y ^ T + t ′ 代表了预测时间价值机能 T + t ′ 在未来。

 3.2。总体框架

预测空气质量,本文提出了一个STA-LSTM模型基于时空的注意机制和使用一个encoder-decoder架构。如图 2,该模型主要由三部分组成:(1)空间的注意机制是用来捕捉动态传感器之间的空间相关性。编码器,我们设计一个空间注意机制来自动获取目标区域的相对影响不同地区和不同权重分配到不同的地区,也就是说, α t 1 , α t 2 , … , α t N ,在那里 α t j 代表了区域的影响程度 j在目标区域上 t。此外,每个区域的重量是由每个监测站的历史信息,隐藏的状态 h t − 1 ,细胞状态 c t − 1 LSTM的编码器。(2)特征提取的不连续的信息辅助预测执行。不连续的数据类似于POIs和公路网络不能直接用作LSTM的输入。因此,解决方案是对空间数据进行预处理,利用其输出 n 年代 t ′ 作为输入的LSTM解码器, t ′ 是未来的时间。(3)时间注意机制是用来捕捉动态时间相关。译码器的模型使用一个时间注意力机制来自动选择相关的隐藏状态输出的LSTM编码器获取时间上下文向量 y t ′ ,这是与辅助向量 n 年代 t ′ 和前一次预测结果。然后,它用作输入信息的LSTM解码器预测空气质量时间 t ′ 。重量 β t ′ t 注意机制的计算根据隐藏状态 h t ′ − 1 ′ 和细胞状态 c t ′ − 1 ′ 在解码器的LSTM时间 t ′ − 1 。

STA-LSTM模型。

 3.2.1之上。编码器与空间的注意机制

本文的目的是预测空气质量时间 T ′ 在未来。在以前的研究中,一些方法( 13)只考虑目标区域的相关影响因素。虽然一些方法( 11)考虑周边地区的影响,他们只是给不同地区相同的重量。事实上,不同地区扮演不同的角色,对目标地区的影响也随时间变化。例如,数据在该地区最接近目标区域有一个相对重要的参考价值。类似地,如果大风吹来自一个特定的区域,对目标区域的空气质量的影响大于如果面积没有风。此外,梁( 16)指出,可能存在序列相关或相关性在其他地区。如果所有地区的时态数据直接用作编码器的输入捕捉其他地区的影响,结果是一个高计算成本和减少性能( 16]。

因此,我们提出一个空间注意机制自动捕获和利用不同地区的相对重要性,从而把握每个区域的空间影响因素在整体情况下,提高传统LSTM擅长解决时间问题。具体过程如下。考虑到隐藏状态 h t − 1 和细胞状态 c t − 1 LSTM的编码器 t − 1 ,我们可以计算关注周边地区的重量 l对目标区域的影响 我根据以下公式: (1) 年代 t l = V 年代 Τ 双曲正切 W 年代 h t − 1 ; c t − 1 + U 年代 X l Z 年代 + b 年代 , 在哪里 X l ∈ R N × T 代表所有历史时间序列数据的时间 T(过去)地区 l, V 年代 ∈ R T , W 年代 ∈ R T × 2 米 , U 年代 ∈ R T × N , Z 年代 ∈ R T , b 年代 ∈ R T 注意模型的参数,可以通过学习获得的。重量 年代 t l 通过每一组时间序列的数据区域 l代表在目标区域面积的影响。

此外,这两个地区之间的地理距离也影响程度的相关性,也就是说,距离越近,越强的相关性。因此,模型使用相关矩阵的距离 D ∈ R N × N 代表每个区域和目标区域之间的关系 我,在那里 d 我 , l 地区之间的距离的倒数吗 我和 l, D是一个对角矩阵。最后,我们使用将softmax功能正常化所有空间注意权重[0,1],并确保之和等于1。这个计算的公式如下: (2) α t l = 经验值 λ 年代 t l + λ ′ d 我 , l ∑ j = 1 N 经验值 λ 年代 t j + λ ′ d 我 , j 。

因此, α t l 综合考虑区域的重要性 l到目标区域。换句话说,它控制的信息量 l输入的LSTM编码器。条款中公式, λ + λ ′ = 1 , λ 是一个可调hyperparameter决定的比例 年代 t l 和 d 我 , j 在计算重量。根据上面的过程中,每个区域的注意体重 t可反过来,即 (3) e t = α t 1 , α t 2 , … , α t l , … , α t N Τ 。

然后,通过空间矢量输出时注意机制 t如下: (4) Χ t 年代 一个 = α t 1 x t 1,- 1 , α t 2 x t 1、2 , … , α t l x t 1 , l , … , α t N x t 1 , N Τ , 在哪里 x t 1 , l 代表的机能价值区域 l在时间 t。

空间影响因素 Χ t 年代 一个 在时间 t与时态数据吗 Χ t T 一个 = x t 1 , x t 2 , … , x t n Τ (目标区域 x t 我 是 i时态数据时 t机能等温度、风速等)获取输入的LSTM编码器,也就是说, Χ t = Χ t 年代 一个 ; Χ t T 一个 , Χ t ∈ R N + n 。然后,我们使用 h t − 1 , c t − 1 , Χ t 在以前的时间 t更新隐藏状态 h t ( 12]。计算过程如下: (5) f t = σ W f h t − 1 , X t + b f , (6) 我 t = σ W 我 h t − 1 , Χ t + b 我 , (7) o t = σ W o h t − 1 , Χ t + b o , (8) c ^ t = 双曲正切 W c h t − 1 , Χ t + b c , (9) c t = f t ∗ c t − 1 + 我 t ∗ c ^ t , (10) h t = o t ∗ 双曲正切 c t , 在哪里 f , 我 , o 代表忘记门、输入通道和输出通道,分别 c ^ t 候选细胞信息, W 是重量参数, b 是偏见的术语, σ 代表了乙状结肠激活函数。

 3.2.2。特征提取的不连续的信息辅助预测

空间数据,类似于POIs和道路网络,直接或间接地影响空气质量,所以使用这些空间数据模型作为空气质量预测的辅助信息。然而,这些数据不能直接输入到LSTM。因此,本文提出了使用线方法嵌入的信息网络组成的坐标,POIs,预测区域的公路网络到一个低维向量来改善空气质量的预测效果。下图就是一个信息网络图组成的空间信息,如坐标,POIs,公路网络。

如图 3,网络图 G 一个 一个 = 一个 ∪ 一个 , β 一个 一个 预测区域间代表每个区域的距离关系, 一个代表该地区的预测, β 一个 一个 代表的边缘 e 我 j 任何两个区域之间,体重 w 我 j 代表两个区域之间的距离。右边的图 4,网络图 G 一个 p = 一个 ∪ P , β 一个 p 之间的区域和POIs代表POIs的分布在预测领域, P代表了POI的收集分类,类别 p 1 ∼ p 10 分别表示为运输,工厂、公园、商店、饮食和饮酒场所、体育场馆、学校、房地产、娱乐场所和其他设施( 9]。 β 一个 p 代表的边缘 e 我 j 地区和POI之间的类别,它的重量 w 我 j 包含类别代表POIs的数量 p j 在预测领域 我。网络图 G 一个 r = 一个 ∪ R , β 一个 r 之间的区域,左边的道路网络图的一部分代表路段的分布在预测领域, R代表的道路段类别, β 一个 r 代表的边缘 e 我 j 区域和道路之间的细分类别,和它的重量 w 我 j 代表的道路总长度的类别 r j 包括在预测领域 我。

网络图与区域之间的连接。

预测区域之间的网络图,POIs,公路网络。

根据上面定义的网络图,本文使用线方法学习的低维向量表示空间数据在预测领域。目标函数如下公式所示: (11) l G 一个 一个 = − ∑ e 我 j ∈ β 一个 一个 w 我 j 日志 p v j | v 我 , (12) l G 一个 p = − ∑ e 我 j ∈ β 一个 p w 我 j 日志 p v j | v 我 , (13) l G 一个 r = − ∑ e 我 j ∈ β 一个 r w 我 j 日志 p v j | v 我 , (14) l G = l G 一个 一个 + l G 一个 p + l G 一个 r 。

通过优化目标函数 l( G),一个低维的向量表示每个区域的空间信息 d 我 可以获得, n 年代 我 ∈ R ϕ , R ϕ 代表一个 ϕ维向量空间。

 3.2.3。译码器对空气质量的预测

当传统的encoder-decoder模型执行空气质量预测,隐藏的状态 h 1 , h 2 , … , h T 获得的LSTM编码器是直接输入到译码器来获取一个固定长度的目标序列。然而,赵 37)发现,模型的性能迅速下降随着译码器的输入长度的增加。因此,本文介绍了译码器的时间关注机制来分配不同的时间权重的隐状态编码器的输出。同时,所有隐状态加权和总结,结果是用作输入的LSTM译码器在未来的时间 t ′ 捕捉动态时间相关性未来和历史时期( 38]。具体过程如下。

考虑到隐藏状态 h t ′ − 1 ′ 和细胞状态 c t ′ − 1 ′ LSTM的解码器 t ′ − 1 ,我们可以用下面的公式来计算的注意重量隐藏状态 h t 编码器输出的时间 t ′ : (15) u t ′ t = v d Τ 双曲正切 W d h t ′ − 1 ′ ; c t ′ − 1 ′ + U d h t + b d , 在哪里 v d , b d ∈ R l , W d ∈ R l × 2 P , U d ∈ R l × 米 。

类似于空间的注意机制的重量在前面的小节中,隐藏状态的重量在历史时间归一化[0,1],如以下公式所示: (16) β t ′ t = 经验值 u t ′ t ∑ j = 1 T 经验值 u t ′ j 。

根据上面的方程,所有历史隐状态输出的权重由编码器可以计算,然后,隐藏的状态 h t 获得时间上下文向量加权和总结吗 y,也就是说, (17) y t ′ = ∑ t = 1 T β t ′ t h t 。

我们连接 y t ′ 与非连续性辅助信息 n 年代 t ′ ,输出结果 y ^ t ′ − 1 在时间 t ′ − 1 用作LSTM的译码器的输入时间吗 t ′ ,它是用于更新隐藏状态 h t ′ ′ 。这个过程类似于LSTM编码器的计算过程,并简要地表示为 (18) h t ′ ′ = LSTM h t ′ − 1 ′ , y ^ t ′ − 1 ; n 年代 t ′ ; y t ′ − 1 。

然后,模型使用更新后的隐藏状态 h t ′ ′ 和上下文向量 y t ′ 共同计算空气质量指数的预测结果 y ^ t ′ 目标区域。计算过程如下: (19) y ^ t ′ = v y Τ W y h t ′ ′ ; y t ′ + b y + b y , 在哪里 W y ∈ R 问 × P + 米 和 v y , b y ∈ R 问 。

最后,在模型训练,我们选择了亚当优化算法( 39)之间的均方误差函数最小化预测价值 y ^ T + 1 , y ^ T + 2 , … , y ^ T + T ′ 和真正的价值 y T + 1 , y T + 2 , … , y T + T ′ 。计算的公式如下: (20) 损失 Θ = y ^ − y 2 , 在哪里 Θ 代表所有STA-LSTM学到的参数模型。

 4所示。实验

本文提出的预测模型,验证了模型的有效性,在本节中,通过几组比较实验。首先,我们介绍了实验数据和评估标准。其次,我们使用其他空气质量预测方法作为比较的基准与STA-LSTM模型提出。最后,我们验证不同的输入特征的有效性。此外,我们评估的影响在空间和时间上的注意力机制模块在空气质量预测。

4.1。实验设置 以下4.4.1。数据集和设置

在这个实验中,我们使用的监控数据北京地区共有36个监测站,其中一些在图所示 5。时间跨度从2018年1月1日,12月31日,2018年,间隔1小时。图 5显示了一些监测站分布。

历史气象资料:气象数据主要包括温度、湿度、风速和风向数据。我们主要通过中国气象网站,获得和粒度是一个小时的时间。

空气质量历史数据:空气质量数据主要包括历史机能,PM2.5, PM10,有限公司没有2阿,3,所以2数据。这些数据主要是通过PM2.5历史数据网站,用一小时的时间粒度。

历史工厂污染物排放数据:记录工厂污染物的排放空气污染物的浓度排放的工厂,这是通过公司的自我监控信息披露平台。

历史交通流数据:包含交通指数获得的交通流数据,也就是说,交通拥堵指数,通过北京交通发展研究中心的平台。

POI数据和道路网络数据:这些数据被下载开放地图中提取数据。

分布在北京的监测站。

在实验中,上述数据集随机分为训练集,验证集和测试集根据比例6:2:2。在训练阶段,我们将批量大小设置为512,0.001的学习速率,时间窗口 T{6、12、24、36 48},预测未来时间长度为24小时。模型的训练与特斯拉K40m服务器GPU和英特尔至强E5 CPU。

 4.1.2。指标

本实验使用两个常见的回归评价指标来评价预测模型的性能提出了本文即RMSE和 R 2 。

RMSE是用来测量预测值和真实值之间的偏差的一个变量,即 (21) RMSE = 1 米 ∑ 我 = 1 米 y − 我 y ^ 我 2 , 在哪里 y 我 是真正的价值, y ^ 我 是预测值, 米代表所有预计值的数量。当RMSE值很大,预测值和真实值之间的误差也大。

R 2 通常表示模型的合适的质量,和它的定义如下: (22) R 2 = 1 − ∑ 我 = 1 米 y ^ 我 − y 我 2 ∑ 我 = 1 米 y ¯ 我 − y 我 2 , 在哪里 y ¯ 代表的平均值 y,其值范围通常是[0,1],但有时也是一个负数。一般来说,如果的结果 R 2 为0,这意味着模型拟合效果不好;如果是1,这意味着模型预测结果没有错误。

 4.1.3。比较的方法

我们使用下列方法作为基准,比较他们与模型在本文提出:

ARIMA:这是一个方法基于传统的线性统计模型,可用于预测时态数据。

MFSVR:这是一个基于SVR预测模型与机器学习技术。提高预测精度,模型使用一个基于偏最小二乘的特征融合方法来提取原始特性和减少的尺寸SVR模型的输入变量( 40]。

DeepST:这是一个预测模型基于深度学习的时空数据( 30.]。

LSTM:这种方法使用LSTM自动从历史数据中提取有用的特性,并且它的空间和时间相关性的影响因素考虑在内 41]。

GC-LSTM:这个方法是一个基于深度学习的混合模型方法。它集成了一个图像卷积网络和一个LSTM网络预测(PM2.5浓度的时空变化 32]。

ADAIN:这种方法结合前馈和复发性神经网络,同时加入一种引起池层学习的功能权重不同的监测站 42]。

5。结果

首先,我们比较了与上述六个指标预测模型。然后,我们评估模型的每个模块的有效性。

5.1。模型比较

来验证我们的模型的可行性和有效性,我们比较STA-LSTM模型提出了与其他六个伊拉克基地组织预测方法,包括ARIMA、MFSVR, DeepST, LSTM GC-LSTM, ADAIN。我们使用相同的数据集和适当的参数来训练这些模型获得预测结果在不同的尺度和使用RMSE评价标准来评估这些模型的性能。结果如表所示 1。显然,随着预测时间变得更长,所有模型显示下降趋势的表现。这一结果的原因可能是因为以下几点:(1)的时间信息有时会影响空气质量的预测波动极大地随着时间的推移,和预测效果会降低长期预测未来;(2)当预测空气质量指数在未来某个时间,预测结果与前面的时间也将介绍,导致连续积累预测错误;(3)随着时间的流逝,预报值和输入数据之间的相关性减弱,导致可怜的预测性能。

与其他基准RMSE STA-LSTM模型的比较。

模型 1 h 2 h 3 - 6小时 7 - 12 h 24里面h
华宇电脑 20.97 25.41 33.53 42.21 54.42
MFSVR 18.43 23.63 29.94 35.68 48.31
DeepST 15.89 17.28 25.41 27.67 34.46
LSTM 17.64 18.49 23.86 29.78 35.43
GC-LSTM 13.41 17.95 24.54 28.27 34.56
ADAIN 12.78 15.76 20.56 24.62 29.06
STA-LSTM 12.23 15.58 20.52 23.59 28.71

从表中可以看出,该STA-LSTM空气质量预测模型具有较低的RMSE值比其他方法。原因可能是STA-LSTM模型考虑之间的交互建模时直接和间接因素。此外,该模型还使用邻近站之间的数据信息作为预测目标区域的影响因素。例如,GC-LSTM和ADAIN模型在表 1还要考虑空间因素的影响。它可以发现他们的结果明显好于其他方法,所以空气质量预测空间信息是很重要的。与GC-LSTM模型相比,STA-LSTM有更好的预测效果。原因可能在于介绍空间注意机制,转换数据的平等待遇信息从周围的站点为加权数据通过考虑区域之间的差异的重要性。从结果,STA-LSTM优于ADAIN模型,也介绍了注意力机制。这可能是因为模型提出了介绍时间注意机制在译码器,可用于学习的动态相关性的未来和历史上的时间数据。因此,它是重要的历史时间数据更有针对性。

 5.2。STA-LSTM评价

验证的有效性的不同的输入特征STA-LSTM模型提出,我们可以限制输入的一些特性进行实验,同时保持其他模块相同。如表所示 2, F 一个 , F 米 , F c , F t , F 年代 代表伊拉克基地组织的特征,气象数据,工厂空气污染物排放,交通流量,和空间数据(POIs和公路网络),分别。下面的表显示了RMSE值通过结合不同的输入特性。不难看到群实验相结合的所有特性获得最低的RMSE值。从图我们也可以观察到,与POIs等数据与空间特征和道路网络,气象数据的实验,工厂污染物的排放,交通流量作为输入特征有更好的预测效果。这样做的原因可能是连续时间数据,如风速、企业排放和汽车尾气与空气预测高度相关。然而,它也可以从下面的图,有效地获取空间数据之间的潜在关系是非常有用的预测。因此,当空气质量预测,我们需要考虑更多的相关因素来达到更好的预测结果。

RMSE和 R 2 获得了不同组合的输入特性。

模型 RMSE R 2
F 一个 + F 米 26.72 0.74
F 一个 + F c + F t 28.47 0.71
F 一个 + F 年代 31.25 0.65
F 一个 + F 米 + F c + F t + F 年代 22.63 0.78

来确定空间注意的影响机制,我们比较它与GC-LSTM模型在前一节中提到的,和空间的注意机制的结论是,STA-LSTM更有利于空气质量的预测。GC-LSTM模型主要有以下缺点:(1)因为GC-LSTM输入环境监测站的数据同样,它不能准确地抓住他们的空间相关性,和(2)GC-LSTM的性能可能会逐渐减少附近监测站数量的增加。因此,本文选择引入空间注意机制来捕获数据信息从不同的站点的不同的效果在目标区域,从而提高预测精度。

接下来,我们验证了译码器的时间注意机制的有效性。颞注意力机制用于自适应地选择相关编码器的隐藏状态,所以我们可以使用不同的编码长度对其预测效果进行评估。我们手动删除不同的模块,获得三种变体的STA-LSTM, STA-ns, STA-ne, STA-nt,比较他们与STA-LSTM模型。变体中,编码器STA-ns删除空间注意机制;STA-ne删除POIs的空间信息和道路网络用于辅助预测;和STA-nt变体删除时间注意机制在译码器。图 6(一)显示了STA-nt和STA-LSTM模型获得的RMSE值。不难发现,本文提出的模型比STA-nt要好得多,因为时间注意力机制提高了空气质量长期预测的性能。图 6 (b)展示了各种模型的预测结果与不同的编码长度。我们可以清楚地观察到每个模型的误差的最小值 T= 12,可能是因为空气质量不表现出任何长期的时间依赖性。

(一)比较的RMSE值STA-nt和STA-LSTM模型获得的。(b)预测结果与不同的编码长度。

上述实验结果表明,该STA-LSTM模型提出了具有更好的预测效果比其他六个基准。它还讨论了STA-LSTM模型的每个模块的有效性。接下来,图 7显示了一个最优的预测结果。当数量小于25岁,很明显,拟合的结果很好。当它大于25,有一定的偏差。预测效果与上面讨论的结果是一致的。

伊拉克基地组织的预测结果。

 6。结论

在本文中,我们提出一个空气质量预测模型基于时空注意力机制,即STA-LSTM模型。模型采用一个encoder-decoder架构。首先,空间注意机制引入编码器来捕获的相对重要性邻监控网站目标区域。第二,时间注意机制是添加到译码器来捕获动态未来和历史时间之间的相关性。此外,该模型使用目标区域的空间数据作为预测的辅助信息,提高预测精度。我们用真实的数据集来评估本文提出的模型的有效性。实验表明,我们的模型显示最佳的性能相比6基准。此外,我们还验证模块的有效性与不同的特性和时空的注意机制。最好的结果是通过结合本文提出的所有特性。

 数据可用性

使用的数据来支持本研究的结果可通过一个公共网站 http://zx.bjmemc.com.cn/。

 的利益冲突

作者宣称没有利益冲突有关的出版。

 确认

这项研究得到了国家重点研究和发展项目的中国(2017 yfc0804402)。

 Belissent J。 让聪明的智能城市:新机遇需要新的商业模式 剑桥,麻萨诸塞州,美国 2010年 193年 244年 277年 Zaree T。 Honarvar a。R。 改善空气污染预测的智能城市和使用计量大数据与天气条件的关系 土耳其的电气工程和计算机科学杂志》上 2018年 26 1302年 1313年 黄 C.-J。 郭 林志信。 深CNN-LSTM颗粒物(PM2.5)预测模型在智能城市 传感器 2018年 18 7 2220年 10.3390 / s18072220 2 - s2.0 - 85050087079 杨 Y。 细粒度的空气质量指数分布的实时分析使用无人机遥感 IEEE物联网 2017年 5 1 186年 198年 锅 G。 气 G。 张 W。 李 年代。 吴 Z。 杨 l 跟踪分析和挖掘智能城市:问题、方法和应用 IEEE通讯杂志 2013年 51 6 120年 126年 10.1109 / mcom.2013.6525604 2 - s2.0 - 84879082499 白 l 王 J。 马 X。 陆 H。 空气污染预测:概述 国际环境研究和公共卫生杂志》上 2018年 15 4 780年 10.3390 / ijerph15040780 2 - s2.0 - 85045766704 郑 余 刘 F。 谢长廷 H.-P。 U-air:当城市空气质量满足大数据推理 19 ACM SIGKDD学报》国际会议上知识发现和数据挖掘 2013年 美国芝加哥 元 J。 郑 余 谢 X。 发现在城市地区的不同的功能使用人类的机动性和POIs 18 ACM SIGKDD学报》国际会议上知识发现和数据挖掘 2012年 中国北京 程ydF4y2Ba l 丁 Y。 律 D。 刘 X。 长 H。 城市空气质量指数模型深多任务学习的基础 诉讼ACM的互动、移动、可穿戴和无处不在的技术 2019年 3 1 1 17 10.1145 / 3314389 Rakowska 一个。 黄 k . C。 汤森 T。 交通量和组成对空气质量的影响和行人暴露在城市街道峡谷 大气环境 2014年 98年 260年 270年 10.1016 / j.atmosenv.2014.08.073 2 - s2.0 - 84906857946 秦 D。 余 J。 邹 G。 勇 R。 赵 Q。 张 B。 小说结合预测方案基于CNN和LSTM城市PM2.5浓度 IEEE访问 2019年 7 20050年 20059年 10.1109 / access.2019.2897028 2 - s2.0 - 85063897674 Hochreiter 年代。 Schmidhuber J。 长时间的短期记忆 神经计算 1997年 9 8 1735年 1780年 10.1162 / neco.1997.9.8.1735 2 - s2.0 - 0031573117 赵 J。 邓 F。 蔡 Y。 程ydF4y2Ba J。 长短期memory-fully连接(LSTM-FC)神经网络对PM2.5浓度的预测 光化层 2019年 220年 486年 492年 10.1016 / j.chemosphere.2018.12.128 2 - s2.0 - 85059147497 唐 J。 线:大规模信息网络嵌入 《24日国际会议在万维网上 2015年 意大利佛罗伦萨 Vaswani 一个。 关注你所需要的 诉讼进展的神经信息处理系统 2017年 美国加利福尼亚州长滩 梁 Y。 Geoman:多层次的关注网络geo-sensory时间序列预测 《IJCAI 2018年 斯德哥尔摩,瑞典 高 H。 V2VR:可靠hybrid-network-oriented V2V数据传输和路由考虑限制和连接概率 IEEE智能交通系统 2020年 99年 1 14 邓 年代。 香 Z。 赵 P。 动态资源分配的边缘可信赖的物联网系统:一个强化学习方法 IEEE工业信息 2020年 16 9 6103年 6113年 10.1109 / tii.2020.2974875 阴 Y。 QoS服务推荐特性的预测学习在移动计算环境 IEEE认知通信和网络 2020年 6 高 H。 矿业消费行为演化的个性化推荐移动营销应用程序 移动网络和应用程序 2020年 25 杨 X。 周 年代。 曹 M。 稀疏问题的缓解方法混合基于协同过滤的推荐:产品属性的角度从用户评论 移动网络和应用程序 2019年 25 1 15 Vardoulakis 年代。 费雪 b·e·A。 Pericleous K。 Gonzalez-Flesca N。 造型街道峡谷的空气质量:一个回顾 大气环境 2003年 37 2 155年 182年 10.1016 / s1352 - 2310 (02) 00857 - 9 2 - s2.0 - 2242483771 剑 l 赵 Y。 朱 Y.-P。 张 M.-B。 Bertolatti D。 应用ARIMA模型预测亚微米粒子浓度与气象因素在路边一个繁忙的在杭州,中国 科学的环境 2012年 426年 336年 345年 10.1016 / j.scitotenv.2012.03.025 2 - s2.0 - 84860676627 Genc D D。 Yesilyurt C。 Tuncel G。 空气污染预报在安卡拉,土耳其使用空气污染指数及其与大气的吸收能力的关系 环境监测和评估 2010年 166年 1 - 4 11 27 10.1007 / s10661 - 009 - 0981 - y 2 - s2.0 - 77954144269 Moisan 年代。 Herrera R。 克莱门茨 一个。 动态多方程方法预测PM2.5污染在圣地亚哥,智利 国际期刊的预测 2018年 34 4 566年 581年 10.1016 / j.ijforecast.2018.03.007 2 - s2.0 - 85048258541 妞妞 M。 氮化镓 K。 太阳 年代。 李 F。 应用decomposition-ensemble学习范式与相空间重建日前PM 2.5浓度预测 环境管理杂志》 2017年 196年 110年 118年 10.1016 / j.jenvman.2017.02.071 2 - s2.0 - 85014821326 马 J。 李 Z。 程 j·c·P。 丁 Y。 林 C。 徐 Z。 空气质量预测在新车站使用空间转移双向长期短期记忆网络 科学的环境 2020年 705年 135771年 10.1016 / j.scitotenv.2019.135771 利普顿 z . C。 干了 J。 查尔斯 E . . 的复发性神经网络评论序列的学习 2015年 https://arxiv.org/abs/1506.00019 赵 J。 越南盾 T。 蔡 B。 机能与时空预测基于长期短期记忆模型优化算法和烟火 武汉大学学报 2019年 65年 3 250年 262年 张 J。 郑 Y。 气 D。 DNN-based时空数据的预测模型 《24日ACM SIGSPATIAL国际会议上先进的地理信息系统 2016年 亚特兰大,乔治亚州,美国 1 4 通用电气 l 周 一个。 李 H。 基于DBU-LSTM空间细粒度的空气质量预测 学报》第16届ACM国际会议上计算边界 2019年 坐骨、意大利 202年 205年 气 Y。 李 Q。 Karimian H。 刘 D。 混合模型的时空预测基于图的PM2.5卷积神经网络短期和长期记忆 科学的环境 2019年 664年 1 10 10.1016 / j.scitotenv.2019.01.333 2 - s2.0 - 85061200096 徐 K。 显示,参加并告诉:神经图像标题代视觉注意力 机器学习的国际会议 2015年 法国里尔 Bahdanau D。 赵 K。 Bengio Y。 神经机器翻译的共同学习和翻译一致 2014年 https://arxiv.org/abs/1409.0473 Chaudhari 年代。 一个细心的注意模型的调查 2019年 https://arxiv.org/abs/1904.02874 李 年代。 谢 G。 任 J。 郭 l 杨 Y。 徐 X。 城市PM2.5浓度预测通过引起CNN-LSTM 应用科学 2020年 10 6 1953年 10.3390 / app10061953 赵 K。 在神经机器翻译的性质:encoder-decoder方法 2014年 https://arxiv.org/abs/1409.1259 他 Z。 周润发 彭译葶。 张 j。 STANN:时空的交通预测的神经网络 IEEE访问 2018年 7 4795年 4806年 Kingma d . P。 吉米 英航。 亚当:一个随机优化方法 2014年 https://arxiv.org/abs/1412.6980 李 Y。 道 Y。 每日PM10浓度预测基于多尺度融合支持向量回归 《智能与模糊系统 2018年 34 6 3833年 3844年 10.3233 /出售jif - 169555 2 - s2.0 - 85049399796 李 X。 彭 l 姚 X。 长为空气污染物浓度预测短期记忆神经网络:方法开发和评估 环境污染 2017年 231年 997年 1004年 10.1016 / j.envpol.2017.08.114 2 - s2.0 - 85028944487 程 W。 神经关注城市空气质量模型推理:学习监测站的权重 《AAAI 2018年 河畔、钙、美国