AMETE 气象学的进展 1687 - 9317 1687 - 9309 Hindawi 10.1155 / 2020/6484812 6484812 研究文章 卷积Residual-Attention:降水短时预测的深度学习的方法 杨ydF4y2Ba 清 1 https://orcid.org/0000 - 0002 - 3550 - 7544 霁 阜新市 1 https://orcid.org/0000 - 0001 - 6743 - 7555 苗族 Kaichao 2 吴 气 1 夏 易 1 https://orcid.org/0000 - 0003 - 0111 - 0108 李 腾 1 Hashiguchi ) 1 学院的电气工程和自动化 安徽大学 合肥230601年 中国 ahu.edu.cn 2 安徽公共气象服务中心 合肥230031年 中国 2020年 29日 2 2020年 2020年 17 09年 2019年 16 12 2019年 06 01 2020年 29日 2 2020年 2020年 版权©2020年清严等。 这是一个开放的文章在知识共享归属许可下发布的,它允许无限制的使用,分布和繁殖在任何媒介,提供最初的工作是正确的引用。

短期降水预报当地地区基于雷达反射率图像已成为一个热点问题在气象领域,这对日常生活具有重要的影响。最近,深度学习技术已经应用于这一领域,并与传统的方法相比,明显地提升营销效果。然而,现有的基于深度学习方法没有考虑的问题不同区域对降水和渠道施加不同的影响。在本文中,我们提出将多线程注意到双通道神经网络强调降水预报的关键领域。此外,解决这个问题的全球信息的过度流失造成的注意力机制,引入的残余连接模型。定量和定性结果表明,该方法达到了先进的雷达回波数据集上降水预报的准确性。

 中国国家自然科学基金 61602002 安徽省自然科学基金 1808085 mf209 1。介绍

一般来说,降水预测指的是提供了一个很短的范围(例如,0 - 2小时)预报降雨强度的局部区域尽可能精确的基于雷达回波图,雨量计或其他观测数据( 1]。一个精确的天气预报可以为户外活动非常有用的在人类的生活,交通条件,早期预警的极端天气,等。由于大气的固有的复杂性和相关的动力学过程,降水预报问题是相当具有挑战性,成为在气象学和机器学习社区的一个研究热点( 2]。

主要有两类降水预测的传统方法。一个是呼应了光流法(外推技术代表 3- - - - - - 5),如图 1。这种方法估计对流云运动通过雷达回波地图和预测未来雷达回波图到Semi-Lagrangian平流方案。然而,这种方法更适合跟踪和预测规模较大的回波的目标和一个很长的生命周期。回声发生分裂或合并时,预测的准确性会迅速减少。另一种方法是基于数值天气预报( 6]。根据大气的情况和一些初始和边界条件,该方法解决了流体力学和热力学方程描述天气演变过程基于数值计算。然后,预计未来大气运动和天气现象根据数值结果。然而,这种方法受限于向上;前两个小时的中尺度降水预报的数值模型是无效的,尤其是短时预测的应用,计算精度较低,需要复杂的物理方程。因此,很难满足准确、实时的精确预测的需求( 7, 8]。

降水预测过程基于光流的方法。

随着深度学习的发展方法,在降水预报领域已经取得了一些进展。施等。 9]提出了卷积LSTM (ConvLSTM)建立一个端到端可训练的模式降水预报问题,有效地捕捉时空相关性和始终优于完全connected-Long短期记忆(FC-LSTM) [ 10]。然而,location-invariant ConvLSTM-based卷积递归结构模型,而云自然运动和转换(例如,旋转)location-variant一般。施等。 1)进一步改进的方法构建TrajectoryGRU (TrajGRU)模型能够积极学习location-variant复发性连接结构。上述方法获得更好的性能比传统的光流法,但他们提出的模型是复杂需要大量的训练数据。姚明et al。( 11)提出了一个新颖的方法来解决这个问题。降水的预报被视为一个空间序列预测问题根据泰勒冻结假设(如果信号在大气中湍流脉动引起的远小于空间变异引起的对流,云计算集群往往在当地平均对流速度空间的转变。在很短的时间内,没有大幅改变形状或反射强度和流场有明显的时空相关性。) 11, 12)广泛应用于气象和流体动力学。未来雷达回波的目标站点地图是通过缝合的雷达回波地图基于尺度不变特征变换(SIFT)重点检测。然后,雷达回波图被送入卷积神经网络得到预测结果。与先前的研究相比,该方法极大地简化了复杂的时空预测问题,结合机器学习和深入学习。然而,仍有许多需要解决的不足。广为人知,但降水粒子云不同的高度有不同的密度分布和尺度,所以云不同高度(1.5公里,2.5公里,3.5公里)对降水会有不同的影响。这是一个重要的因素,必须考虑在降水预报,并没有足够的关注的先前的研究。

最近,深度学习的注意力机制已经取得不错的效果,广泛应用于计算机视觉。它学习权重矩阵强调主要特性和抑制无关紧要的功能( 13]。Vaswani et al ( 14)提出了一个self-multi-head注意力可以捕获序列之间的联系和解决长距离依赖性。Stollenga et al。 15)提出了一种深选择性注意网络使用注意调整每个的重量卷积滤波器实现图像分类。虽然关注机制可以专注于关键领域,一些全球信息可能会丢失。解决这个问题,楚et al。 16)创建了一个multicontext模型基于堆叠沙漏通过实现全球网络特性的表征;王等人。 17视频分类]提出了一种非局部块,考虑其他地区的贡献在图像目标通过引入残余链接。然而,注意机制很少使用领域的降水预报。

本文旨在降水预报,我们提出一种双通道深度学习模型,称为多线程关注残余卷积神经网络(MAR-CNN)。MAR-CNN可以区分重要的高度范围内施加更多影响降水云的多线程的注意。与此同时,它集成了剩余的概念网络multhead注意减少全球的损失特性。我们进行了气象数据集分布的实验在中国深圳气象局。结果证实该MAR-CNN优于传统深学习方法,比如回旋的注意力以及卷积多线程的注意。

总结了本文的主要贡献如下:

我们应对发现的挑战降水的关键功能,如重要的地区大降水强度和不同高度的重要渠道,通过引入multiattention卷积神经网络。

我们建议把多线程的关注与剩余连接,这样可以利用全球和本地信息综合,以减轻损失的信息。我们所知,这是首次尝试降水预报的工作共同使用剩余结构和multiattention机制。

2。材料和方法 2.1。研究领域

深圳位于中国的南部之间22°27′∼22°52′N和113°46′∼114°37′E,它面积2020公里2(图 2),属于亚热带海洋性气候。年平均温度为22.3°C,最高气温为38.7°C,最低气温为0.2°C。雨季是从4月到9月,每年的年降雨量1924.7毫米。

深圳的地理位置和空间分布的一些气象监测站。

 2.2。数据

本文中使用的雷达回波数据集是一个为期两年的气象雷达强度的一部分数据集收集的深圳气象局。数据集有10000套的样品,每个包含60雷达反射图像和相应的降水在一小时内收集的地面站如图 2。雷达反射图像的部分在图 3分布在15连续时间跨度,6分钟,和四个不同高度,除了1公里,从0.5公里到3.5公里。每个雷达反射率图像是101 × 101像素对应于101年 × 土地面积101公里。记录每个像素的雷达反射率因子。雷达反射回波强度反映了降水粒子的规模和密度在气象目标在某种程度上,因此反射率和降水之间的关系可以建立起来。

历史15时间跨度4不同高度的雷达图像。

首先,它要求预测未来目标站点上的雷达图像进行精确降水预测。指的是数据处理方法的姚明和李娜( 11),我们缝原始雷达图像去云的全球前景通过模板匹配。

其次,目标站点为中心,子图象的大小是41×41像素从缝截获图像。每个子图象对应于三个高度通道从1.5公里到3.5公里。这里,0.5公里的通道是废弃的,因为它是太低,包含一个很大的噪音。所以,茶点的尺寸图片用于后续的实验是41 41××3。这些子图象将送入网络来提取图像特征。最后,我们获得了8721子图象。我们随机选择1000组作为测试集,剩下的7721组作为训练集。

最后,非成象特性的云,云的移动速度信息等,通过传统方法像尺度不变特征变换(筛选)描述符 18)是用来在一个图像找到关键点。从每个子图象的大小非成象特性提取是49×1。( 11]。这些子图象和相应的非成象特性是网络的输入。

降水等级的分类标准和数据集的数据分布如表所示 1。这些标准被广泛使用作为一个在中国国家标准。

降水等级的分类标准和数据分布。

降水水平 降水范围(毫米/小时) 总体样本容量 增强训练集的大小 测试集的大小
没有雨 < 0.1 257年 2097年 24
小雨 0.1 - -1.5 844年 2352年 60
中雨 1.6 - -6.9 2794年 2503年 291年
大雨 7.0 - -14.9 781年 1696年 85年
暴雨 15.0 - -39.9 3275年 2846年 429年
大的大雨 40.0 - -49.9 450年 2246年 69年
非凡的大雨 ≥50.0 320年 2224年 42

从表 1,原始样本数据分布的不平衡。在实际预测,暴雨事件,如暴雨、大大雨,和非凡的大雨,应该尽可能准确的预测,因为他们会导致更多对社会的威胁。然而,与其他天气条件相比,强降雨的比例非常低。考虑这种情况,为了减少网络训练数据不平衡的影响,我们进行了数据增强大雨,大雨,非凡的大雨的训练集,通过击打算法( 19]。同时,我们也扩大了小雨和没有雨的数据。增强训练集的大小是列在表中 1。

 2.3。方法 2.3.1。卷积神经网络

首次提出了CNN勒存等。 20.作为一个前馈神经网络)。LeNet-5模型如图 4是最典型的类型的卷积神经网络。它包括一个输入层(输入),一个卷积层、汇聚层,一个完全连接层和一个输出层(输出)。

LeNet-5模型。

卷积和池在CNN的本质是类似于过滤提取数据特征。通过卷积和池、输入数据转换为数据间隐藏的拓扑结构特性。然后,这些特性在完整的连接层合并,和分类或回归结果可以在输出层完成。

 2.3.2。多线程的关注

注意函数可以被描述为查询和一组键值映射到输出,查询,键值和输出向量。一般来说,键和值是相等的。特别是我们的使命,键和值都是雷达反射率图像的特征提取的CNN网络和查询权重矩阵,网络需要学习。输出计算值的加权和,的重量分配到一个兼容性函数计算每个值的查询与相应的关键( 14]。

通过关注机制,模型可以为任务(关注重要信息 14]。

最近,多线程方法(注意 14, 21, 22已经证明是成功的在机器翻译和图像识别( 23- - - - - - 25]。与单一的关注相比,多线程注意执行注意机制几次平行。查询,用键和值 问 , K , V 。然后得到的权重值 (1) 注意 问 , K , V = 软 马克斯 问 K d k V , (2) 软 马克斯 Z j j = 1 , … , = e Z j ∑ k = 1 K e Z k , 在哪里 d k 的尺寸是 K ,这将影响点积的大小。方程( 2)是一个 软 马克斯 激活函数可用于正常体重, Z 是一个 K 维向量和 j 代表一个元素。通过softmax,我们可以正常化向量中的元素0到1,和元素之和等于1。

多线程的注意力由一些平行的正面(层)的关注不同的可训练的参数;每个头执行线性变换之前注意操作项目的三个输入到一个较低的维度( 25]。每个关注操作实现独立,然后通过连接每个头的输出结果。具体来说,多线程注意层的输入向量的三个序列:查询 问 ∈ R l 1 × d f 、关键 K ∈ R l 2 × d f ,和价值 V ∈ R l 2 × d f 。至于 我 th的头,一个关注asfollows执行函数: (3) 头 我 = 注意 问 W 问 我 , K W K 我 , V W V 我 , 在哪里 W 问 我 , W K 我 , W V 我 ∈ R d f × d p 用于项目三个输入到一个较低的子空间维度 d p 学会了在模型中,这是一个参数。然后,多线程的输出是由关注 (4) 多线程 问 , K , V = Concat 头 1 , 头 2 , … , 头 h W 0 , 在哪里 h 头和数量吗 W 0 ∈ R h d p × d f 是一个权重矩阵( 14, 23]。多线程的结构如图的关注 5。

多线程的插图的注意。

注意多线程的优势是,它可以学习相关的信息在不同的子空间表示。然而,这个结构可能会失去一些全球信息。

 2.3.3。结合Self-Multi-Head关注残余思想

广为人知,但它不能提高网络的影响通过简单地增加网络的深度梯度差异。他等。 26]提出了残余网络引入了一个快捷方式来解决这个问题。此外,剩余连接全球特性避免了损失,确保原始信息的完整性( 15, 27]。该模型,结合多头注意力和剩余连接,给出了如下: (5) 阅读 f , x = X + f X , 在哪里 f X = 多线程 X , X , X 和 X 雷达反射率图像的特点,将提取的卷积操作方法。注意,这里我们采用多线程结构的关注与查询的相同序列,钥匙,和价值,命名为self-multi-head关注( 14]。通过这种方式,每个特征矩阵的行向量必须是一个与所有列向量点积,它允许网络捕捉雷达反射率图像的空间结构,使雷达反射率的相关性在不同的位置。的帮助下注意力机制的原则,我们希望强调学习的特性,为降水作出更大贡献权重矩阵在网络查询,从而达到更好的雷达反射率和降水之间的映射关系。

所以,基于该模型结合了多线程关注残余思想,更全面的功能融合全局和本地信息可以研究,在降水预测是至关重要的。

 2.3.4。提出了模型的体系结构

在本节中,我们将详细介绍我们的模型。我们的模型的目的是提取雷达图像的特点通过深层网络实现回归预测降水。为了捕捉雷达图像的重要特征,掌握云计算的时空特征层,我们设计了以下框架绘制在图 6灵感来自姚明和李( 11]。

MAR-CNN的结构。

可以看到从图 6,CNN1提取雷达图像的特点和CNN2负责收购深特性的非成象特性提取上述原始特征提取方法。最后,连接特性,提取两个渠道,发送到完全连接和输出层获取预测降水的输出。

输入图像CNN1上面是未来云计算时刻的雷达图像目标站点,分布在三个高地,其尺寸41 ∗ 41公里2。在CNN2,输入是一个非成象特性的维度是49×1。不同于工作的姚明和李娜( 11),我们引入多线程注意强调重点领域和渠道对应于降水。此外,为了避免不必要的全球信息关注层所造成的损失,我们在多线程中使用剩余连接框架的关注。

 2.4。性能评估

评估的性能预测方法,本文使用三个统计标准。这些标准总结了表的定义 2,在那里 X ^ 我 X ^ 是预测降水值 X 我 X 是实际的沉淀值,然后呢 Var 代表了方差。

评估标准的定义。

评估标准 公式
均方根误差 RMSE = ∑ 我 = 1 n X ^ 我 − X 我 2 / n
解释方差的分数 解释 _ 方差 X , X ^ = 1 − Var X − X ^ / Var X
3所示。结果与讨论

在本节中,提出的双通道MAR-CNN模型用于预测降水在下一个小时。评估算法的性能,我们使用增强的训练集和测试集的表 1模型训练和测试。基于TensorFlow我们实现了该模型。我们比较了双通道MAR-CNN与现有的算法,包括双通道脑回的注意力模型,双通道卷积模型,单通道CNN模型(基线模型),和传统的机器学习算法包括GBDT [ 28)和支持向量机( 12]。我们给这些模型在图的细节 7,参数设置如表所示 3。此外,所有Anaconda3软件中实现的算法在计算服务器上有一个NVIDIA泰坦1080 ti GPU。

结构图的流行模式降水预报。(一)MAR-CNN。(b)双通道卷积模型的关注。(c)双通道卷积模型。(d)单一的卷积模型。

短期降水预报模型参数设置。

参数名称 参数值
学习速率 0.001
最大迭代次数 50000年
数量的头 12
批训练集的大小 128年
3.1。由于MAR-CNN

有人指出我们模型的主要参数是正面的次数。为了评估该参数对性能的影响,我们做了一个实验,不同数量的正面的关注,结果如表所示 4。

多线程的正面的影响关注实验结果。

数量的头 6 8 9 10 12 13 14
RMSE (res)↓ 9.57 9.07 8.57 8.62 8.43 8.46 8.55
RMSE(残余)↓ 8.15 8.09 8.13 8.10 7.90 8.04 8.24
电动汽车(res)↑ 0.70 0.69 0.72 0.70 0.70 0.70 0.70
电动汽车(残余)↑ 0.75 0.764 0.765 0.76 0.77 0.75 0.74

从表可以看出 4头的数量多线程注意RMSE的指标有很大的影响。当正面的个数小于12,RMSE逐渐减少随着头的数量增加,它达到最好的结果当头像的数量是12。添加一个剩余连接多线程的注意之后,RMSE变化的趋势是相同的。至于电动车(更高的价值意味着更好,1是完美的)的价值,与剩余连接的情况下,没有剩余的连接,性能几乎没有波动。此外,值得注意的是,模型与剩余连接性能更好。因为网络达到最佳性能时头的数量是12,我们将这个参数设置为12以下实验。观察残余连接的影响,我们把损失曲线在训练过程图 8。

培训损失曲线。

正如我们从图可以观察到 8的变化,尽管头的数量,剩余连接始终使结果更好。此外,它使模型收敛比正常的多线程更快和更稳定的关注。

众所周知,在雷达反射率图像,不同的颜色代表不同的反射率值。一般来说,明亮的颜色代表了大的反射率值,如红色和红色,这表明相应的降水或在这个地区降水的概率更大。来验证我们的注意力模型是否真的抓住了这些更多潜在的降水区域图像,我们吸引了注意力热图,相比他们在图与原图像 9。

原始图像和相应的注意力热图。

在图 9,上面的六个图片是原始雷达图像分布在三个高度和6图片下面是相应的热图。热图,绿色区域的最大重量,紧随其后的是蓝色的。颜色越亮,重量越大应用到关注。我们可以发现绿色区域更大重量的热图对应的红色区域较大的反射率值的雷达图像。这一现象说明了我们的注意力机制可以突出雷达反射率图像准确的重要领域。此外,根据观察,我们发现热图更好匹配原始图像的高反射区。也就是说self-attention可以捕获的内部特征的输入序列认为云高度为2.5公里有一个更大的对降水的影响。显然,在降水预报,发现关键领域的能力是十分重要的。受益于self-attention提供的这种能力,我们的模型取得了不错的效果。

 3.2。与现有的模型相比

在对比实验中,我们使用相同的参数设置表中列出所有的模型 3。每个模型的输入包含原始雷达反射率图像信息和非成象的云的信息。我们报告的比较这些模型在表的结果 5。

不同算法的实验结果。

模型 RMSE 电动汽车
双通道MAR-CNN 7.90 0.77
双通道CNN与关注 9.46 0.70
双通道CNN 9.48 0.70
单通道CNN(基线) 10.29 0.63
GBDT 11.86 0.47
支持向量机 9.80 0.70

从表 5可以看出,所有比GBDT深度学习算法有更好的表现。然而,SVM比单通道CNN(基线)。双通道网络模型的准确性高于单一通道(基线模型),和双通道CNN与双通道CNN的关注。然而,促进预测并不是那么明显。显然,该模型有一个更令人兴奋的结果。为当地优势关键特征提取和全球信息保留,我们的双通道MAR-CNN模型取得了最好的降水预报的效果。

此外,为了分析模型的预测效果在不同降水的水平,我们比较模型的预测结果与真实观测根据降水水平。此外,我们计算其平均值,分别如表所示 6。

不同模型在不同降水预测平均水平。

模型 没有雨 小雨 中雨 大雨 暴雨 大的大雨 非凡的大雨
观察 0 1.13 3.47 10.14 26.87 44.03 58.97
双通道MAR-CNN 0.06 0.16 2.30 12.34 24.80 32.99 50.23
双通道CNN与关注 2.50 3.27 6.76 11.24 25.60 32.64 47.38
双通道CNN 0 0.01 0.97 9.23 24.21 28.03 49.21
单通道CNN(基线) 5.09 3.99 7.34 12.52 23.91 32.20 48.33
GBDT 7.55 8.24 11.09 12.63 21.53 25.47 27.31
支持向量机 4.06 2.95 6.15 11.38 22.48 30.01 46.45

观察从表 6没有雨的情况下,我们MAR-CNN和双通道CNN提供相对准确的预测结果。MAR-CNN和双通道的平均预测CNN小于0.1毫米/小时,这是符合实际的水平在气象学(没有雨< 0.1毫米/小时)。双通道CNN与注意力的结果与实际降水情况略有不同。小雨的情况下,MAR-CNN的平均预测值接近观测值的平均值,并预测降水水平按照实际水平(小雨,0.1 - -1.5毫米/小时)。忽视了预测值的偏差暂时,我们发现这些模型预测的降水水平只偏离真实情况的一个年级,GBDT除外。的情况下中雨,MAR-CNN最小预测误差,MAR-CNN的预测水平,双通道CNN与关注,支持向量机与实际水平(中雨,1.6 - -6.9毫米/小时)。大雨和暴雨的情况下,使我们感到惊奇的是,所有模型的预测平均值之间的误差包括GBDT和观测值是可以接受的,和预测降水量也一样实际水平(大雨,7.0 - -14.9毫米/小时;暴雨,15.0 - -39.9毫米/小时)。此外,对大雨和暴雨,双通道CNN和MAR-CNN取得最好的预测结果,分别。大的情况下大雨和非凡的大雨,尽管提出的模型我们没有明显的优势预测平均值,预测水平非常接近实际的水平。 Especially for the extraordinary heavy rain, predicted precipitation level computed by MAR-CNN’s equals to the actual observation (big heavy rain, 40.0–49.9 mm/h; extraordinary heavy rain, ≥50.0 mm/h), which has an important guiding significance for the accurate release of disaster warning.

根据上面的分析中,一般来说,我们的MAR-CNN达到准确的降水预报时符合实际观测降水水平低于暴雨级别。随着降水水平继续提高,预测降水由MAR-CNN不匹配实际情况很好,但它仍然是最好的与其他方法相比。这些分析说明剩余连接在MAR-CNN多线程关注我们设计可以突出重点领域的雷达反射率图像,同时保留图像的全局信息,因此该模型取得了最好的预测效果。

接下来,我们为每个降水水平绘制模型的误差曲线如图 10。

每个模型的误差曲线在不同降水水平(我第七∼匹配表中提到的降水水平 1非凡的大雨,从没有雨)。

从图可以看出 10,随着降水水平的增加,所有模型的误差变大。然而,所有的深度上优于模型比传统方法GBDT表现更好,这说明了深度学习模型可以更好地捕捉雷达反射率图像的重要特征。双通道CNN的注意,双通道CNN,单通道CNN(基线)和支持向量机,尽管它们的影响是显著提高与GBDT相比,该方法具有最好的性能几乎各级。因为剩余连接减少全球信息的损失引起的关注,我们的模型MAR-CNN不仅强调了信息影响降水的形象还保留了全球信息的雷达反射率图像比原始的注意。预测结果通过MAR-CNN在所有级别的降水更健壮。

 4所示。结论

提出了一种双通道多线程注意力模型结合基于深度学习剩余的连接。广泛的实验验证,通过添加多线程CNN,模型可以提取本地雷达反射率图像精确的空间特性。同时,引入的残余连接可以保留全球信息基础上的关注。结果表明,全球和地方特色都是降水预测具有重要意义。此外,第二通道提出了双通道网络可以有效地提取信息的移动速度、大小等的云。与其他算法相比,该模型具有更好的预测性能。此外,在实验中,模型的训练收敛快速和稳定。结果,提出了双通道MAR-CNN模型提供了一个新的有效的降水预报的时空特征提取方案。

 数据可用性

在我们的研究中,发布的数据CIKM AnalytiCup 2017的链接 https://tianchi.aliyun.com/dataset/?spm=5176.12281905.0.0.358b5699fDHRjX。

 信息披露

清颜,阜新市霁是第一作者。

 的利益冲突

作者宣称没有利益冲突有关的出版。

 作者的贡献

清颜,阜新市霁的贡献同样。

 确认

这项工作是由美国国家科学基金会支持中国。61602002)和安徽省自然科学基金(批准号1808085 mf209)。

 史 X。 高 Z。 伦纳德 l 深度学习降水预测:基准和一个新的模型 学报》31日会议上的神经信息处理系统(少量) 2017年 美国加利福尼亚州长滩 太阳 J。 雪 M。 威尔逊 j·W。 使用数值天气预报短时预测对流降水:最新进展和挑战 美国气象学会的公告 2014年 95年 3 409年 426年 10.1175 / bams - d - 11 - 00263.1 2 - s2.0 - 84900328164 吸引 w . C。 黄 w·K。 应用光流技术降雨短时预测 美国27日会议在当地严重的风暴 2014年11月 麦迪逊,美国WI 刘 Z。 他 Q。 罗 J。 改进的空间角复合affine-model-based光流的运动估计 IEEE超声学铁电体和频率控制 2019年 66年 4 701年 716年 10.1109 / tuffc.2019.2895374 2 - s2.0 - 85060948226 郭 H。 陈 M。 高对流高分辨率接近预测实验基于深度学习 气象学杂志 2019年 陈 M。 余 X。 发展和对流天气短时预测技术的研究进展 应用气象学杂志 2004年 6 115年 127年 维斯曼 m . L。 戴维斯 C。 王 W。 曼宁 k W。 Klemp j·B。 经历0-36-h显式对流与WRF-ARW模型预测 天气和预测 2010年 23 3 407年 437年 10.1175/2007 waf2007005.1 2 - s2.0 - 48649108162 陈 D。 雪 J。 运营模式的现状和前景的数值天气预报 气象学杂志 2004年 5 112年 122年 史 X。 陈 Z。 王 H。 卷积LSTM网络:机器学习的方法对降水预报 先进的神经信息处理系统 2015年 28 Hochreiter 年代。 Schmidhuber J。 长时间的短期记忆 神经计算 1997年 9 8 1735年 1780年 10.1162 / neco.1997.9.8.1735 2 - s2.0 - 0031573117 姚 Y。 李 Z。 短期降水预报基于雷达反射率图像 《CIKM AnalytiCup 2017年11月 新加坡 胫骨 t·H。 Manavalan B。 李 G。 PVP-SVM:噬菌体病毒蛋白质的序列预测使用支持向量机 微生物学前沿 2018年 9 476年 10.3389 / fmicb.2018.00476 2 - s2.0 - 85043993226 首歌 C。 黄 Y。 欧阳 W。 王 l 人鉴定Mask-guided对比注意力模型 学报2018年IEEE / CVF计算机视觉与模式识别会议 2018年6月 美国犹他盐湖城 1179年 1188年 10.1109 / cvpr.2018.00129 2 - s2.0 - 85061297974 Vaswani 一个。 Shazeer N。 Parmar N。 关注你所需要的 2017年 https://arxiv.org/abs/1706.03762 Stollenga M。 Masci J。 戈麦斯 F。 通过反馈网络与内部选择性注意关系的深度 先进的神经信息处理系统 2014年 27 楚 X。 杨 W。 欧阳 W。 Multi-context关注人体姿态估计 《IEEE计算机视觉与模式识别会议(CVPR) 2017年7月 美国檀香山,嗨 10.1109 / cvpr.2017.601 2 - s2.0 - 85041914547 王 X。 Girshick R。 古普塔 一个。 非本地神经网络 《IEEE计算机视觉与模式识别会议(CVPR) 2018年6月 美国犹他盐湖城 7794年 7803年 莫滕森 e . N。 邓 H。 与全球环境筛选描述符 2005年IEEE计算机学会学报计算机视觉与模式识别会议(CVPR ' 05) 2005年6月 圣地亚哥,加州,美国 10.1109 / cvpr.2005.45 2 - s2.0 - 24644474647 乔拉 n V。 鲍耶 k W。 大厅 l . O。 Kegelmeyer w·P。 杀:合成少数over-sampling技术 人工智能研究杂志》上 2011年 16 1 321年 357年 勒存 Y。 Bottou y L。 Haffner P。 Gradient-based学习应用于文档识别 IEEE学报》 1998年 86年 11 2278年 2324年 10.1109/5.726791 2 - s2.0 - 0032203257 帕瑞克豪 一个。 Tackstrom O。 达斯 D。 自然语言的可分解的注意模型推理 学报2016年大会在自然语言处理的经验方法 2016年11月 美国奥斯汀,得克萨斯州 10.18653 / v1 / d16 - 1244 保卢斯 R。 熊 C。 Socher R。 增强模型的抽象总结 2017年 https://arxiv.org/abs/1705.04304 劳 d·G。 独特的形象特征尺度不变的要点 国际计算机视觉杂志》上 2004年 60 2 91年 110年 10.1023 / b: visi.0000029664.99615.94 2 - s2.0 - 3042535216 郑 H。 傅 J。 道 M。 学习multi-attention卷积神经网络对细粒度图像识别 《IEEE计算机视觉国际会议 2017年10月 意大利的威尼斯 10.1109 / iccv.2017.557 2 - s2.0 - 85031023277 蒋介石 t·R。 黄 c·W。 苏 s Y。 陈 Y.-N。 学习多层次对话反应选择的信息高速公路的变压器 2019年 101073年 10.1016 / j.csl.2020.101073 他 K。 张 X。 任 年代。 深层残留图像识别的学习 学报2016年IEEE计算机视觉与模式识别会议(CVPR) 2016年6月 美国内华达州拉斯维加斯 770年 778年 10.1109 / cvpr.2016.90 2 - s2.0 - 84986274465 王 F。 江 M。 钱 C。 剩余的关注网络图像分类 学报2017年IEEE计算机视觉与模式识别会议(CVPR) 2017年7月 美国檀香山,嗨 3156年 3164年 10.1109 / cvpr.2017.683 2 - s2.0 - 85044522649 图兰 O。 Sachdeva 一个。 普尔 r . J。 层流自然对流的幂律流体在一个方形不同胎侧加热受到恒壁热流 非牛顿流体力学杂志》上 2012年 166年 17 - 18 1049年 1063年 10.1115/1.4007123 2 - s2.0 - 84867496521