卷积残余注意：对于降水临近预报的深层学习方法

摘要

基于雷达反射率图像的局部短期降水预报已成为气象领域的热点问题，对人们的日常生活有着重要的影响。近年来，深度学习技术被应用到该领域，与传统方法相比，其效果得到了显著提升。但是，现有的基于深度学习的方法没有考虑不同区域、不同渠道对降水的影响不同的问题。在本文中，我们建议将多头关注纳入双通道神经网络，以突出降水预报的关键区域。此外，为了解决注意力机制导致的全局信息过度丢失的问题，在模型中引入了剩余连接。定量和定性结果表明，该方法在雷达回波数据集上达到了目前的降水预报精度。

1.介绍

一般来说，降水预报是指根据雷达回波图、雨量计或其他观测资料，对局部地区的降雨强度作出尽可能准确的短期(例如0-2小时)预报[1]。精确的天气预报对人类的户外活动、交通状况、极端天气的预警等都非常有用。由于大气和相关动力过程的固有复杂性，降水预报问题具有很大的挑战性，成为气象学和机器学习界的研究热点[2]。

主要有两类降水预测的传统方法。一个是通过光流法表示的回波外推技术[3-五]，如图所示1。这种方法估计的雷达回波图对流云团的运动，并预测由半拉格朗日平流方案未来的雷达回波图。然而，该方法更适合于与较大规模和长寿命周期跟踪和预测回声目标。当回声恰好拆分或合并，预测的准确度会迅速降低。另一种方法是基于数字天气预测[6]。根据气氛和一些初始和边界条件的情况下，该方法解决了流体力学和热力学其中描述了基于数值计算天气演变过程的方程。然后，将来大气运动和天气现象是根据计算结果进行预测。然而，该方法是由转时间限制;由尺度数值模式的头两个小时沉淀预测是无效的，特别是在临近预报的应用，其具有低精度，并且需要复杂的物理方程计算。其结果是，它难以满足的准确和实时的需要，在精细预报[7，8]。

随着深学习方法的发展，已取得一些进展的降水预报领域取得。Shi等[9]所提出的卷积LSTM（ConvLSTM）来构建用于沉淀预测问题，从而有效地捕获时空相关性的端至端可训练模型和一致地优于完全连接龙短期存储器（FC-LSTM）10]。然而，基于convlstm模型中的卷积递归结构是位置不变的，而云的自然运动和变换(如旋转)一般是位置可变的。Shi等[1]进一步改进了方法，构建了轨迹ygru (TrajGRU)模型，该模型可以主动学习递归连接的位置变结构。上述两种方法的性能都优于传统的光流方法，但所提出的模型较为复杂，需要大量的数据进行训练。Yao等人[11]提出解决这一问题的新方法。沉淀预测是根据泰勒冷冻假说（如果在大气中造成湍流的信号脉动大于由对流的空间变化少得多，云簇趋向于在局部平均在空间移视为空间序列预测问题对流速度，在很短的时间，则在形状或反射强度没有急剧变化并且在所述流场显著时空相关。）[11，12这在气象学和流体动力学中被广泛应用。利用尺度不变特征变换(SIFT)关键点检测方法对目标区域的雷达回波图进行拼接，得到目标区域的未来雷达回波图。然后将雷达回波图输入卷积神经网络，得到预测结果。与以往的研究相比，该方法将机器学习与深度学习相结合，极大地简化了复杂的时空预测问题。但仍有许多不足之处有待解决。众所周知，不同高度云中的降水粒子密度分布和尺度不同，因此不同高度云(1.5 km、2.5 km、3.5 km)对降水的影响不同。这是降水预报中必须考虑的一个重要因素，而以往的研究并没有给予足够的重视。

近年来，深度学习中的注意机制已显示出良好的效果，并在计算机视觉中得到了广泛的应用。它学习一个权重矩阵来强调主要特征，抑制不重要的特征[13]。Vaswani等人[14]提出了一种自多头注意，它可以捕获序列之间的连接，并解决长距离依赖。Stollenga等[15]提出了使用注意调整每个卷积滤波器的权重来实现图像分类深注意选择性网络。虽然注意机制可以专注于关键领域，一些全球性的信息可能会丢失。解决这一问题，楚等人。[16通过实现特性的全局表示，创建了基于堆叠沙漏网络的多上下文模型;Wang等[17]提出了一种用于视频分类的非局部块，该块通过引入残差链接来考虑图像中其他区域对目标的贡献。然而，注意机制在降水预报领域应用较少。

本文旨在降水预报，我们提出了一个双通道的深度学习模式，称为多头注意残留卷积神经网络（MAR-CNN）。MAR-CNN可以区分云层施加降水由多头关注更具冲击力的重要高度范围。同时，它集成了multhead关注剩余网络的想法，以减少全球的功能丧失。我们由深圳市气象局在中国发布的气象数据集进行了实验。结果证明，所提出的MAR-CNN优于传统的深度学习的方法，如卷积关注以及卷积多头关注。

本文的主要贡献总结如下:（1）通过引入多关注卷积神经网络，我们解决了发现降水关键特征的挑战，如降水强度较大的重要区域和不同高度的重要通道。（2）提出了将多头关注与剩余连接相结合，综合利用全局信息和局部信息来减少信息损失。据我们所知，这是首次尝试联合利用残差结构和多注意机制进行降水预报。

2.材料和方法

2.1。研究领域

Shenzhen is located in the southern part of the China between 22°27′∼22°52′N and 113°46′∼114°37′E, which has an area of 2020 km²（数字2)，属亚热带海洋性气候。年平均气温22.3℃，最高气温38.7℃，最低气温0.2℃。雨季为每年4月至9月，年降雨量1924.7毫米。

2.2。数据

本文使用的雷达回波数据集是深圳市气象局两年气象雷达强度数据集的一部分。数据集有10000组样本，每组样本包含60幅雷达反射图像，地面站采集相应的1小时降水，如图所示2。部分雷达反射图像如图所示3，分布在15个连续的时间跨度，间隔6分钟，4个不同的高度，间隔1公里，从0.5公里到3.5公里。每幅雷达反射率图像为101101像素对应101 101 km land surface area. Each pixel records the radar reflectivity factor. The radar reflectivity echo intensity reflects the scale and density of the precipitation particles inside the meteorological target to a certain extent, and thus the relationship between the reflectivity and the precipitation can be established.

首先，它要求以预测将来的目标部位进行精确预测沉淀上面的雷达图像。参看姚和Li [的数据处理方法11]，我们缝合原来的雷达图像获得通过模板匹配云的全球前景。

其次，以目标点为中心，从拼接后的图像中截取尺寸为41×41像素的子图像。每幅子图像对应三个1.5公里至3.5公里的高度通道。在这里，0.5公里的水道被废弃了，因为它太低了，而且噪音很大。因此，后续实验中使用的反射图像维数为41×41×3。将这些子图像送入网络，提取图像特征。最后，我们得到了8721个子图像。随机选取1000组作为测试集，其余7721组作为训练集。

最后，云的非图像特征，例如云的移动速度信息等，分别用相同的尺度不变特征的传统方法获得的变换（SIFT）描述符[18]其用于找到图像中的关键点。The size of nonimage features extracted from each subimage is 49 × 1. [11]。这些子图像和对应的非图像特征是网络的输入。

降水等级分类标准和数据集的数据分布情况见表1。这些标准在中国被广泛用作国家标准。

从表中可以看出1，原始样本的数据分布是不平衡的。在实际的预测，强降雨事件，如暴雨，大暴雨和特大的暴雨，应尽可能准确，我们可以预测，因为它们会导致社会更多的威胁。然而，相对于其他的天气条件下，强降雨的比例是非常低的。鉴于这种情况，为了降低数据的不平衡对网络训练的影响，我们通过SMOTE算法进行数据增强对暴雨，大暴雨，并训练集非凡的大雨[19]。同时，我们还扩展了小雨和无雨的数据。增强训练集的大小列于表中1。

2.3。方法

2.3.1。卷积神经网络

CNN最初是由LeCun等人提出的[20.]作为前馈神经网络。在图中所示的LeNet-5模型4是卷积神经网络中最典型的一种。它包括输入层(输入)、卷积层、池化层、全连接层和输出层(输出)。

CNN中卷积和pooling的本质类似于filter来提取数据特征。通过卷积和池化，将输入数据转化为数据间隐藏的拓扑结构特征。然后将这些特征合并到全连接层，在输出层完成分类或回归结果。

2.3.2。多头注意

注意力函数可以描述为将查询和一组键值对映射到输出，其中查询、键、值和输出都是向量。通常，键和值是相等的。针对我们的任务，key和value是CNN网络提取的雷达反射率图像的全部特征，query是网络需要学习的权值矩阵。输出是值的加权和，其中分配给每个值的权重由查询与相应键[的兼容函数计算。14]。

通过关注机制，该模型可以专注于重要信息的任务[14]。

最近的多头注意法[14，21，22已被证明在机器翻译和图像识别方面是成功的[23-25]。与单一的关注相比，多头注意执行注意机制几次在并行的方式。该查询，钥匙，和值记 ，和 。然后得到各值的权重 在哪里是 ，这会影响点积的大小。方程(2)是一个可用于归一化权重的激活函数，其中是一个 -维向量和表示元素之一。通过SOFTMAX，我们可以在正常化的矢量为0的元素为1，和所述元素的和为1。

的多头注意由若干并行的头具有不同组的可训练的参数中的关注（层）;每个头进行线性变换注意操作之前投射三个输入到较低维数25]。每个注意操作是独立执行的，然后将每个注意头的输出连接起来得到结果。具体来说，多线程注意层的输入是三个向量序列:查询 ，关键 ，和价值 。至于 -日头，注意功能进行asfollows： 在哪里被用于投影三个输入到一个子空间与低维 ，这是在模型中了解到的参数。然后，的多头注意的输出由产生 在哪里人头的数目是多少是权重矩阵[14，23]。多头注意力的结构如图所示五。

multihead attention的优点是可以在不同的表示子空间中学习相关信息。但是，这种结构可能会丢失一些全局信息。

2.3.3。结合自我多头注意残余思想

众所周知，由于梯度散度的存在，不能简单地通过增加网络的深度来增强网络的效果。他等人[26]提出了一个残差网络，引入了一个捷径来解决这个问题。另外，剩余连接避免了全局特征的丢失，保证了原始信息的完整性[15，27]。结合多头关注和剩余连接，提出的模型如下: 在哪里 和是雷达反射率图像的特征，我们的方法将通过卷积运算来提取。注意，这里我们采用了查询、键和值顺序相同的多线程注意结构，命名为self multihead attention [14]。通过这种方式，在特征矩阵中的每一行向量必须是点积与所有列向量，这允许网络来捕获雷达反射率图像的空间结构，使雷达反射率的不同位置处的相关性被获知。随着关注机制的原理的帮助下，我们希望强调的是通过学习网络权重矩阵查询作出更大的贡献，以沉淀的功能，从而达到雷达反射率和降水之间更好的映射关系。

因此，基于多头注意和剩余思想相结合的模型可以研究融合全球和局部信息的更全面的特征，这在降水预报中具有重要意义。

2.3.4。提出了模型的体系结构

在本节中，我们将详细介绍我们的模型。模型的目标是通过深度网络提取雷达图像特征，实现降水回归预测。为了捕获雷达图像的重要特征，掌握云层的时空特征，我们设计了下图所示的框架6受姚和李的启发[11]。

由图可见6，CNN1是提取雷达图像的深特征和CNN2负责从由上述原始特征量提取方法提取的非图像特性取得的深特征。最后，将连接在一起的功能，通过这两个通道中提取，被发送到完全连接和输出层，以获得沉淀的预测输出。

CNN1中的输入图像为目标站点上方未来云时刻的雷达图像，分布在三个高度上，大小为4141公里²。In CNN2, the input is a nonimage feature whose dimension is 49 × 1. Different from the work of Yao and Li [11]，我们介绍了多头注意强调对应降水的关键领域和渠道。此外，为了避免因注意力层不必要的全球信息的损失，我们把使用在我们的多头注意框架的残余连接部。

2.4。绩效考核

为了评估预测方法的性能，三个统计标准在本文中使用。这些标准的定义总结在表2,在那里为预测降水值，是实际沉淀值，代表方差。

3。结果与讨论

在本节中，我们使用拟建的双通道MAR-CNN模型来预测未来一小时的降水。为了评估算法的性能，我们使用了增强训练集和表中的测试集1对模型训练和测试。我们实现了基于TensorFlow提出的模型。我们比较建议的双通道MAR-CNN与现有的算法，包括双通道卷积注意模型，双通道卷积模型，单通道CNN模型（基准模型），和传统的机器学习算法，包括GBDT [28]和支持向量机[12]。我们在图中给出了这些模型的细节7，参数设置如表所示3。此外，所有的算法在Anaconda3软件实现一个NVIDIA TITAN 1080ti GPU计算一个服务器上。

3.1。MAR-CNN的结果

值得注意的是，我们提出的模型的主要参数是正面的数量。为了评价该参数对性能的影响，我们进行了不同人头数的实验，实验结果如表所示4。

从表中可以看出4多人头关注中的人头数对RMSE指标有很大的影响。当正面次数小于12时，RMSE随着正面次数的增加而逐渐减小，在正面次数为12时达到最佳结果。在multihead attention中添加一个剩余连接后，RMSE的变化趋势是相同的。对于电动汽车(值越大越好，1为完美)，在有剩余连接和没有剩余连接情况下，其性能波动较小。此外，值得注意的是，具有剩余连接的模型总体上表现更好。由于两个网络在正面次数为12时性能最好，因此在接下来的实验中我们将该参数设置为12。为了观察剩余连接的效果，我们将训练过程中的损失曲线绘制在图中8。

正如我们从图中看到的那样8，尽管头的数量发生了变化，但剩余连接始终导致结果更好。与常规的多头关注相比，该方法使模型收敛速度更快、更稳定。

众所周知的是，雷达反射图像中，不同的颜色代表不同的反射率值。一般情况下，明亮的颜色代表大的反射率的值，如红和猩红，这表明在此区域中的相应的沉淀或沉淀的概率就越大。为了验证我们的注意模型是否真的是在图像捕捉这些更多的潜在降水的地区，我们提请关注热图并将它们与图中的原始图像9。

在图9，上面六幅图像是分布在三个高度上的原始雷达图像，下面六幅图像是对应的热图。在热图中，绿色区域权重最大，其次是蓝色。也就是说，颜色越鲜艳，对注意力的重视程度就越大。我们可以发现热图中权重较大的绿色区域与雷达图像中反射率较大的红色区域对应良好。这说明我们的注意机制可以准确地突出雷达反射率图像中的重要区域。此外，通过观察发现，热图较好地匹配了原始图像中高反射率区域。也就是说，能够捕捉到输入序列内部特征的自注意认为高度为2.5 km的云对降水的影响更大。显然，在降水预报中，探测关键地区的能力是非常重要的。得益于这种自我关注的能力，我们的模型取得了很好的结果。

3.2。与现有车型相比，

在对比实验中，我们使用的所有型号相同的参数设置如表所列3。每个模型的输入包含原始雷达反射率图像信息和云的非图像信息。我们报告表这些模型的对比结果五。

从表五，可以看出，所有深度学习算法的性能都优于GBDT。但是SVM比单通道CNN (baseline)要好。双通道网络模型的准确率高于单通道(基线模型)，而有关注度的双通道CNN与双通道CNN具有可比性。然而，预测的推广并不是那么明显。显然，提出的模型有一个更令人兴奋的结果。由于在局部关键特征提取和全局信息保留方面的优势，我们的MAR-CNN双通道降水预报效果最好。

另外，以分析在不同的降水量模型的预测效果，我们比较了根据降水量级的地面实况观测模型的预测结果。此外，我们分别计算它们的平均值，如表6。

观察从表6，对于无雨情况，我们的MAR-CNN和双频道CNN给出了较为准确的预测结果。MAR-CNN和双通道CNN的平均预测小于0.1 mm/h，与气象学实际无雨<0.1 mm/h的水平一致。关注双频道CNN的结果与实际降水情况略有不同。对于小雨情况，MAR-CNN的平均预测值接近观测值的平均值，预测的降水水平与实际水平一致(小雨，0.1-1.5 mm/h)。暂不考虑预测值的偏差，除GBDT外，这些模型预测的降水量只与实际情况相差一级。对于中雨情况，MAR-CNN的预测误差最小，MAR-CNN、带注意的双通道CNN、SVM的预测水平都与实际中雨情况(1.6-6.9 mm/小时)相匹配。对于暴雨和暴雨情况，令我们惊讶的是，包括GBDT在内的所有模型的预报均值与观测值的误差都是可以接受的，预报的降水水平与实际水平也是一致的(暴雨，7.0-14.9 mm/h;暴雨,15.0 - -39.9毫米/小时)。另外，对于暴雨和暴雨，双频道CNN和MAR-CNN的预测效果最好。对于大暴雨和特大暴雨的情况，虽然我们提出的模型在预测平均值上没有明显的优势，但预测水平非常接近实际水平。 Especially for the extraordinary heavy rain, predicted precipitation level computed by MAR-CNN’s equals to the actual observation (big heavy rain, 40.0–49.9 mm/h; extraordinary heavy rain, ≥50.0 mm/h), which has an important guiding significance for the accurate release of disaster warning.

根据以上分析，在一般情况下，我们的MAR-CNN实现精确的降水预报这与实际观察一致时，降水量水平低于暴雨级别。由于降水水平不断提高，通过MAR-CNN给出的预测出的降雨不匹配的实际情况非常好，但它仍然是最好的与其他方法相比。这些分析说明，我们在MAR-CNN设计上多头关注的残余连接部可以突出雷达反射率图像中的关键领域，同时保持图像的全局信息，使模型达到最佳预测效果。

接下来，我们绘制的模型误差曲线图中的各级别降水10。

从图中可以看出10，随着降水水平的增加，各模型的误差均增大。但是，所有基于深度学习的模型都优于传统的GBDT方法，说明深度学习模型能够更好地捕捉到雷达反射率图像中的重要特征。对于注意的双通道CNN、双通道CNN、单通道CNN (Baseline)和SVM，虽然与GBDT相比效果有显著提高，但在几乎所有层面上，本文方法的性能都是最好的。由于剩余连接减少了注意力对全局信息的损失，我们的MAR-CNN模型不仅突出了图像中影响降水的信息，而且比原始注意力更好地保留了雷达反射率图像的全局信息。MAR-CNN对各级降水的预测结果更加稳健。

4.结论

本文提出了一种基于深度学习的双通道多头注意模型，并结合残差连接。大量实验证明，通过在CNN中加入multihead attention，模型可以准确提取雷达反射率图像的局部空间特征。同时，引入的剩余连接可以很好地保留基于注意力的全局信息。结果表明，全球和局部特征对降水预报都具有重要意义。此外，本文提出的双通道网络中的第二通道可以有效提取云的移动速度、规模等信息。与其他算法相比，该模型具有更好的预测性能。实验表明，该模型的训练收敛速度快、稳定。结果表明，本文提出的双通道MAR-CNN模型为降水预报时空特征提取提供了一种新的有效方案。

数据可用性

在我们的研究中，数据发表在CIKM AnalytiCup 2017 with the linkhttps://tianchi.aliyun.com/dataset/?spm=5176.12281905.0.0.358b5699fDHRjX。

信息披露

清彦、阜新冀是第一批作者。

的利益冲突

作者声明，本论文的发表不存在任何利益冲突。

作者的贡献

清彦和福辛吉对该论文的贡献相同。

致谢

这项工作是由中国国家自然科学基金（编号61602002）和安徽省自然科学基金（1808085MF209不授予）的支持。

参考文献

1. 十石，Z.高，L Leonard等人，“深度学习的降水预报：标杆和新模式”。在第31届神经信息处理系统大会会议录长滩，CA，USA，2017年。查看在：谷歌学术搜索
2. 孙俊杰、薛明德、威尔逊等，“利用NWP预报近景对流降水:近期进展与挑战”，美国气象学会通报，第95卷，no。3，第409-426页，2014。查看在：出版商的网站|谷歌学术搜索
3. 胡永昌及黄永光，“光流技术在雨量临近预报中的应用”，载于在第27次会议上严重的局部诉讼风暴2014年11月，美国威斯康星州麦迪逊市。查看在：谷歌学术搜索
4. Liu, Q. He, J. Luo，“基于仿射模型的光流空间角复合改进运动估计”，IEEE TRANSACTIONS ON超声波铁电体和频率控制卷。66，没有。4，第701-716，2019。查看在：出版商的网站|谷歌学术搜索
5. “基于深度学习的高对流高分辨率近距离预测实验”，郭宏华，陈明，气象学杂志,2019年。查看在：谷歌学术搜索
6. M. Chen和X.宇，“发展的强对流天气临近预报技术的研究进展”应用气象学报卷。6，第115-127，2004。查看在：谷歌学术搜索
7. M. L.韦斯曼，C.戴维斯，W.王，K. W.曼宁和J. B. Klemp，“经验与WRF的-ARW模型0-36小时显对流预测，”天气和预测第23卷，no。3，第407-437页，2010。查看在：出版商的网站|谷歌学术搜索
8. D. Chen和J.学“的数值天气预报运作模式的现状与展望”，气象学杂志没有。5，第112-122，2004。查看在：谷歌学术搜索
9. 石欣欣，陈振中，王宏华等，“卷积LSTM网络:一种降水预报的机器学习方法”，神经信息处理系统的进展， 2015年第28卷。查看在：谷歌学术搜索
10. S. Hochreiter和J.施米德休，“长短期记忆，”神经计算，第9卷，no。1997年，1735-1780页。查看在：出版商的网站|谷歌学术搜索
11. “基于雷达反射率图像的短时降水预报”，李志军，李志军，北京在CIKM AnalytiCup论文集2017年11月，新加坡。查看在：谷歌学术搜索
12. “ptp - svm:利用支持向量机对噬菌体病毒粒子蛋白质进行基于序列的预测”，陈志辉，李志辉，《基于序列的噬菌体病毒粒子蛋白质预测》。微生物学前沿，第9卷，第476页，2018年。查看在：出版商的网站|谷歌学术搜索
13. 宋志强、黄洋、欧阳、王良，“面具导向的人的再识别对比注意模型”，论著2018年IEEE/CVF计算机视觉和模式识别会议论文集，第1179-1188页，美国犹他州盐湖城，2018年6月。查看在：出版商的网站|谷歌学术搜索
14. A. Vaswani, N. Shazeer, N. Parmar等人，“注意力是你所需要的，”2017，https://arxiv.org/abs/1706.03762。查看在：谷歌学术搜索
15. M. Stollenga，J. Masci，F. Gomez等，“深网与内部选择性注意通过反馈连接，”神经信息处理系统的进展， 2014年第27卷。查看在：谷歌学术搜索
16. 十，楚，杨W.，W欧阳等人，以“为人类姿态估计的多情境的关注，”在IEEE计算机视觉与模式识别会议论文集檀香山，HI，USA，2017年7月。查看在：出版商的网站|谷歌学术搜索
17. 十王，R. Girshick，A古普塔等人，“非本地神经网络”，在IEEE计算机视觉与模式识别会议论文集， 7794-7803页，美国犹他州盐湖城，2018年6月。查看在：谷歌学术搜索
18. E. N. Mortensen和H. Deng，“具有全局上下文的SIFT描述符”，在2005年IEEE计算机学会计算机视觉与模式识别会议录(CVPR ' 05)2005年6月，美国加州圣地亚哥。查看在：出版商的网站|谷歌学术搜索
19. N. V.乔拉，K. W.鲍耶，L. O.厅和W. P. Kegelmeyer，“SMOTE：合成少数民族过采样技术，”杂志人工智能的研究卷。16，没有。1，第321-357，2011。查看在：谷歌学术搜索
20. Y. Lecun，Y L. Bottou和P.哈夫纳，“基于梯度的学习应用到文档识别，”IEEE会刊第86卷，no。11，第2278-2324页，1998。查看在：出版商的网站|谷歌学术搜索
21. A.帕瑞克，O.Täckström，D Das等人，“自然语言推理的可分解的注意模型，”在2016年自然语言处理实证方法会议论文集2016年11月，美国得克萨斯州奥斯汀市。查看在：出版商的网站|谷歌学术搜索
22. R.保卢斯，熊C.和R. Socher，“一个低沉的增强模型抽象概括，” 2017年，https://arxiv.org/abs/1705.04304。查看在：谷歌学术搜索
23. d·g·劳，“基于尺度不变关键点的图像特征”，国际计算机视觉杂志卷。60，没有。2，第91-110，2004年。查看在：出版商的网站|谷歌学术搜索
24. H.郑J.福，M.​​涛等人，“细粒度图像识别学习多关注卷积神经网络”，在IEEE计算机视觉国际会议论文集2017年10月，意大利威尼斯。查看在：出版商的网站|谷歌学术搜索
25. 蒋振荣、黄志伟、苏淑玉及余素宁。陈，“学习高速公路经常性变压器对话响应选择的多层次信息”，文章编号101073,2019。查看在：出版商的网站|谷歌学术搜索
26. K.他，十张，S仁等人，“深残留学习图像识别”，在2016年IEEE计算机视觉和模式识别会议论文集， 770-778页，拉斯维加斯，美国，2016年6月。查看在：出版商的网站|谷歌学术搜索
27. F.王，姜米，C谦等人，“残余关注网络图像分类，”在2017年IEEE计算机视觉和模式识别会议论文集2017年7月，美国檀香山，3156-3164页。查看在：出版商的网站|谷歌学术搜索
28. "幂律流体在受恒定壁面热流影响的侧壁加热差异的方形封闭体中的层流自然对流"，r.j.普尔等人著。非牛顿流体力学杂志卷。166，没有。17-18，第1049至63年，2012。查看在：出版商的网站|谷歌学术搜索

版权

版权所有©2020 Qing Yan等这是一篇开放获取下发布的文章知识共享署名许可，允许在任何媒体中不受限制地使用、发布和复制原创作品，只要原稿被正确引用。