文摘
准确、高分辨率的气象雷达图像反映了雷达回波的详细结构信息是至关重要的极端天气的分析和预测。通常情况下,这是由使用插值方案,只使用几个相邻的数据值计算近似的估计价值无论天气雷达图像的大规模上下文特征。灵感来自于引人注目的卷积神经网络(CNN)的性能应用于特征提取和非局部自相似性的天气雷达图像,我们提出了一个外地残余网络(NLRN)的基础上。提出网络主要由几个外地剩余块(NLRB),结合短跳过连接(SSC)和非局部操作培训网络和捕获大规模上下文信息。此外,长跳过连接(LSC)添加到网络避免了学习低频信息,使得网络专注于高级特性。×2×4超分辨率重建的广泛实验证明NLRN达到更高的性能方面的定量评价指标和视觉质量,尤其是对边的重建和天气雷达回波的详细信息。
1。介绍
多普勒天气雷达与时间和空间分辨率高如,中国新一代天气雷达(新一代)提供了测量时间(约高。)和空间(约6分钟。1×1公里)决议,已广泛应用于运筹学和中等规模的预测和强烈的降水天气现象。
然而,单一气象雷达是容易梁阻塞,地面杂波和降低分辨率在长距离由于波束展宽和平均。如图1、波束宽度随探测距离导致信息丢失等突然变化在雷达回波速度变化在龙卷风中气旋,以及极端降水强度和梯度信息,当检测目标出现在距离观察雷达(1,2]。因此,值得改善天气雷达数据的分辨率观测设备升级和后处理等观测数据插值或超限分辨重建。由于周期长、成本高的第一方案,许多学者进行了大量的研究在第二个方案。
的插值方法,Ruzanski和Chandrasekar [3]提出了一种基于傅里叶插值方法,该方法有效地提高了空间和时间分辨率的气象雷达通过添加windows屏幕的有效输入数据被替换。Sharifi et al。4)提出了一种基于样条插值的降尺度方法来解决这个问题太粗时空分辨率的卫星降水估计应用于小范围,有效地提高了降水的分辨率数据产品而准确地获取详细的降水模式和信息。考虑到非高斯和当地天气雷达反射率数据的相干结构在小波域中,口等。5)提出了一个插值法来提高雷达反射率数据的分辨率,这有效地使用隐马尔可夫树(HMT)模型作为优先级信息以及捕捉雷达反射率数据的多尺度统计特征在小规模的强烈的降水条件。
灵感来自于天气雷达降水稀疏图像在小波域,基于字典的稀疏正则化方法已经应用于统计比例,将粗观测数据转化为更精确(6,7]。基于稀疏正则化,Zhang et al。8)进一步提出了非局部自相似性稀疏表示(NSSR)模型,有效地使用非局部自相似性的天气雷达回波重建过程中。同样,在研究文章,元等。9)提出了天气雷达回波自适应正则化稀疏表示的超分辨率重建。根据字典学习,徐et al。10)提出了一个低档次的方法来获取更精致的短期降水数据。
深度学习的快速进展,大气研究社区已经利用卷积神经网络(CNN)的能力(11),如超分辨率的应用相关统计降尺度的气候数据。汪达尔人et al。12]首先应用CNN downscalling气候数据的准确性和提高降水数据从1°(100公里)到1/8°(12.5公里)的叠加CNN-based超分辨率模型。程等。13)创新综合剩余密度块(RDB) (14)与拉普拉斯算子金字塔超分辨率网络(LapSRN) [15]利用分层特性从卷积层和生成一个更精致的气候比汪达尔人的形象的方法。角膜和哈丁16)结合经典的“实现”(17与“密集网络”[]18深),提出了一种新的卷积神经网络学习大规模降水天气雷达图像的特征。重建的天气雷达图像优于传统的插值方法方面的客观评价指标和视觉质量。斯坦格尔et al。19)也用敌对的学习大大提高风能和太阳能的分辨率数据,显示了显著的性能生成对抗网络(GAN)降尺度气候数据。
然而,有一个问题存在于大多数CNN-based超分辨率模型。这些网络使用本地卷积运算来提取特征,结果在一个相对较小的接受域网络的大小和无法捕获天气雷达图像的大规模的上下文信息,例如小规模组织内降水的递归特性和不同风暴环境。
为了解决这个问题,我们提出了一个外地残余网络(NLRN) CNN的基础上,增加网络的深度和效率利用天气雷达图像的大规模上下文信息通过应用残余学习和非局部操作。
这项工作的主要贡献如下:(我)根据非局部自相似性的天气雷达图像,本研究赋予网络的能力,让他们融合外地信息叠加外地残块(NLRB)。为了实现非局部操作,它嵌入外地块(活检)。(2)剩余的杰出表现学习激发了我们介绍长时间运行和短跳过连接在网络的整体结构和职责,分别。火车一个更深层次的网络,有效地促进了信息的流动和解决了梯度消失的问题。(3)本研究进行了大量的实验在不同天气条件下反射率数据。他们合理的天气雷达图像重建通过NLRN取得更好的定量结果和视觉质量,该方法比其他实验段中提到的老方法。
本文的其余部分收益如下:部分2简要介绍相关的背景。的框架和细节提出NLRN节中描述3。部分4礼物NLRN的实现细节。一些实验结果和讨论提出了验证的有效性提出NLRN节5。部分6对整篇文章进行总结。
2。背景
首先,本节给出了一个简洁的概述SR方法相关的文章。第二,我们讨论天气雷达图像的特点。最后,为了方便后续实验部分的理解读者没有背景的气象,我们给予简要介绍回声。
2.1。图像超分辨率方法
根据实现的方式,图像超分辨率方法可以分为三种类型:interpolation-based reconstruction-based,上优于图像超分辨率方法。
2.1.1。基于插值的方法
经典的插值方法的基本概念如最近的插值,双线性插值和双三次的插值20.]是近似丢失图像信息通过使用基函数或插值内核,它只利用了邻近的信息。这些方法常常导致模糊边缘和高频细节损失同时降低计算复杂度。
2.1.2。基于重建的方法
Reconstruction-base方法应用先验知识的图像作为超分辨率重建的过程中,约束条件,有效地解决了超分辨率重建的不适定问题。古典reconstruction-based方法迭代反射影(IBP) [21),最大后验估计(MAP) (22)等。
2.1.3。基于浅层学习的方法
在深度学习应用于图像超分辨率,最上优于方法的基础上,提出了稀疏表示等外地集中稀疏表示(NCSR) [23)和structure-modulated稀疏表示(SMSR) [24),主要包括学习和稀疏编码字典。
2.1.4。基于深度学习的方法
近年来,快速发展的深入学习,学习方法由卷积神经网络(cnn)迅速在计算机视觉领域,已被广泛应用于图像识别和分割(25- - - - - -29日]。深入学习方法基于CNN已经普遍应用到图像超分辨率(SR)字段自东等人首次提出将CNN和超分辨率重建(SRCNN) [30.]。董et al。31日)取代了更多、更小的卷积的大型卷积核层SRCNN和的基础上引入了反褶积层的网络模型的训练速度大大提高。受益于网络的深度和复杂性增加,超分辨率网络拥有越来越多的更好的性能。剩余的结构网络(ResNet) (32)已被广泛应用于有效地解决梯度消失和梯度爆炸深度网络所面临的问题。金提出的网络et al . (VDSR) [33]增加了卷积层到20层,应用全局跳过连接以及可调梯度裁剪策略来解决困难的深层网络的收敛的问题,实现引人注目的重建结果。一个增强的深超分辨率网络(EDSR) (34)进一步改善结果通过删除不必要的批处理标准化模块。哈里斯等人提出了一个深投影网络(DBPN) [35)利用迭代上下抽样层,有效地使用LR和人力资源的相互依存的图像。
2.2。天气雷达图像特征
统计数据显示,天气雷达图像包含很多冗余的信息。如图2,红框左边PPI(平面位置指示器)和黑盒的PPI显示给定的补丁和补丁,外地相似。许多类似的和冗余的结构可以观察到两个补丁(示例数据之间是第一层的反射率数据仰角CINRAD-SA雷达(11:48盐城、江苏、中国,6月23日,2016)。这些数据有360组成,每个径向范围有460箱。这个外地冗余信息提高的影响天气雷达图像重建的质量。正如上面所讨论的,受限于当地的接受域的大小,卷积操作缺陷在外地信息的融合,导致未能有效地捕获的长期依赖。因此,网络可以更好地融合的非局部信息天气雷达图像超分辨率重建性能。
2.3。钩回声
钩回波是研究雷达反射率签名,必须包括下行降水窗帘随着水文气象下跌相对于环境空气。如图所示图左边的部分3下降,降水发生在背面的上升气流,可被视为低级“扩展的有界弱回波区(bw)”(36]。一般认为,降水与下降的中气旋风暴,所以它降落在一个弧37]。正确的图的一部分3显示的雷达反射率签名钩的回声。一个共同的信念是钩与龙卷风的地方可能发生在由超级单体雷暴38,39]。因此,捕捉尽可能多的详细信息关于龙卷风的钩回波可以帮助检测和预警预测。
3所示。网络结构
NLRN的体系结构如图4(一),它由四个部分组成:浅特征提取,特征提取,upsampling和重建层。和表示NLRN的输入和输出。第一部分提取浅特性从输入LR的形象 。 在哪里表示两个卷积操作,其次是一个激活函数。有效地解决消失ReLU梯度和死亡问题,我们选择漏水的解决线性单元(LReLU)激活函数。浅的特性然后作为非线性映射网络的输入,由一部分吗外地残块(nlrb)学习映射关系充分表征能力。NLRB的结构将稍后详细。我们制定的深层特征提取过程如下: 在哪里代表的操作NLRB,和表示的输入和输出NLRB分别。让网络更关注高频信息,我们避免学习低频信息通过添加长跳过连接(LSC),这也有效地融合浅和深的特点。表达的过程如下: 在哪里代表一个卷积操作和作为高档的输入模块。与前面的工作(34],我们应用ESPCNN [40)高档的深层特征,然后使用最后一个卷积与三层过滤提供最终的重建图像。的输出NLRN可以获得的 在哪里和分别表示upsampling和卷积操作。表示我们NLRN的函数。
(一)
(b)
3.1。外地残块
限制当地接受域大小,大多数CNN-based SR方法的缺陷非局部信息的融合,导致低效利用图像的自相似性的属性。灵感来自经典的非局部方法(41王),et al。42]提出了一种非局部块(活检)融合图像的非局部信息通过使用外地补丁的自相似的图像,在图像识别获得可喜的成果。回到超分辨率重建的任务,为了充分利用输入信息通过网络,我们提出一个外地残块(NLRB)。如图4 (b),NLRB的第一部分是三个旋转3×3的大小,每一个都是LReLU紧随其后。NLRB的输入和输出的活检结合残留学习通过短跳过连接(SSC),也有效地解决了梯度消失问题面临的深层网络和促进信息的流通。
3.2。非局部块
现在,我们现在NLB的详细信息。外地操作可以将当前位置的反应转化为所有位置特性的加权和输入特性映射,所以非局部均值可以融合图像的非局部信息通过使用本地块的自相似图像。外地的一般化公式在神经网络被定义为操作 在哪里目标的位置索引输出 , 是所有可能的位置的索引操作。是输入特性映射;是输出特性映射,然后呢和有相同的大小。 代表了标量位置之间的关系和 。一元函数表示特性的特征值映射在位置索引 。灵感来自外地意味着和双边过滤器,我们使用嵌入式高斯函数来计算相似度。 在哪里 , , 和表示权重矩阵。这可以从给定的事实 , 就将SoftMax沿尺寸计算 。所以,我们有 。为简单起见,我们考虑一个线性嵌入 ,和表示权重矩阵。我们进一步将外地操作转换为一个外地块(活检)。NLB的定义如下: 在哪里已经给出了方程(5),代表一个剩余连接,允许我们在任何pretraining模型嵌入一个新的NLB不改变原来的结构。然后,输出在这个职位(活检)计算如下: 在哪里表示权重矩阵和初始化为0。活检是图中所示的结构5。
3.3。损失函数
当训练NLRN,获得最优的网络参数集通过最小化训练样本之间的损失。NLRN展示的效果,我们选择损失函数为我们的网络优化提供更好的融合(40]。现在,一批N训练图像 ,目标是最小化损失函数为 在哪里表示参数学习的网络。亚当算法应用于优化损失函数。
4所示。实现细节
数据集的实现细节,降解过程,训练细节,本节介绍和评价指标。
4.1。数据集
我们使用从中国新一代天气雷达反射率数据作为一个数据集(CINRAD-SA)。每一层的高度,有360组成,460箱每个径向反射率数据范围,1公里的距离分辨率。让NLRN学习大规模降水特征和小规模的极端天气特征,我们使用华南广东降水实验数据在5月- 6月,2016年,江苏盐城的龙卷风和冰雹资料5月27日,2008年,江苏盐城的龙卷风数据6月23日,2016年,江苏南通7月06年,2016年,江苏徐州2018年8月的台风数据。高分辨率的总数(人力资源)数据集大小为512×512是1800,其中1600用于图像训练,20个图像进行验证和180张图片进行测试。我们主要研究超分辨率重建NLRN×2×4条件下的性能,所以低分辨率(LR)图像大小为256×256、128×128得到作为输入的NLRN降解方法应用到人力资源图像。
4.2。降解过程
天气雷达图像退化过程包括三个过程:模糊,将采样和系统噪音。降解过程可以由方程如下: 在哪里代表了退化操作(例如,模糊内核和将采样操作),和表示天气雷达接收机噪声,它服从零均值高斯分布。
4.3。参数设置
培训期间,公共数据增强方法也用于培训,如随机水平旋转90°,180°和270°。每批培训,16 LR补丁的大小20×20是随机提取作为输入。卷积内核出现在网络都是64年3×3的规模和数量的过滤器。探索最合适的数量 ,我们已经计算在不同天气条件下的平均PSNR(如大型天气系统,小的天气系统,和万里无云的)与不同的参数G。如图6,当 ,PSNR值的增长变得缓慢甚至下降。对于平衡性能和计算复杂度,我们设置的数量为4。漏水的纠正负斜率的线性单元(LReLUs)是0.1。亚当算法与 采用优化网络。最初的学习速率并为每200时期减少了一半。训练一个NLRN PyTorch(1.01)框架大致需要两天有两个特斯拉P40 gpu 500时代。
4.4。评价指标
为了测试的有效性提出NLRN,我们比较NLRN与几个老方法,包括双三次的,IBP, NCSR VDSR, EDSR。双三次的是一个经典的插值方法。IBP是经典的基于渐进迭代重建方法。NCSR是传统的基于稀疏字典学习方法学习。VDSR和EDSR CNN-based深度学习的方法。Peak-signal-to-noise比率(PSNR) (dB)和结构相似度(SSIM) (43老用于定量评估方法。
5。实验结果和分析
在本节中,我们比较NLRN老与其他方法的训练过程中,视觉质量,定量结果。
5.1。培训比较
进一步比较时的收敛性和精度训练VDSR EDSR NLRN,培训损失三个网络绘制在图的曲线7(一)。从图7(一),可以看出,在100时代,损失函数损失减少迭代增加缓慢,最终稳定在6.0和7.0之间,表明网络聚集在训练数据集。可以看出NLRN具有更快的收敛性和精度比VDSR EDSR当训练。图7 (b)代表了一些老方法的验证PSNR值在培训上面提到的。可以看出NLRN表现出相当大的优势传统的方法(双三次的后备,NCSR)和CNN-based方法(EDSR和VDSR)。
(一)
(b)
5.2。视觉质量比较
为了测试NLRN大规模天气系统下的性能,我们选择台风降水和反射率数据作为测试数据。对于天气雷达反射率数据,强烈的降水对流细胞通常是嵌入在一个较低的强度,这显示了高聚合和稀疏的相关性。图8显示了一些视觉的结果强烈的降水条件下不同的SR方法(11:48河源市,广东,中国,6月15日,2016)。基于深度学习的输出是客观优于传统的方法。的方法是无法恢复所有的非常精细的降水结构时丢失原来的天气雷达图像退化。然而,深度学习方法保存更多的精细结构,尤其是擅长保持锐利的边缘与更大的功能。VDSR和EDSR相比,NLRN有效地利用雷达降水的自相似图像通过外地操作,这是非常有用的强对流降水回波的识别和监测重构高频细节容易变化的地图,使回波结构更加精炼和突出强烈的回波的位置。如图9,NLRN也达到最好的主观台风条件下输出
(09:30,徐州,江苏,中国8月18日,2018年),重建更强烈的回波信息。来测试下NLRN小规模的天气系统的性能,我们选择龙卷风数据(14:08盐城、江苏、中国,6月23日,2016)作为测试数据。从图10可以看出,尽管传统的方法和深度学习方法可以重建的大部分钩回声细节信息,钩子NLRN接近原始回波重建的钩呼应,这有助于预测分析小型和中等规模的极端天气,及时预测和预警条件(09:30徐州,江苏,中国,8月18日,2018年),重建更强烈的回波信息。
5.3。定量结果比较
VDSR平均PSNR (dB)比较,EDSR, NLRN是列在表中1。从结果可以看到,EDSR和NLRN都可以实现PSNR值超过0.2 dB高于VDSR,这表明EDSR和NLRN SSC相比有更好的性能在特征融合与VDSR只用LSC。此外,NLRN达到更好的性能在利用大规模上下文信息通过添加非局部操作,导致NLRN的PSNR获得EDSR 0.07 dB。进一步验证NLRN的有效性,我们比较与各种SR方法提出NLRN退化的天气雷达图像在不同天气条件下(如大型和小型天气系统,和万里无云的)。所有的结果和重建表所示2,从中我们可以看到,本文中的NLRN提出可以得到最高的PSNR和SSIM值与其他SR方法相比。特别是在小规模的天气系统下,NLRN的PSNR获得双三次的2 dB下重建。
6。结论
在本文中,我们提出了一个外地残余网络(NLRN)天气雷达图像超分辨率,在外地剩余块(NLRB)允许NLRN集成外地依赖关系和结构信息(例如,本地和外地的降水回波的相关性)插入外地块(活检)网络。广泛的实验在不同天气条件下显示的有效性我们NLRN定量和可视化的结果。虽然NLRN不能重建相同的回声几何,它可以恢复更准确的回声边缘和细节比其他SR方法中列出的实验部分,突出结构,位置,和发展强烈的回声,导致细检测和预测的小型和中型的强烈对流过程。值得注意的是,天气雷达图像的深度上优于超分辨率不仅依赖于一个优秀的模型结构,还对数据集的完备性和多样性,这NLRN和训练数据集需要进一步优化,以满足需求的增加严重对流天气的监测和预报。
数据可用性
在当前的研究中使用的数据集是可从相应的作者以合理的要求。
的利益冲突
作者宣称没有利益冲突。
确认
作者欣然承认CMA的大气探测重点实验室提供实验数据。这项工作得到了中国国家重点研发项目(2018 yfc01506100),中国国家自然科学基金(U20B2061)和四川省科技(2020 zyd051)。