文摘

高分辨率的气象卫星图像是天气预报的基本数据,气候预测,各种气象灾害的预警。然而,可怜的图像分辨率是有限的主观和自动分析。通过我们的调查研究,我们发现,气象卫星图像是一种复杂的数据和多通道多瞬时特征。幸运的是,基于zero-shot学习理论,气象卫星图像的复杂性可以被用来提高自己的图像分辨率。在这项工作中,我们提出一个新的框架称为MSLp(气象卫星损失阶段)。具体来说,我们选择一个zero-shot网络骨干和损失函数提出一个阶段。映射从低到高分辨率的气象卫星图像被训练为提高分辨率的因素4×。我们的定量研究演示了该方法的优越性在ZSSR和双立方插值。定性分析,视觉测试是由7个气象学家证实算法的效用。平均看来分数是9.32(满分10)。 These meteorologists think that weather forecasters need higher-resolution meteorological satellite images and the high-resolution images obtained by our method have the potential to be a great help for weather analysis and forecasting.

1。介绍

气象卫星图像可以客观地反映大气的信息结构,发生和发展的地球表面(1]。因此,一个高分辨率的气象卫星图像是一个重要的基本数据集所需的大气科学和气象行业。在天气预报中扮演着主要角色,气候预测,各种气象灾害的预警和防御。然而,由于气象卫星光学系统的限制,制造成本和技术水平,气象卫星图像的空间分辨率是不满意的应用程序(2),因为很难找到一个小规模的大气系统或监控状态和微尺度大气的变化(如空气污染来源和阴霾)在这些低分辨率图像。

信号图像超限分辨(SISR)是一个热门话题,伟大的成就在计算机视觉。它被定义为恢复高分辨率(人力资源)从低分辨率图像(LR)观察3]。这是一个高分辨率的气象卫星图像的新方法所需的大气科学研究。此外,它可以节省更新气象卫星的制造成本。然而,由于有多个解决方案对于任何LR输入,SISR是一个不适定问题。近年来,各种各样的深度学习(DL)方法提出了解决这样一个逆问题通过学习LR和人力资源图像对之间的映射(4),如SRCNN [5],VDSR [6],LapSRN [7],SRGAN [8],EDSR [9,10],RCAN [11]。然而,它并不工作通过使用这些当前的方法直接在气象卫星图像超限分辨的问题。的主要原因是缺乏许多气象卫星图像对。因此,气象卫星图像超限分辨比一般SISR更具挑战性。

灵感来自于最近zero-shot学习理论,一个无人管理的深度网络不需要训练数据是本文设计的。提出网络概述如图1。我们SISR方法可以实现与内部LR卫星图像的特点。此外,我们还提出一个损失函数基于相位一致性的原则。相位损失函数可以监视网络训练,使网络健壮等外部影响规模变化和复杂的退化过程。我们所知,这是第一次使用阶段SISR CNN培训。实验结果表明,指导我们一起阶段损失函数,神经网络气象卫星图像超限分辨可以实现更好的性能。本文的主要贡献如下:Zero-shot上优于超限分辨网络:我们提出一个基于Zero-shot学习超限分辨无人监督的气象卫星图像深层神经网络结构超限分辨任务。阶段损失函数:我们引入阶段损失这是一个损失函数专门为卫星图像优化的图像。它可以测量人力资源生成图像和地面之间的区别真理在频域。结合这一阶段与其他空间损失可以改善图像质量损失函数的像素值和纹理。


图1
系统概述。提出小CNN训练例子提取图像本身的内部测试。CNN学会恢复测试图像与估计我从低分辨率模糊内核。产生的无监督网络应用LR图像我预测它的人力资源。

在本文的其余部分中,我们审查的相关作品无人监督的深度网络和损失函数部分2。网络体系结构和阶段讨论了损失函数第三节。在第四节,两个定量和定性评价的结果。最后,第六部分总结本文。

2.1。无人监督的超限分辨

大多数现有的超限分辨作品监督学习,即。,学习使用匹配LR-HR LR-to-HR映射图像对。然而,由于很难收集同一场景的图像不同的决议和可用的人力资源图像甚至,SR模型对这些数据集训练更容易学习的反向版本预定义的过程。为了防止预定义的退化带来的不利影响,研究人员更加注重超限分辨的方法。现在,SISR模型可用于重建退化图像在现实世界中。接下来,我们将简要介绍一些现有的无监督SR模型基于深度学习。

考虑到CNN的结构足以捕捉大量的低级图像统计逆问题之前,乌里扬诺夫et al。12)使用一个随机初始化CNN老手工执行之前因为网络是随机初始化和从未训练数据集,只有前CNN结构本身。它显示了CNN架构本身的合理性,促使我们提高超限分辨深度学习方法与手工相结合先验如CNN结构或自相似性。无监督超限分辨的另一种方法是将LR空间和人力资源空间作为两个域,并使用一个cycle-in-cycle结构学习彼此之间的映射。出于CycleGAN [13)、元等。14)提出一个cycle-in-cycle SR网络(CinCGAN) 4发电机和2鉴别器组成。由于避免了预定义的退化,无监督CinCGAN不仅达到类似的性能监督方法还适用于各种情况下甚至在非常恶劣的条件。2018年,考虑到内部图像数据在一个图像能充分为超限分辨提供所需的信息,ZSSR [15)使用LR的儿子downsampled图像给定LR的测试图像。使用这个pseudopairs,他们训练小特定于映像SR网络测试时间而不是训练一个通用的模型在大外部数据集。具体地说,他们使用一个内核估计方法(16)直接估计退化内核从单个测试图像和使用这个内核构建一个小型数据集通过执行退化与不同尺度因素对测试图像。这时,一个小CNN超限分辨训练数据集,用于最终的预测。

在气象卫星图像处理的应用,实际图片往往是未知的退化,例如,加性噪声、压缩文物,和模糊等。我们不能得到准确的数学模型。气象卫星图像进行无监督超限分辨方法,一些高级战略架构,积极的功能,和损失函数也需要降低训练难度和不稳定。

2.2。ZSSR和损失函数

在我们的研究中,我们选择ZSSR为骨干。ZSSR使用深层神经网络架构superresolving只有基于内部图像的图像数据。其目的是预测测试图像的LR图像创建的测试图像。因此,它不需要一个训练图像作为输入。ZSSR有八个卷积层随后ReLU由64个频道和残留图像使用学习 的损失。除了好的架构ZSSR、健壮的学习策略也需要实现令人满意的结果。接下来,我们将讨论损失函数是一个有前途的方向的学习策略。

在研究早期, 和 通常是采用最广泛使用的损失函数对网络优化。但最近,它已经发现这些pixelwise损失函数不能考虑图像质量;他们往往缺乏高频细节和产生感知不满意结果过于光滑纹理(17- - - - - -19]。因此,各种各样的损失函数是用来更好地衡量重建误差。评价图像质量知觉的基础上,介绍了内容的损失(20.]。与像素损失,损失的内容鼓励输出图像感知一样的目标图像,而不是迫使它们完全匹配像素。具体地说,它的措施之间的语义差异图像使用pretrained图像分类网络。因此,它产生视觉上更明显的结果,是广泛用于SISR [21,22]。账户,重建的图像应该有相同的风格(如颜色、纹理和对比)作为目标图像,引入超限分辨纹理损失,根据风格表示动机(23,24]。采用纹理损失,SR模型可以创建逼真的纹理,产生视觉上更令人满意的结果。近年来,甘斯(25介绍了各种计算机视觉任务。混凝土,特别是在超限分辨,Ledig et al。20.)首先介绍基于叉SRGAN用对抗性的损失。事实上,鉴别器提取一些潜在模式真正的人力资源人力资源图像生成的图片,符合;这有助于产生更多现实的图像(26,27]。2017年,元et al。14)提出一个周期的一致性损失图像超限分辨。具体来说,出于CycleGAN cycle-in-cycle方法(13]superresolves LR形象人力资源图像通过约束图像进行像素级的一致性。为了抑制噪声生成图像,介绍了总变异(电视)损失由阿里et al。28]。它被定义为绝对的和邻近像素之间的差异和措施多少噪音的图像。除了上面的损失函数,外部的先验知识,提出了约束的生成过程27]。通过引入更多的先验知识,超限分辨的性能可以进一步提高。

一般来说,不同的损失函数可以测量的一种错误。在实际应用中,为了获得更好的超限分辨结果,不止一个损失函数的组合来计算错误。然而,从 外部损失损失之前,所有这些损失函数在空间域设计。无论如何让组合,它只是一个错误测量的空间特性。不同于这些方法,我们将讨论一个新阶段损失函数在频域中,可以减少人力资源生成图像和地面之间的相位差的真理。更多细节将所示第三节。

3所示。方法

考虑到气象卫星图像数据集训练不足超限分辨任务。我们提出一个基于zero-shot CNN网络学习理论,给一个新阶段损失监测这种无监督网络培训。下面,我们首先介绍提出的CNN结构3.1节。然后,我们讨论阶段损失函数设计方法3.2节。

3.1。提出了CNN架构

王的方法(29日),我们提出一种神经网络对气象卫星图像超限分辨。提出网络旨在估计SR气象卫星图像从其LR图像,合成的纹理,同时保留LR在内容上的一致性。提出的架构MSLp网络受文献[15)如图2。考虑到内部图像数据在一个气象卫星图像足以为超限分辨提供所需的信息,我们应对老无监督培训小特定于映像SR网络测试时间而不是训练一个通用模型在大外部数据集。提出的网络模型由8隐藏层,每个有64个频道激活ReLU除了最后一层。


图2
的架构MSLp超限分辨框架。在左边,一个低分辨率的图像其实际获得的图像与估计模糊内核是美联储网络产生超限分辨图像,然后传递给总损失函数结合空间和频率损失测量生成的图像和目标图像之间的区别。
3.2。损失函数

我们的目标是找到锋利的图像从一个低分辨率的气象卫星图像。退化的图像可以被描述为一个卷积的清晰图象子样品的内核。 在哪里 是已知的人力资源形象, 表示LR的形象, 子样品内核, 是卷积算子。这是一个高度不合适的问题,因为多个解决方案 和 会导致相同的吗 。在傅里叶域中,方程(1)对应于 ,在哪里 代表了特定组件的乘法和 傅里叶变换。一个复数的相位和振幅 是 和 ,分别。我们表示将一个复杂信号的相位 。傅里叶反变换 阶段的组件给phase-only形象,可作为制定

从之前的分析,我们知道阶段必将有助于SISR中恢复。因此,我们认为,为了充分利用空间和频域信息的优势,我们建议共同模型损失函数在空间域和频率域。然而,如何恢复真正的阶段在频域相关的事实,指出在30.),傅里叶分量的边缘往往是互相同步。在本文中,我们定义一个损失函数称为阶段损失来衡量超限分辨图像之间的差异产生的深度学习网络和真正的高分辨率图像。

我们的定义阶段的损失 对神经网络的性能至关重要。阶段损失计算 在哪里 是老的阶段损失图像, 是将采样因素, 和 图像的宽度和高度, 人力资源的图像, LR形象, 和 是phase-only图像由方程描述(2),分别。

在这篇文章中,除了阶段损失函数描述到目前为止,我们也使用空间损失,如像素损失MSLp网络和电视的损失。因此,我们工作的损失函数 在哪里 空间损失和吗 阶段的损失。 平衡系数不同的损失。在我们的实验中, 将被取代 和 组合。在我们的工作, 在空间域像素损失计算的吗 制定的总变差损失吗 和 全变差;表单 。

在我们的实验中,我们将讨论这一阶段的影响损失和其他空间损失函数在气象卫星图像超限分辨。此外,我们将机制研究的基础上提出网络进一步解释阶段损失效率,给最好的损失在空间和频域组合。

4所示。实验

4.1。数据准备

我们选择的一部分NSMC(国家卫星气象中心)数据集进行训练和测试。这个数据集提供了可见光和红外图像每一小时,和我们使用的部分由500张图片。在我们的实验中,我们首先使用一个内核估计方法(16)直接估计退化内核从单个测试图像和使用这个内核构建一个小型“训练集”通过执行退化与不同尺度因素对测试图像。因为上面的“训练集”只由一个实例(测试图像),我们使用数据增加测试图像提取更LR-HR例子对。的增加是通过缩小规模测试图像本身的许多较小的版本。这些人力资源扮演监督被称为“人力资源的父亲。“每个所需的人力资源父亲然后缩减规模的SR比例因子获得“LR儿子,“形成输入训练实例。由此产生的对训练集包括许多特定于映像的LR-HR的例子。我们的网络可以对这些对随机序列。

4.2。调查阶段的损失

几个空间损失类型调查指导MSLp网络收敛。L1-norm像素损失,电视损失和损失函数的损失是主要的组件阶段如前一节所描述的。我们的网络的总体损失函数

是人力资源目标图像之间的像素损失和SR图像在空间域描述方程(5)。 代表SR图像的梯度幅值求和,描述方程(6)。的变量 动态调节的影响像素损失总体损失。同样的, 控制噪声保持SR图像平滑。的变量 控制阶段损失评估的重要性的恢复高频信息是否正确。我们调查的影响损失选择MSLp网络。定量结果列在表中1。添加 空间损失可以提高PSNR和SSIM价值而结合 在一起会给更好的结果。这表明频率损失加入到空间损失会得到一个有利结果当训练一个神经网络无监督超限分辨。在我们的实验中,变量 , ,和 可以调整。在表1,我们给最好的组合当标准定量措施如PSNR和SSIM达到最高的措施。

表1
意味着PSNR和SSIM消融实验(500测试图像)。
4.3。定性评价

我们训练和测试MSLp网络巨头今年X月份,nvidia GPU和英特尔(R) (TM)核心i7 - 4790 3.6 GHz 1600 16 GB DDR3内存。网络模型训练使用Pytorch 0.4.1。网络输入插值估计的输出大小和模糊退化的内核。作为前ZSSR-based SR方法中完成的,我们只有学习之间的残余LR及其人力资源对。我们使用 损失与亚当优化器。我们开始学习速率为0.001。我们定期采取一个线性的重建误差和我们改变的学习速率0.05∼1.5。

4.3.1。客观的评估

峰值信噪比(PSNR)是一个全部参考图像质量pixelwise相似性的度量。更高的PSNR值代表大pixelwise相似。它是一种广泛使用的图像质量度量,它应该考虑当比较性能与其他模型。结构相似度指数(SSIM)是一个著名的全部参考质量指标考虑像素的结构组成。利用对比度,亮度,和结构的值图像,SSIM旨在衡量由人类视觉系统感知质量,和它的值在0和1之间。从表可以看出1,MSLp网络 偏离剧本表演ZSSR双立方插值的PSNR和SSIM。我们比较的性能与最先进的ZSSR MSLp双立方插值方法。图3显示了SR气象卫星可见光图像的结果。行从左到右是退化图像估计的模糊估计网络,双三次的,ZSSR, MSLp,地面真理。图4显示了SR气象卫星红外图像的结果。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
图3
比较超限分辨结果可见图像(4×)。(一)退化图像。(b)双三次的。(c) ZSSR。(d) MSLp。(e)的形象。
(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
图4
比较超限分辨结果红外图像(4×)。(一)退化图像。(b)双三次的。(c) ZSSR。(d) MSLp。(e)的形象。
4.3.2。评估意见评分的平均值

意见分数是一个著名的主观图像质量度量在人类参与者被要求选择一个分数有关的一组指定的特性(例如,锐度)。一些老模型可能PSNR和SSIM分数低而人力资源的感知质量图像可能仍然很高,在这种情况下,应采用金属氧化物半导体测试。具体地说,我们问7气象学家分配积分分数10输出图像从1(劣质)到10(优质)为每个3比较指标和重建图像,分别。MOS结果现实的气象卫星图像上的所有参考方法列在表中2。我们进行了金属氧化物半导体测试清晰度主观量化,适合天气分析和重建超限分辨卫星图像的详细级别不同的方法。在这两个评价指标,详细级别和清晰度,MSLp的意思是最大的性病MSLp是最低的。这表明大多数气象学家更满意我们的结果,以及它们之间几乎没有偏差。接受新方法结果比所有的参考方法。

表2
结果意见评分的平均值。

5。结论

我们引入了一个无监督深超限分辨网络MSLp专门设计和优化的气象卫星图像。提出网络结合空间和频率损失函数通过网络培训。我们的调查网络结构表明,提出的无监督更深层次的网络更有利气象卫星图像超限分辨任务。我们将演示MSLp使用定量和定性的性能测试(4×)升级的因素,并将它与最先进的参考方法。测试结果证明重建MSLp感知更可信的天气分析应用程序。最后但并非最不重要,我们的方法在气象卫星图像无监督超限分辨,展示出了有前景的结果暗示其潜在扩展到其他非监督低级视觉任务。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。另补充用于支持本研究的发现是由所有作者许可,所以不能免费提供。请求访问这些数据应该相应的作者。

的利益冲突

所有作者声明没有关于这篇文章的出版的利益冲突。

确认

这项工作得到了国家自然科学基金(批准号61802199)。