AA 天文学的发展 1687 - 7977 1687 - 7969 Hindawi 10.1155 / 2019/5343254 5343254 研究文章 Mask-Pix2Pix网络过度地区复苏的太阳能的形象 https://orcid.org/0000 - 0003 - 3754 - 1524 赵 越南盾 1 2 https://orcid.org/0000 - 0002 - 9286 - 2876 徐 长 1 陈 Linjie 1 杨ydF4y2Ba 兴企 1 段 正是 3 Musielak Zdzislaw E。 1 太阳活动的重点实验室 国家天文台 中国科学院 北京100101年 中国 cas.cn 2 中国科学院大学 北京100049年 中国 ucas.ac.cn 3 视频技术国家工程实验室 北京大学 北京100871年 中国 pku.edu.cn 2019年 5 9 2019年 2019年 01 05年 2019年 10 08年 2019年 5 9 2019年 2019年 版权©2019越南盾赵等。 这是一个开放的文章在知识共享归属许可下发布的,它允许无限制的使用,分布和繁殖在任何媒介,提供最初的工作是正确的引用。

过度曝光成像的太阳观测可能发生极紫太阳能破裂发生,这意味着信号强度超出了望远镜的成像系统的动态范围,导致信号的损失。例如,太阳耀斑期间,大气成像装置(AIA)的太阳动力学观测卫星(SDO)经常过度曝光图片/视频记录,导致损失的精细结构的太阳耀斑。本文试图检索/恢复丢失的信息的过度利用深度学习其强大的非线性表示这使得它广泛应用于图像重建/恢复。首先,一种新的模式,即mask-Pix2Pix网络,提出了过度的复苏。它是建立在一个知名Pix2Pix网络条件生成对抗网络(cGAN)。此外,混合损失函数,包括一个敌对的损失,一个蒙面L1损失和边缘质量损失/平滑,集成在一起,以解决过度曝光的挑战相对传统图像恢复。此外,一个新的数据库建立了过度训练模型。大量的实验结果表明,该mask-Pix2Pix网络可以恢复丢失的信息的过度曝光,优于国家艺术最初设计的图像重建的任务。

 1。介绍

太阳能成像可以提供我们更多的信息比一维太阳能通量对太阳活动,促进我们的能力探索神秘的太阳。尤其是仪器机载卫星比地面仪器,有更多的优势由于良好的看到和nonocclusion。在过去的几十年里,许多卫星携带太阳能探测仪器已经启动,包括Yohkoh [ 1],SOHO [ 2- - - - - - 4],跟踪[ 5],立体声[ 6, 7,日之出 8SDO [], 9- - - - - - 12]。这些空间工具可以为我们提供太阳能观察以前所未有的时间节奏,高动态范围和高空间/频率分辨率。例如,大气成像SDO卫星上组装(AIA)的仪器可以想象太阳大气中的12个波长每12秒,空间分辨率的 4096年 × 4096年 。

如今,卫星携带太阳能仪器可以形象的完整过程太阳活动以前所未有的高节奏和高空间分辨率。这些图片和视频记录提供了科学家的机会发现太阳活动的性质,如太阳黑子、灯丝,冠状循环,耀斑,或日冕物质抛射(CME)物。然而,对于一些极为紫色太阳爆发,信号的强度可能超出阈值的望远镜,导致过度曝光;因此,信息遗漏在捕获的图像/视频。虽然有自动曝光控制算法实现的耀斑,控制曝光时间的减少过度曝光,例如,友邦保险避免过度曝光之间交替低,长时间曝光,他们不能保证完全避免曝光过度。此外,时间节奏会增加,所以时间分辨率是妥协。解决过度曝光,迭代算法采用PRiL近似和EM算法( 13]。不同于( 13通过深入学习,我们解决这个问题。

最近,利用深度学习的强大功能的非线性表示,很多传统的图像处理/重建问题取得新突破,如图像喧哗,超限分辨图像修复。因此,在这项工作中,我们决定恢复过度曝光区域(OER)利用深度学习。受图像修复的启发,我们的任务可以改写成类似的图像修复的优化问题。他们提出了图像恢复缺失的地区使用周围的像素根据信号的连续性。然而,对于我们的任务,至少有三个挑战相对传统的图像修复。首先,信号的保真度是必需的,不只是脸,因为我们的任务有关的数据被用于科学目的,例如,计算物理参数。其次,大OER而言我们的任务比较图像绘画。最后,不规则形状的OER导致复杂边界连接OERs和nonOERs /正常区域。这些边界应该抑制防止非自然变化的像素值。

现有的图像修复方法可分为3类:diffusion-based, patch-based和学习的基础。根据我们的经验,无论是diffusion-based和patch-based OER复苏的方法可以提供有效的结果。diffusion-based方法( 14, 15)高度受限的局部信息,因此他们无法恢复有意义的结构大失踪的地区,像OERs taks。Patch-based方法( 16- - - - - - 19)假设失踪区域(OER)可以找到最相似的/相关的补丁在给定的图像。这样的假设,然而,不坚持OERs。基于现有的学习结合现有方法并不胜任我们的任务有两个原因。首先,基于一些学习方法,比如[ 20.- - - - - - 23]和[ 24),训练他们的网络与固定形状和位置的缺失区域,而OERs通常表现出不规则的形状和随机位置。第二,尽管一些研究不规则缺失的地区在图像修复,如( 25- - - - - - 28),他们关注生成视觉语义上连贯的完成或产生合理的结果。然而,我们的任务旨在恢复丢失的OER高保真,不仅视觉上看似合理的结果。

应对上述挑战,我们提出学习型模式,即mask-Pix2Pix网络,估计OER的太阳能的形象。我们的网络是建立在Pix2Pix [ 29日),这是一个通用网络image-to-image翻译使用条件生成对抗网络(cGAN) [ 30.]。我们采用类似的架构Pix2Pix: U-net [ 31日在发电机和PatchGAN [ 30.在鉴别器。本文的主要改进和贡献如下:(1)与传统Pix2Pix不同,我们的网络利用Convolution-SwitchNorm-LReLU / ReLU [ 32]模块(LReLU编码器和解码器ReLU)而不是Convolution-BatchNorm-ReLU [ 33)的。前(即。,switchable normalization) can switch between BatchNorm [ 33],LayerNorm [ 34],InstanceNorm [ 35)通过学习他们在一个端到端的方式重要性权重。我们的模型的改进结构能提高网络的鲁棒性。(2)我们的目标函数包含一个敌对的cGAN损失,蒙面L1损失,优势掩盖损失/平滑。敌对的cGAN损失可以捕获完整的条件分布的熵模型,从而产生高度逼真的纹理。蒙面L1损失计算L1损失只有在蒙面地区(OERs),执行正确性在低频率保证恢复OERs高保真。面具边缘损失是用于平滑边缘OERs和抑制边缘构件的最终恢复图像。(3)此外,一个新的数据库建立了过度训练和测试该mask-Pix2Pix网络,在13700年从大规模的太阳动力学观测卫星收集的图像是图像数据库(LSDO) [ 36]。

 2。背景 2.1。图像修复

图像修复是一个过程,重建图像丢失或恶化的部分。现在,它仍然是理论上和计算困难。它是非常合适的。现有的图像修复算法可以分为三组,diffusion-based [ 14, 15],patch-based [ 16- - - - - - 19),和上优于。前两个通常使用微分算子或补丁相似性从正常地区失踪地区传播信息。他们适合静止的纹理。然而,diffusion-based高度限制在本地可用的信息,因此他们通常无法恢复有意义的结构大失踪的区域。Patch-based的,如平面结构指导(PSG) [ 18)和统计相似的补丁(SSPs) ( 19),假设失踪区域可以找到最相似的/相关补丁从正常区域的输入图像。这个假设并不适用于我们的任务,OER可能没有类似的补丁。

最近,基于深度学习方法已成为一个有前途的范例图像修复。在传统的一个重要的优势在于他们的学习能力和理解语义复杂场景的图像。Context-Encoder (CE) [ 21]介绍了一种深敌对的模型来预测合理的结构与组合2 pixel-wise重建损失和敌对的损失。尽管敌对的提高修补质量损失,结果表现出模糊强度和包含明显的工件。要克服的局限性CE ( 21)方法,Iizuka et al。 23]提出一种新颖的架构有三个网络:完成网络(使用扩张旋转( 20.]),全球和当地情况鉴别器。然而,训练模型和两个鉴别器很耗时间,和输出严重依赖于泊松图像融合( 37)作为后处理。多尺度合成神经补丁(基于)[ 22)方法包含一个内容网络学习图像的语义和全球结构和纹理网络生成fine-detailed结果采用pretrained VGG-19 [ 38)网络。刘等人。 25]介绍了部分卷积(PC)模型形状不规则的洞修补与自动屏蔽更新步骤,以减少工件。在个人电脑( 25)法、卷积是蒙面与重整条件只有有效像素。这两个方法和基于[ 22和电脑 25)添加电视损失项鼓励光滑孔边界的扩张。因此,他们避免要求后处理步骤(如泊松图像混合操作)执行纹理一致性边界附近的洞。

 2.2。与Pix2Pix Image-to-Image翻译

Pix2Pix [ 29日)利用条件生成对抗网络(cGAN) ( 30.)实现image-to-image翻译的目标。而不是使用传统的encoder-decoder,发电机Pix2Pix雇佣一个U-Net [ 31日)体系结构,层编码器和译码器层由“跳过连接直接连接。“自从跳过连接可以穿梭低级信息(通常在输入和输出之间共享图片)在encoder-decoder网络的瓶颈,它有效地提高image-to-image翻译的性能。合成的图像发生器不应区别真正的一个接一个敌对的训练有素的鉴别器。为了模型高频,鉴别器采用卷积PatchGAN分类器,即。,只有结构在一定规模的补丁是惩罚。通过这种方法,PatchGAN作为纹理的损失的一种形式。总结,至少有三个因素使Pix2Pix网络超越过去的作品:发电机U-Net架构,卷积PatchGAN分类器对鉴别器,cGANs网络培训。

 3所示。该方法 3.1。问题描述

曝光过度的问题仅仅是解释在图 1真实,形象 我 一个 过度曝光图像 我 B 、二进制掩模图 我 C 面具,边缘地图 我 D 很担心。OER复苏的任务是恢复该地区的标签 我 C 在 我 B ,和外部区域 我 C 保持不变。鉴于以上 Ω 米 和禁忌 Ω 米 ,我们可以得到 Ω 米 = 我 B ⊙ 我 C 和 Ω 米 ¯ = 我 B ⊙ 1 − 我 C ,在那里 ⊙ element-wise积算子。甘受图像修复,神经网络,可以用来检索失踪的区域 我 B (例如, Ω 米 )。在氮化镓,发电机 G训练在对地面真理和退化的。然后,发电机应用于退化图像输出一个修复,也就是说, 我 G = G 我 B 。

过度曝光区域(OER)数据库建立在LSDO。

我们的任务, 我 G 应符合下列标准:

恢复图像应该尽可能逼真的纹理,即。,视觉语义上连贯和合理的相对 我 一个

恢复地区 我 G ⊙ 我 C 应该高保真度相对于相应地区真实吗 我 一个

它应该避免人工边缘( 我 C )周围OERs,即。,the boundary between OERs and normal regions should transit smoothly.

实现(3.1)和(3.1),常规Pix2Pix网络使用和修改通过添加一个面具L1损失。解决(3.1),优势掩盖损失/平滑项介绍,在真实边缘的面具 我 D 是由面具边缘的地图吗 我 C 如图 1。

 3.2。太阳能在恢复数据库

培训我们的模型,一个数据库建立了过度曝光。原始数据从LSDO裁剪( 36]。LSDO数据库记录由三个不同的部分:事件记录,对应的图像,提取图像参数。事件记录的列表包含太阳能事件生成和提取属性。在这些属性中,边界框属性包括四个坐标像素值。LSDO预处理所有原始多边形事件记录的值从Helioprojective坐标(HPC)太阳能坐标系转化为像素。这是至关重要的预处理步骤,让多边形兼容数据库中的高分辨率图像。LSDO的更多详细信息可以从文献引用 36]。

在这工作,真实 我 一个 从活跃区域裁剪在LSDO (AR)的图像。建立了数据库如下:

根据多边形LSDO AR值,相应的基于“增大化现实”技术的广场区域从nonover-exposed友邦保险/ SDO图片裁剪,我们得到 我 一个 。

规模 我 一个 到相同的大小(256 × 256年),和标签OERs 我 一个 通过阈值分割:像素值(从0到1)设置一个阈值(例如0.8)为1。因此,我们得到 我 B 。

标签OERs ( Ω 米 ) 我 B 作为掩模图 我 C 和扩张 我 C 与圆形的内核(半径是3)。面具扩张映射 我 C 用于计算分段的蒙面L1损失吗 3.3。

提取的边缘 我 C ,边缘的宽度5像素。这面具边缘地图 我 D 占边掩盖损失/平滑分段 3.3。

因此,每个样本数据库包含四部分:真正的形象 我 一个 曝光过度(假)的形象 我 B ,面具地图 我 C 面具,边缘地图 我 D 。

 3.3。网络体系结构

拟议中的mask-Pix2Pix网络由一个鉴别器和一台发电机。发电机采用U-Net架构见图 2。U-Net命名它的形状看起来像一个“U。“它由编码器的8层,8层的解码器。每一层的参数表解释道 1在细节。此外,跳过之间添加连接编码器和译码器在同一层,如图 2虚线。每个跳过连接直接连接编码器与解码器的功能映射在同一层(例如, D l 和 U n _ l 在 lth层图 2)。这个跨层连接可以减少语义差距相应层的编码器和译码器,因为它们太远U-Net结构。鉴频器是PatchGAN网络,解释了在表的结构 2。在GAN框架,鉴频器来判断“假”从“真实”的实例。在我们的工作中,鉴频器的输出是一个 16 × 16 图像,每个像素值的范围从0到1,实际是如何测量输出。此外,我们采用Convolution-SwitchNorm-LReLU / ReLU [ 32)而不是Convolution-BatchNorm-ReLU ( 33]传统Pix2Pix [ 29日在提出的模型。前被证明是更健壮。

发电机的体系结构。

发电机的体系结构。

层 发电机的体系结构 输出的大小
输入 我 一个 , 我 B , 我 C , 我 D (256 × 256年 × 1)
D1 Conv。(4 × 4 × 64),LReLU (128 × 128年 × 64)
D2 Conv。(4 × 4 × 128),SwitchNorm LReLU (64 × 64年 × 128)
D3 Conv。(4 × 4 × 256),SwitchNorm LReLU (32 × 32 × 256)
D4 Conv。(4 × 4 × 512),SwitchNorm LReLU,辍学 (16 × 16 × 512)
D5 Conv。(4 × 4 × 512),SwitchNorm LReLU,辍学 (8 × 8 × 512)
D6 Conv。(4 × 4 × 512),SwitchNorm LReLU,辍学 (4 × 4 × 512)
D7 Conv。(4 × 4 × 512),SwitchNorm LReLU,辍学 (2 × 2 × 512)
D8 Conv。(4 × 4 × 512),LReLU,辍学 (1 × 1 × 512)
U1 连接(D8 D7), DeConv。(4 × 4 × 512),SwitchNorm ReLU,辍学 (2 × 2 × 512)
U2 连接(U1, D6) DeConv。(4) × 4 × 512),SwitchNorm ReLU,辍学 (4 × 4 × 512)
U3 连接(U2, D5) DeConv。(4) × 4 × 512),SwitchNorm ReLU,辍学 (8 × 8 × 512)
的愉快 连接(U3, D4), DeConv。(4) × 4 × 512),SwitchNorm ReLU,辍学 (16 × 16 × 512)
U5 连接(U4 D3), DeConv。(4) × 4 × 256),SwitchNorm ReLU (32 × 32 × 256)
U6 连接(U5, D2), DeConv。(4) × 4 × 128),SwitchNorm ReLU (64 × 64年 × 128)
得以 连接(U6, D1), DeConv。(4) × 4 × 64),SwitchNorm ReLU (128 × 128年 × 64)
最后 Upsample (4 × 4 × 1)、ZeroPad Conv。(4 × 4 × 1),双曲正切 (256 × 256年 × 1)
输出 我 G (256 × 256年 × 1)

鉴频器的体系结构。

层 鉴频器的体系结构 输出的大小
输入 我 一个 我 B 或 我 G ∗ 我 B (256 × 256年 × 2)
C1 Conv。(4 × 4 × 64),LReLU (128 × 128年 × 64)
C2 Conv。(4 × 4 × 128),SwitchNorm, LReLU (64 × 64年 × 128)
C3 Conv。(4 × 4 × 256年), SwitchNorm,LReLU (32 × 32 × 256)
C4 Conv。(4 × 4 × 512年), SwitchNorm, LReLU (16 × 16 × 512)
C5 ZeroPad2d Conv。4 × 4 × 1) (16 × 16 × 1)
输出 是真是假矩阵16 × 16
3.4。损失函数

是十分重要的设计一个损失函数的建模通过使用机器学习。我们的任务是恢复丢失信号的OERs形象,主要是担忧重构信号的保真度,像素值的自然过渡。与图像修复它有一些共同点,但不一样的。因此,一个新的混合损失函数是专为在复苏的任务如下。

鉴于真实图像 我 一个 退化的图像 我 B ,初始二进制掩模 我 C OERs (1) 我 C 地图的边缘 我 D 显示在图 1,发电机输出 我 G = G 我 B 。训练模型,定义一个混合损失函数,包括三个部分:(1)对抗cGAN损失高保真的重建图像 我 G 相对于真实 我 一个 ,它被定义为 (1) ℒ cGAN G , D = E 日志 D 我 B , 我 一个 + E 日志 1 − D 我 B , G 我 B ,

在哪里 G和 D分别代表了发电机和鉴频器的目的 G是最小化 D 我 B , G 我 B 这 G 我 B 更像一个真正的,而不是虚假的形象,而 D最大的追求 D 我 B , 我 一个 区分“假”和“真正的”尽可能。图 3说明了敌对的cGAN训练的过程中,在鉴别器借口两个任务。左边一个是歧视 我 一个 和 我 B 是一对“真实”和“假”。二是歧视的权利 G 我 B 是一个“真正的”或“假”,发电机在哪里 G培训生产假货欺骗是鉴别器吗 D,而 D训练识别尽可能“假”。

L1掩盖了地区的损失 我 B ⊙ 我 C 相对于 我 一个 ⊙ 我 C OER,目标准确重建,被定义为:

(2) ℒ 1 米 G = E 我 一个 − G 我 B ⊙ 我 C 1 。

L1的损失只有边缘的面具,这可能使OERs光滑的边缘,以防止人工边缘连接OERs和nonOERs。它被定义为

 (3) ℒ 1 e G = E 我 一个 − G 我 B ⊙ 我 D 1 。

训练对抗cGAN损失。

总之,最后的优化目标是由 (4) G ∗ = 参数 最小值 G 马克斯 D ℒ cGAN G , D + λ 1 ℒ 1 米 G + λ 2 ℒ 1 e G , 在哪里 λ 1 和 λ 2 结合上面的重量是三个组件损失。他们在我们的经验设置为0.1。

 4所示。实验结果

评估拟议的mask-Pix2Pix模型,它是相对于其他先进的图像修复算法。此外,每个因素的贡献损失函数的总体性能评估。这两个实验正在进行合成过度曝光图像。然后,pretrained mask-Pix2Pix模型评估真正的太阳图像。

4.1。实现细节

我们我们的模型应用于过度训练数据库是人为由LSDO小节中描述 3.2。培训,输入图像大小 256年 × 256年 和mini-batch大小设置为16。我们训练我们的模型与亚当优化器( 39)通过设置 β 1 = 0.5 , β 2 = 0.999 , ε = 10 − 8 。最初的学习速率是初始化到0.0002每100时代,然后减少一半。我们在NVIDIA Tesla PyTorch P100申请模型训练。

 4.2。比较先进的方法

我们比较建议Mask-Pix2Pix patch-based平面结构指导(PSG) [ 18)和学习型Pix2Pix网络( 29日]。图 4样品3日显示了比较,可以发现,该Mask-Pix2Pix可以生成具有更好的图像质量比其他两个基准。在这三个方法相比,巴黎圣日尔曼( 18)是最坏的打算。它可以发现PSG不工作充分恢复OERs如图 4。Pix2Pix [ 29日]可能低估了缺失的地区,仍让过度OERs重建后的中心。我们定量测量他们的表演使用峰值信噪比(PSNR)和结构相似度指数(SSIM) [ 40]。PSNR和SSIM下面每个图重建图像 4。平均PSNR和SSIM也计算在整个数据库(超过1600个样本),列在表中 3。它可以观察到,该模型明显优于其他两个基准,实现相对于Pix2Pix[5分贝 29日相对于PSG[]和15分贝 18]。

提出了1和2之间的比较先进的方法。

平均PSNR和SSIM对比我们的模型和其他两个基准。

方法 损失函数 模块 平均PSNR值 平均SSIM
PSG [ 18] 24.6219 0.9810
Pix2Pix [ 29日] ℒ cGAN + λ 1 ℒ 1 一个 Convolution-BatchNorm-ReLU 34.7763 0.9891
Pix2Pix ℒ cGAN + λ 1 ℒ 1 一个 Convolution-SwitchNorm-LReLU / ReLU 35.9939 0.9918
mask-Pix2Pix ℒ cGAN + λ 1 ℒ 1 米 一个 Convolution-SwitchNorm-LReLU / ReLU 37.4334 0.9937
mask-Pix2Pix ℒ cGAN + λ 1 ℒ 1 米 + λ 2 ℒ 1 e b Convolution-SwitchNorm-LReLU / ReLU 39.6931 0.9985

λ 一个 1 = 0.1 , b λ 1 = λ 2 = 0.1 。

 4.3。评估损失函数的每个组件

评估每个损失组件的贡献,我们执行以下三个试验:

敌对的损失和传统L1损失整体形象,也就是说, ℒ cGAN G , D + λ 1 ℒ 1 G ;

敌对的损失,蒙面L1损失,也就是说, ℒ cGAN G , D + λ 1 ℒ 1 米 G

敌对的损失,蒙面L1损失,和面具边缘损失/平滑度,也就是说, ℒ cGAN G , D + λ 1 ℒ 1 米 G + λ 2 ℒ 1 e G 。

图 5说明了三组不同培训损失经验。我们可以发现,尽管的输出 ℒ cGAN + λ 1 ℒ 1 有光滑的失踪区域和正常区域之间的边界,它无法估计准确的强度和内容缺失的地区。受益于掩盖损失, ℒ cGAN + λ 1 ℒ 1 米 可以获得更好的强度和内容估计失踪区域;然而,它得到人工边缘,第一和第三个图片所示图 5。网络训练与混合 ℒ cGAN + λ 1 ℒ 1 米 + λ 2 ℒ 1 e 损失优于其他两个,成功地解决所有的三个标准提到的分段 3.1。

评价混合损失函数(评估每个组件的贡献)。

提出了模型的另一个改进是更换Convolution-BatchNorm / ReLU [ 33]在Pix2Pix [ 29日由Convolution-SwitchNorm-LReLU / ReLU [] 32),见证了第二和第三排表 3。在表 3,第二行列出了平均PSNR和SSIM的Pix2Pix Convolution-BatchNorm-ReLU [ 33),第三行是为了与Convolution-SwitchNorm-LReLU Pix2Pix / ReLU [ 32]。它可以发现明显优于第三行第二行PSNR和SSIM,这证明Convolution-SwitchNorm-LReLU / ReLU的有效性。

 4.4。在真正的太阳图像讨论和测试

友邦保险在实际图像,过度曝光区域与两个效果:初级饱和(PS)和二次饱和(SS) [ 13]。PS为强烈的传入流量指的是事实,CCD像素松散的能力容纳额外的费用。党卫军名字PS的事实导致电荷泄漏到他们的邻居。此外,过度经常伴随与衍射,创建一个像星星一样模式的图像。然而,没有真实图片搭配过度曝光的。因此,我们合成训练mask-Pix2Pix模型数据库,从LSDO饱和图像裁剪。

我们进一步测试pretrained mask-Pix2Pix模型耀斑形象的9月10日,2017 X8.2。结果见图 6。pretrained模型测试结果表明,复苏的强度在一定程度上虽然文件恢复耀斑的精细结构。

测试的真正形象。

 5。结论

我们建议mask-Pix2Pix网络与混合损失函数优化OERs太阳能的恢复图像。强劲拟议的模型可以处理所有类型的OERs关于形状、大小和位置的图像。此外,每个组件的评估损失函数表明,两个增量组件超越传统cGAN该模型有重要的贡献。此外,调查Convolution-SwitchNorm-LReLU / ReLU也表明对传统Convolution-BatchNorm-ReLU可以实现更好的性能比较。然而,我们的模式的一个限制是,它可能会失败在高质感的地区,和大型OERs,如图 7在我们未来的工作,这将进一步调查。

失败的例子,我们的模型。

 数据可用性

使用的数据来支持本研究的发现可以从相应的作者。并在未来,数据用于支持本研究的结果将在网上公布。

 的利益冲突

作者宣称没有利益冲突。

 柴田 K。 Ishido Y。 阿克顿 l·W。 观察的x射线喷射yohkoh软x射线望远镜 日本天文学会的出版物 1992年 44 L173 L179 Clette F。 Delaboudiniere j . P。 溪谷 k P。 Cugnon P。 EIT:极端紫外成像望远镜 251年 学报CESRA车间 1995年 波茨坦,琦 施普林格 Delaboudiniere j。 Artzner G。 Brunaud J。 Eit:极端的紫外线成像望远镜的soho的使命 SOHO的任务 1995年 柏林,德国 施普林格 291年 312年 多明戈 V。 法立科 B。 波兰 答:我。 soho使命:概述 SOHO的任务 1995年 162年 1 - 2 1 37 10.1007 / bf00733425 2 - s2.0 - 0041075134 方便的 b . N。 阿克顿 l·W。 Kankelborg C . C。 过渡区和日冕探险家 太阳物理学 1999年 187年 2 229年 260年 霍华德 r。 摩西 j . D。 Vourlidas 一个。 太阳地球连接日冕和日球调查(西奇) 空间科学评论 2008年 136年 1 - 4 67年 115年 10.1007 / s11214 - 008 - 9341 - 4 2 - s2.0 - 44649156283 凯撒 m . L。 库希拉 t。 戴维拉 j . M。 老年痴呆 o . c . S。 Guhathakurta M。 基督教 E。 立体的使命:一个介绍 立体的任务 2008年 136年 1 - 4 5 16 10.1007 / s11214 - 007 - 9277 - 0 2 - s2.0 - 44649195051 Kosugi T。 松崎 K。 Sakao T。 日之出(b太阳)使命:概述 日之出任务 2007年 柏林,德国 施普林格 5 19 Lemen j . R。 类似 d . J。 该协会 p F。 大气成像大会(aia)的太阳动力学观测卫星(sdo) 太阳动力学天文台 2011年 柏林,德国 施普林格 17 40 佩斯内尔 w·D。 汤普森 b . J。 Chamberlin p C。 太阳动力学观测卫星(sdo) 太阳动力学天文台 2011年 柏林,德国 施普林格 3 15 该协会 P。 爱德华兹 C。 Lemen J。 初始校准大气成像组装(aia)的太阳动力学观测卫星(sdo) 太阳动力学天文台 2011年 柏林,德国 施普林格 41 66年 谢瑞 p . H。 休乌 J。 布什 R。 helioseismic和磁成像仪(hmi)调查的太阳动力学观测卫星(sdo) 太阳物理学 2012年 275年 1 - 2 207年 227年 10.1007 / s11207 - 011 - 9834 - 2 2 - s2.0 - 84855874213 Guastavino 年代。 罗· M。 Massone a . M。 施瓦兹 R。 Benvenuto F。 冲淡euv观测太阳的风暴 2019年 http://arxiv.org/abs/1904.04211 Ballester C。 Bertalmio M。 Caselles V。 Sapiro G。 Verdera J。 联合插值填补的向量场和灰色的水平 IEEE图像处理 2001年 10 8 1200年 1211年 10.1109/83.935036 2 - s2.0 - 0035424385 Esedoglu 年代。 沈 J。 结合现有基于mumford-shah-euler图像模型 欧洲应用数学杂志》上 2002年 13 4 353年 370年 10.1017 / s0956792502004904 2 - s2.0 - 0036672270 巴恩斯 C。 谢赫特曼 E。 芬克尔斯坦 一个。 高盛 d·B。 Patchmatch:随机通信算法结构图像编辑 ACM交易图形(衣服) 2009年 28 3 24 Darabi 年代。 谢赫特曼 E。 巴恩斯 C。 高盛 d·B。 森 P。 图像融合:结合使用patch-based合成图片不一致 ACM交易图片 2012年 31日 4 82年 91年 10.1145/2185520.2335433 黄 J.-B。 康 美国B。 Ahuja N。 科夫 J。 图像使用平面结构指导完成 ACM交易图形(衣服) 2014年 33 4 1 10 10.1145/2601097.2601205 2 - s2.0 - 84905743116 他 K。 太阳 J。 完成图像的方法使用统计信息类似的补丁 IEEE模式分析与机器智能 2014年 36 12 2423年 2435年 10.1109 / tpami.2014.2330611 2 - s2.0 - 84908689622 余 F。 Koltun V。 多尺度环境下扩张的隆起的聚合 2015年 http://arxiv.org/abs/1511.07122 帕沙克 D。 Krahenbuhl P。 多纳休 J。 达雷尔 T。 埃弗 答:一个。 通过结合现有上下文编码器:功能学习 《IEEE计算机视觉与模式识别会议 2016年6月 美国内华达州拉斯维加斯 2536年 2544年 杨 C。 陆 X。 林 Z。 谢赫特曼 E。 王 O。 李 H。 使用多尺度高分辨率图像修复神经补丁合成 《IEEE计算机视觉与模式识别会议 2017年7月 美国檀香山,嗨 6721年 6729年 Iizuka 年代。 Simo-Serra E。 石川 H。 全局和局部地完成一致的形象 ACM交易图形(衣服) 2017年 36 4 1 14 10.1145/3072959.3073659 2 - s2.0 - 85030751884 首歌 Y。 杨 C。 林 Z。 Contextual-based图像修复:推断、匹配和翻译 计算机视觉的欧洲会议(大会) 2018年9月 德国慕尼黑 3 19 刘 G。 里达 f。 施 k·J。 王 苏耿赋。 道 一个。 Catanzaro B。 图像修复不规则孔使用部分旋转 计算机视觉的欧洲会议(大会) 2018年9月 德国慕尼黑 85年 One hundred. 杨ydF4y2Ba Z。 李 X。 李 M。 左 W。 山 年代。 通过深度特性重排Shift-net:图像修复 计算机视觉的欧洲会议(大会) 2018年9月 德国慕尼黑 1 17 肖 Q。 李 G。 陈 Q。 深初始生成网络认知图像修复 2018年 http://arxiv.org/abs/1812.01458 Nazeri K。 Ng E。 约瑟夫 T。 库雷希 F。 Ebrahimi M。 Edgeconnect:生成图像修复与敌对的边学习 2019年 http://arxiv.org/abs/1901.00212 伊索拉 P。 朱 J.-Y。 周 T。 埃弗 答:一个。 Image-to-image翻译与条件对抗的网络 《IEEE计算机视觉与模式识别会议 2017年 1125年 1134年 阁下 M。 Osindero 年代。 条件生成敌对的网 2014年 http://arxiv.org/abs/1411.1784 Ronneberger O。 费舍尔 P。 Brox T。 U-net 卷积网络生物医学图像分割 医学影像计算和计算机辅助介入的国际会议 2015年 柏林,德国 施普林格 234年 241年 罗 P。 任 J。 彭 Z。 可微的learning-to-normalize通过可切换的规范化 2018年 http://arxiv.org/abs/1806.10779 约飞 年代。 Szegedy C。 批规范化:加速深层网络培训通过减少内部协变量的转变 2015年 http://arxiv.org/abs/1502.03167 Lei英航 J。 Kiros j . R。 辛顿 g . E。 层正常化 2016年 http://arxiv.org/abs/1607.06450 乌里扬诺夫 D。 Vedaldi 一个。 Lempitsky V。 实例正常化:失踪的成分快速格式化 2016年 http://arxiv.org/abs/1607.08022 Kucuk 一个。 班达 j . M。 Angryk r。 大规模的太阳动力学观测卫星图像数据集对于计算机视觉应用程序 科学数据 2017年 4 1 170096年 10.1038 / sdata.2017.96 2 - s2.0 - 85020942026 资源文件格式 P。 Gangnet M。 布莱克 一个。 泊松图像编辑 ACM交易图片 2003年 22 3 313年 318年 Simonyan K。 Zisserman 一个。 很深的卷积网络大规模图像识别 http://arxiv.org/abs/1409.1556 Kingma d . P。 英航 J。 亚当 随机优化方法,学习国际会议上表示 2014年 https://arxiv.org/abs/1412.6980 王 Z。 Bovik a . C。 谢赫。 h·R。 Simoncelli e . P。 图像质量评估:从错误的可见性结构相似 IEEE图像处理 2004年 13 4 600年 612年 10.1109 / tip.2003.819861 2 - s2.0 - 1942436689