文摘

灵感来自CycleGAN网络图像风格的应用程序转换问题朱et al。(2017),本文提出了一种端到端的网络,DefogNet,解决幅图片dehazing问题,处理图像dehazing问题作为一个风格转换问题从nonfogged图像不清晰的图像,而不需要从一个大气散射模型估计先验信息。DefogNet改善在CycleGAN通过添加一个跨层连接结构的发电机来提高网络的多尺度特征提取能力。损失函数进行了重新设计,添加细节感知损失和色彩感知损失提高复苏和纹理信息的质量产生更好的fog-free图像。在本文中,这部小说Defog-SN算法。该算法增加了光谱归一化层鉴别器的卷积层的判别网络符合1-Lipschitz连续和进一步提高模型的稳定性。在这项研究中,实验过程完成基于O-HAZE I-HAZE,驻留的数据集。dehazing结果表明,该方法优于传统方法PSNR和SSIM合成数据集和Avegrad熵在自然图像。

1。介绍

图片收集下雾、霾、和其他天气条件经常遭受低对比度,不清楚场景,和大颜色错误,这很容易影响计算机视觉算法的应用如目标探测和语义分割。因此,直接dehazing幅图片的方法不使用任何先验信息是计算机视觉领域具有重要意义。目前,标准dehazing方法可以根据不同的原则分为三个:首先,图像增强技术。这些方法主要集中在图像的对比本身和其他信息。其次,图像恢复方法是基于典型的物理模型;这些方法主要通过先验知识和物理模型完成dehazing操作。第三,神经网络dehazing方法主要利用神经网络来完成霾特征提取,从而完成dehazing过程。

形象enhancement-based dehazing方法主要关注于烟雾图像对比,边缘梯度,和其他信息。最常见的dehazing方法包括小波变换(1],Retinex方法[2),和直方图均衡化3]。上et al。4)提出了一种除雾方法Retinex图像增强算法。谭(5)提出了一个dehazing方法,图像的局部对比度最大化。此外,使用dehazing已经过度饱和,结果失去了更详细的信息。金(6)提出了一个基于当地的想法子块部分重叠方法平衡;然而,有一个屏蔽工件在这个方法的结果。Zuiderveld [7)提出了一种对比有限的自适应直方图均衡化(CLAHE)方法来解决这一问题,自适应地限制图片的对比。的信息,如烟雾图像的对比,在一定程度上反映了阴霾的严重性。不过,这种方法直观的信息不能调查烟雾图像形成机制。因此,它经常失去dehazing过程中的详细信息。这种限制使得该技术很难达到一个可接受的除雾效果。

物理研究基于模型的图像恢复方法的模糊图像成像机理。dehazing操作通过结合先验知识和提出的物理模型,尽管必须估计的先验信息。最常见的方法包括dehazing算法基于图像深度信息(8),dehazing算法基于大气光偏振(9),和dehazing方法基于各种类型的先验信息(10- - - - - -13]。麦卡特尼在1975年首次提出了大气物理模型(14]。奥克利和Satherley15)提出了传播的估值方法,图像像素在这个理论模型;然而,它需要信息,如图像的景深,这不是非常实用。根据大气光的偏振特性,Schechner et al。16)估计的景深信息dehazing通过设置宝丽来玻璃。纳史木汗和纳亚尔17)提出了一种多尺度dehazing算法和收集的图片相同的位置在不同的时间进行比较和dehazing。Tarel和Hautiere18]估计大气散射函数通过使用中值滤波,但这种方法会产生光环效应时,场景转换。法塔尔(19)估计,透光率利用独立分量分析,但这种方法不适合密集雾蒙蒙的天气。他等。10]介绍了黑暗之前的方法,它是理想的除雾和容易实现;然而,一些地区强烈的光,如天空,该方法可能会导致显著的干扰。黑暗的通道的出现为除雾图像提供了新的想法。解决问题遇到了黑暗的先验的方法,许多图像除雾方法基于黑暗先验理论后来被生产(20.- - - - - -22]。

近年来,CNN-based图像除雾方法已成为研究的重点。这些方法主要是运用神经网络学习烟雾图像特征。Cai et al。23)提出了端到端DehazeNet系统,使用一个卷积神经网络提取霾特征优化透光率估计。多尺度深度险霾网络(MSCNN)提出了任et al。24直接研究和估算透光率和雾图像之间的关系,解决人工缺陷的特性。Zhang et al。25)提高了图像的边缘和详细的信息通过构造紧密连接dehazing金字塔网络,共同优化透光率和大气光值。格拉汉姆·古德费勒et al。26)提出了一个新的框架生成对抗网络(甘),估算生成模型根据定点定理通过对抗的过程。甘斯(26)可以使发电机产生的分布尽可能接近真实数据的分布。甘斯(26)提供了一个理论依据神经网络dehazing的新方法。提出了很多方法来优化甘斯算法。雷德福的DCGAN模型等。27]介绍了cnn的结构甘斯(26]。这个模型完成特征提取操作通过cnn和获得更高的稳定性在生成高质量的样品。甘条件(cGAN)殿下和Osindero提出的28)添加条件信息y甘斯[26];这提高了模型的稳定性,提高了发电机的表达能力。伊索拉et al。29日]提出了pix2pix算法使用cGAN [28)学习从输入到输出的映射来完成各种图像转换任务。这些方法有模糊图像的真实性需求及其相应nonfog图像,数据需求很高,收购是很困难的。

基于氮化镓(26),朱et al。30.]提出CycleGAN组成的两个单向甘斯。CycleGAN [30.)建议使用cycle-consistent损失,主要用于将图像风格和有效地克服缺乏约束生成的图像。尽管CycleGAN [30.)模式遭受噪音和损失图像的纹理细节当完成一代的任务具有不同结构的复杂性。DefogNet网络提出了本文主要添加细节感知损失和色彩感知损失CycleGAN [30.]。它完全优化CycleGAN [30.结构使用跨层连接和Defog-SN算法。最后,它构建一个端到端的网络没有考虑先验信息和没有成对的数据集。

本文的主要贡献包括以下:不完整的特征提取、低效除雾处理,需要一个复杂的物理模型使用一个先天的物理模型的常见问题。为了解决这个问题,我们加入跨层连接在发电机的设计,提高了多尺度金字塔模型的特征提取能力与特性,并获得高质量纹理生成的图像的细节。做这些修改,我们省略了手动先验模型的设计。因此,我们的方法既不需要模糊和真实图像样本也不需要任何大气散射模型参数训练和测试阶段。本研究设计独特的损失函数:细节感知损失和色彩感知损失优化DefogNet幅图片dehazing和解决产生的颜色变化和高对比度除雾操作。我们歧视引入光谱归一化网络和提出Defog-SN算法,具有较强的泛化能力,有效地解决了生成样本的多样性不足的问题,提高除雾图像质量的提高网络的整体稳定性和收敛速度。

本文的其余部分组织如下:部分2主要描述了本文提出的方法。部分3了相关的实验结论和分析深度。部分4对整篇文章进行总结。

2。该方法

2.1。DefogNet结构

摘要DefogNet-based幅图片dehazing方法改善CycleGAN [30.网络体系结构。CycleGAN [30.)添加cycle-consistent损失;周期的一致性损失的核心作用是提取高级和低级特征的组合在VGG16架构(31日),限制发电机和保留了原始图像的结构。CycleGAN [30.)可以精确地计算l1范式的原始图像和未配对的遍历图像执行任务image-to-image转换。然而,原始图像之间的损失和遍历图像不允许完整的纹理信息恢复。

DefogNet CycleGAN[的改进版本30.),在图所示的结构1。在本文中,我们提出了Defog-SN算法和跨层连接添加到发电机,优化网络的整体性能和改善dehazed图像的质量。DefogNet重新设计的损失函数,介绍了详细的认知偏见对cycle-consistent损失损失和色彩感知的损失。然后使用这个函数来计算模型的全部损失。通过这种方式,它在图像重建更完全保留了最初的信息,有效地优化dehazing函数。

DefogNet包含两个发电机,G和F,和两个鉴别器,和 。生成两个敌对的网络互相竞争以及约束。同时通过培训,学习多雾的特性,同时保持图像背景结构几乎不变,使用未配对的数据集,而不用手动标签。这种无监督的方法极大地简化了工作在数据准备阶段。

摘要模糊图像数据集和清晰的图像数据集被用来训练模型。雾蒙蒙的图像数据和清晰的图像数据被定义为域X和域Y。之间没有对应的图像域X和域Y。在输入图像X到生成模型G,G将生成一个新的形象吗 。因此,和图像Y作为判别模型的输入 ,确定输入图像时从真正的明文数据Y或pseudoimage生成器生成的G。结果反馈G,用于加强G。的指导下 , 不断减少之间的差距和清晰的图像数据集Y。

同样,发电机F行为减少和Y雾蒙蒙的图像和和Y被送入2^nd生成模型F生成一个新的形象 ,其目的是尽可能相似的图像X通过一个损失函数确保映射是有意义学习。这个模型的循环结构允许两个甘斯产生越来越现实的图像,即。,图片不清晰的数据集X完成dehazing。

2.2。跨层连接结构生成器

正确训练样本分布和有效地优化最终生成的图像的质量,选择网络结构是一个encoder-transition-decoder。编码器层的第一部分的作用是完成特征提取的过程。过渡层的第二部分是结合图像的不同特点通过残余网络和重组功能。第三个译码器层的一部分是重建图像。

比较不清晰的图像和除雾图像时,发现不清晰的图像和除雾图像应该有相同的背景,相似的空间结构,对象的细节。因此,我们需要保留一些输入图像结构,分享一些输入和输出之间的信息,并发送此信息直接解码层不经过转换层。在此基础上,我们的方法提高了发电机的结构和设计编解码器网络的跨层连接结构打破瓶颈在解码过程中信息丢失和丢弃的方法只不过是连接所有渠道的对称层,如图2。每个卷积的输出层编码器将直接输入到相应的译码器与逆卷积的结果同时下卷积的输出层。这种结构使特性图的大小一致,有效地减少输出之间的差异和原始的输入;否则,原始图像的特性将不会保留在输出,输出将偏离背景原始图像的轮廓。

摘要批标准化层删除每个单元的转换层,和SeLU激活函数(32)是用于自动正常样本分布的零均值和标准差。相关的公式是

结构可以确保高除雾图像之间的一致性和原始的带状雾图像除了阴霾和改善网络的多尺度融合特征提取能力的阴霾。

2.3。Defog-SN算法鉴别器

CycleGAN [30.)包含两个单向甘斯,不稳定的缺点培训和collapse-prone模型由于判别网络控制不佳的表现。摘要Defog-SN算法来解决这个问题。该算法结合了光谱归一化(33到判别网络通过光谱归一化层插入每个卷积层优化dehazed图像的质量。鉴频器主要由6层;第一个四层是用来完成输入图像的特征提取过程最后一层。瓦瑟斯坦最后全层输出的距离。鉴频器结构如图3。

GAN稳定性定理指出,如果判别网络能符合1-Lipschitz连续的输入,输出,和判别的控制网络可以显著优化。GAN训练过程的稳定性可以进一步提高34]。根据李普希茨理论的复杂功能,典型的神经网络由多层结构组成,可以被视为一个更复杂的复杂函数。如果单独的函数可以满足1-Lipschitz连续体,然后将这些函数的复合函数也满足连续性。DefogNet判别网络的激活函数都是漏水的ReLU [35功能,满足1-Lipschitz连续性,所以,只要每个判别的卷积层网络满足1-Lipschitz连续性,整个判别网络满足1-Lipschitz连续性。李普希茨约束的公式 在哪里是一个常数公式和函数的梯度满足总是有限的范围小于或等于 。Defog-SN算法使用光谱归一化提供一个全球判别网络正常。最大奇异值可以产生决定性影响李普希茨连续性常数的线性算子,从而使参数矩阵生成图像时使用更多的功能,从而有效地提高样本的多样性和优化除雾图像的质量。

Defog-SN算法增加了每次卷积后光谱归一化层每一层符合1-Lipschitz连续性。算法的细节如下:卷积层 ,一个指卷积层参数的矩阵,它的光谱参数由以下方程计算(36]: 在哪里等于矩阵的最大奇异点一个和卷积的李普希茨连续性常数层t等于其卷积谱模式层参数矩阵。光谱范式卷积层的参数矩阵,W,计算的最大奇点卷积层参数矩阵完成后的正常化过程= 1。通过这种方式,输入和输出满足1-Lipschitz条件。的公式如下:

向量随机初始化的参数矩阵的奇异特征向量 。下列公式计算左奇异特征向量 :

迭代后,可以计算的最大特征值,即。,the maximum singular value of the matrix :

卷积层参数矩阵的更新完成如下: 在哪里是学习速率。

我们使用反褶积来简化和加快计算卷积谱范数的。Hanie et al。37)开发了一种方法来计算所有奇异值,包括光谱标准;然而,这种方法只适用于卷积过滤器与步长1和0填充。在培训过程中,标准化系数取决于步长和灌装控制卷积操作的方案。

提出了一种有效的方法来计算最大奇异值(即。,the spectral norm) of a 6-layer convolution layer with an arbitrary step size and filling scheme. The output feature map的层在神经网络可以表示为一个线性操作的输入 : 在哪里特征映射的输入和吗是一个过滤器。在这里,我们忽略额外的偏见。我们vectorize,让表达总体线性操作有关 :

然后,可以表示为卷积操作

通过卷积换位,我们可以获得相关的谱范数 。通过使用有效,我们可以更有效地实现这个矩阵乘法,没有显式地构建 。相关光谱标准可以通过迭代法,并添加适当的步长和灌装参数卷积,卷积换位操作。我们使用相同的值多次,只有更新一旦每一步。我们使用更大范围限制 : 导致更快的训练速度。

我们现在使用瓦瑟斯坦距离作为标准来衡量生成的分布和真正的分布 。由于1-Lipschitz连续性的引入,我们需要限制网络参数的变化范围在一定的范围内;参数的变化范围不应超过某一常数在每个更新。因此,瓦瑟斯坦距离真正的数据分布和生成的数据分布可以表示如下:

越小 ,越有可能生成的分布是接近真实分布 。由于引入光谱归一化,函数可微的在所有情况下,允许我们解决问题的梯度消失在GAN模型的训练过程38]。因此,DefogNet鉴别器的目标函数如下:

接下来,我们提高李普希茨梯度约束的惩罚。首先,我们使用随机抽样方法获得真正的样本 ,错误的样品 ,和一个随机数在[0,1]。然后,我们随机插入示例之间和 :

分布满足表示为 ,DefogNet的改进的目标函数

2.4。损失函数的DefogNet

CycleGAN的30.]损失函数由发电机和鉴频器是敌对的损失函数和cycle-consistent损失函数。生成的敌对的损失函数包括鉴频器的概率估计的真正的样本和鉴频器的概率估计生成的示例:

这个阶段,第一步,是使用发电机来变换域的真正形象X成一个虚假的形象在域Y。然后,使用生成器完成重建过程来获得重建图像 ,保存所有图像的原始信息。然后,这和真正的形象Y传递给鉴别器吗确定真实性,从而获得一个完整的单向甘。损失函数的相关性

cycle-consistent损失函数引入网络学习的映射和和可以转换X来Y再成功,从而避免所有的图像映射到相同的图像Y:

CycleGAN [30.损失函数是 在哪里X和Y指的是两个数据域,x和y上面的示例数据中的数据域,G指的是X来Y映射函数,F指的是Y来X映射函数,和指的是鉴别器是cycle-consistent的重量损失。

最小二乘损失CycleGAN[所使用的方法30.]惩罚离群样本太多,这样可以减少生成的样本的多样性。一个损失函数模型并不能保证会成功地映射一个输入预期的输出 。这项研究增加了色彩感知损失函数和细节感知损失函数基于最初的损失函数来训练网络更多的最佳未配对图像。损失主要用于估计图像的差异dehazing和最小化后改变原始图像。鉴频器G:

鉴频器F:

我们将方程形成了感知细节损失。

因为dehazing过程必须完成r, ,b三种类型的渠道来完成操作,但需要保持图像完成后除雾不会产生大的颜色差异。因此,有必要添加颜色感知当生成的图像:

和图像的宽度和高度。最后损失函数

3所示。经验和结果

在实验部分,该方法将相比,结果被欺侮的几种先进的方法,包括CycleGAN [30.),提供定性和定量的分析实验结果合成和自然的数据集。这个实验完成所有培训以及测试程序TensorFlow [39]。NVIDIA Tesla V100 GPU用于训练模型,优化使用Adadelta算法(40具有良好的自适应学习速率,批处理大小为1,学习的速度 。

3.1。数据集

实验在I-HAZE [41],O-HAZE [42),和居住43)数据集。户外驻留的数据集43]包含8970个清晰的图像和31950多雾图像合成从清晰的图像。O-HAZE [42)是一个户外场景数据库包含45对现实的雾蒙蒙的户外场景的图像和相应的nonfoggy图像。I-HAZE [41包含35双真正的室内场景雾和相应的nonfog图像。I-HAZE [41]和O-HAZE [42)是常见的实验数据集dehazing场景取自可控场景由专业成雾机,具有类似的照明条件。这个实验随机选择4900多雾和nonfog图像I-HAZE [41],O-HAZE [42),和居住43培训和验证。与现有的先进方法,为了便于比较PSNR和SSIM作为评价指标本文比较合成目标测试集包含400室内图像和400户外图像。选择AveGrad和熵作为评价方法的性能评价指标对自然和现实的图像,和rtt数据集上进行的实验是在居住43]。照片需要调整到256×256的大小当进口网络。

3.2。DefogNet方法的验证

来验证发电机的性能的改进的跨层连接结构,我们使用不同的发电机结构比较DefogNet模型在相同条件下,比较网络使用DefogNet没有跨层连接结构。实验设置为迭代。网络模型是保存和输出每次训练迭代和驻留的PSNR指数评估模型的数据集。结果表明,该模型使用跨层连接结构最高PSNR评价指标在实验iterative-training过程与原模型相比。对比结果如图4和5。

基于氮化镓的神经网络,网络的收敛速度和稳定性是重要的指标来评价其性能。验证DefogNet的性能,我们训练模型处理Defog-SN比较与那些没有处理和比较DefogNet收敛速度的鉴别器和CycleGAN鉴别器。的过程中迭代,我们的方法的收敛速度是高于其他方法,也表明Defog-SN改善网络性能的有效性。对比结果如图6。

几款不同的损失函数训练在相同条件下验证multi-loss函数的性能。一百图像被随机选择从居住43)的实验。Defognet (net 4)比较不同组合损失模型在表1。性能验证模型的设计如表所示1。结果表明,该模型使用多个损失融合有最高的PSNR评价指标迭代训练过程与使用其他损失函数模型。对比结果如图7和8。

3.3。结果合成数据集

居住(43],I-HAZE [41],O-HAZE [42)的数据集,我们选择PSNR和SSIM实验结果的定量评价指标。posttraining评价本文的算法与先进几幅图片dehazing方法,以及原始CycleGAN效果相同的参数设置环境下,结果如表所示2和图9。可以看出dehazing结果由该算法有更高的PSNR和SSIM值(数据9)。

根据本文提出的方法PSNR和SSIM值的结果相比CycleGAN和其他方法。它可以发现DefogNet的结构优化方法是有用的在大幅提高原CycleGAN的各个方面的性能。尽管他的方法10可以删除一些阴霾,它产生的工件和颜色失真,尤其是在天空和浅色的地区。Cai的方法(23)和任正非的方法(24)需要估计透光率,由于不准确的透光率估算,除雾结果仍然含有更多的工件和霾残渣。张的方法可以产生清晰的图像;然而,相比之下,我们的算法的dehazing图片,有更多的轮廓不清楚对象。整体形象的颜色是深色的,天空的颜色的图片有点扭曲。朱的方法(30.有效地避免工件但患有颜色变化和扭曲。这些方法都或多或少的颜色失真。我们的方法取得了高PSNR和SSIM的价值观和良好的视觉效果。它也表明本文的损失函数有一个改进的约束影响颜色。该算法避免了估计透光率和大气光值并产生尖锐dehazed图像比其他算法。该方法不仅获得更高质量的评价分数,但除雾结果也产生更清晰的图像边缘细节和低噪音,同时避免颜色失真问题(表2)。

3.4。结果自然逼真的图像

目前,神经网络用于图像dehazing问题是具有挑战性的能达到良好的结果在自然真实的图像数据集。因为CNN往往过度拟合问题,它更有可能解决一个特定场景的任务或一个特定的数据集。本文选择跨数据集的实验分析方法培训和测试阶段,选择一个日常,自然、图像数据集与其他方法的dehazing结果比较。由于没有原始图像相比,信息熵(熵)和平均梯度(AveGrad),这反映了图像清晰度,用作除雾效果的评估标准。dehazing结果的方法和其他方法,如CycleGAN [30.),进行比较。图10显示了模糊图像的三个真实的场景和相应的dehazing结果所产生的几种算法。

从表中的数据3,它遵循原模糊图像的梯度值很低,大部分建筑或植物图像的边缘细节被阴霾,和(即图像不清楚。,图像信息熵值低)。相比之下,他的梯度和熵值的算法(10和张的算法25]相对而言比较大。不过,天空的颜色图像的一部分(即。,the upper part of the image) is more distorted in He’s algorithm. Due to the shortcomings of the dark-channel prior algorithm, there is still haze residue and dark color in the dehazed image. Although Cai’s algorithm [23)和任正非的算法(24)有相对较大的熵值,还有阴霾dehazing后图像中残留,影响的详细显示图像中的对象。朱的算法(30.)达到一个高质量的分数,但它是具有挑战性的,以确保精确对象边缘和细节,和整体形象的颜色不够自然。与其他算法相比,梯度值和本文算法的信息熵比其他算法。保留图像的细节和清晰度较高。dehazing结果的整体颜色更自然,这表明该方法可以有效地解决过度拟合问题类似的数据。

4所示。结论

本文提出了一种有效的新DefogNet除雾方法。这个方法是基于CycleGAN优化方法,完全省略了人工提取特征。之前,不需要现场信息。这是一个方法具有广泛的适应性。优化网络架构和损失函数在这项研究中解决遇到的困难的训练样本集合的问题当使用深dehazing研究学习方法,大大减少的困难获取训练数据集,使该方法更实用、准确与其他深上优于dehazing方法。本文增加了跨层连接的发电机,从而优化了高和低层次的融合模型的特征提取能力,有效地避免过度拟合,提高生成的图像的质量。设计独特的损失函数添加细节感知损失和色彩感知损失避免颜色差异造成的图像和重建亏损dehazing操作,有效提高dehazing后恢复图像的细节。Defog-SN算法提高鉴别器的结构,这样整个判别网络满足1-Lipschitz连续体,从而提高模型的稳定性和避免甘斯模型的问题是容易崩溃。此外,使用自然图像数据集的实验结果证明目前的除雾方法的普遍性不同场景的图像。

数据可用性

使用的数据来支持这项工作的结果可从相应的作者。

的利益冲突

作者声明没有利益冲突有关的出版。

确认

这项工作得到了国家自然科学基金(No.61906097)和项目优先资助的学术程序开发江苏高等教育机构(PAPD)。