文摘

图像去噪和图像超分辨率重建是两个重要的图像处理技术。深度学习用于解决图像去噪和超分辨率重建的问题在最近几年,它通常比传统方法更好的结果。然而,图像去噪和超分辨率重建研究分别由先进的工作。优化图像分辨率的提高,有必要研究如何将这两种技巧。本文基于生成对抗网络(甘),我们提出一种新颖的图像去噪和超分辨率重建方法,即。甘multiscale-fusion (MFGAN),恢复图像被噪声干扰。我们的贡献体现在以下三个方面:(1)相结合的图像去噪和图像超分辨率重建的过程简化upsampling和将采样图像模型学习期间,避免重复输入和输出图像操作,并提高了图像处理的效率。(2)出于初始结构和引入multiscale-fusion策略,我们的方法可以使用多个卷积核的大小不同,扩大接受域并行执行。(3)烧蚀实验验证每个就业损失测量的有效性在我们设计了损失函数。和我们的实验研究表明,该模型可以有效地扩大接受域,从而重建图像与高分辨率和精度,提出了MFGAN方法执行比一些先进的方法。

1。介绍

图像可以携带大量的数据和信息,图像处理技术是适用于许多领域,如医疗、交通、军事、空间和航空航天,通信工程。它已经渗透到我们的生活,从我们每一个人都是分不开的。然而,在图像采集、存储和处理,图像噪声可能引入,干扰图像提供的信息,降低了图像的清晰度。一般来说,图像噪声包括椒盐噪声、伽马噪声和高斯噪声1]。为了解决这个问题,图像去噪和图像超分辨率重建(SR)技术(2]研究了恢复高质量和高分辨率图像3]。

图像去噪技术减少了原始图像的信息损失,消除图像噪声。不同的研究人员提出了降噪方法。传统的降噪方法(4)包括双边滤波方法(5),高斯滤波方法(6),外地算法(7),3 d (BM3D)算法和块匹配(8]。近年来,深入学习是解决图像去噪问题的广泛采用,主要方法是多层感知器和完全卷积网络。具体来说,基于多层感知器的方法将原始图像分为几个街区和随后降噪块。最后,所有的处理图像块缝在一起。此外,该算法完全基于卷积网络主要包括去噪卷积神经网络(DNCNN) [9),卷积盲去噪网络(CBDNet) (10)等。此外,生成对抗网络(GAN)现在吸引了研究人员的关注。各种网络框架,如甘深卷积(DCGAN) CycleGAN [11],Pix2pix,提出了基于图像处理的氮化镓。

值得注意的是,老图像去噪和图像处理的两个重要阶段,他们通常是单独研究先进的工作。然而,当我们的目标是完成两个任务同时,有必要对两种技术进行整体研究。为此,我们结合的图像去噪和图像超分辨率图像处理特别是提出multiscale-fusion GAN (MFGAN)方法。网络模型的设计是基于卷积神经网络和氮化镓。该模型可以降噪noise-disturbed图像质量和效率高、低分辨率的图像恢复到更高的一个超分辨率重建。总结了本文的主要贡献如下:(1)基于氮化镓,我们有机集成的图像去噪和图像超分辨率重建的任务,避免了相当大,upsampling重复输入和输出操作,将采样图像模型学习期间,与高绩效达到简化工作流程。(2)来自初始结构和添加甘多尺度融合到网络,我们成功地扩大接受域并行,从而提高重建图像的质量。(3)我们提出一种新颖的损失函数,每一项的有效性验证的烧蚀实验。我们的实验研究表明,该MFGAN方法总体执行比一些先进的方法。

本文的其余部分组织如下。部分2介绍了先进的关于我们的研究工作。部分3介绍了提出的模型和方法。部分4表明该模型的性能和展示了实验结果。最后,部分5总结了这篇论文。

2.1。剩余网络的基本理论

卷积神经网络,更深层次的网络体系结构可以带来更好的精度,但可能会导致较高的计算复杂度和梯度消失的问题。原因在于深度梯度神经网络具有小的训练。剩余网络提出了解决这个问题,可以大大提高深层神经网络的性能。

剩余网络由一堆残块,所有这些都可以表示为一个一般形式(12,13]。我们假设H(x)是基本的映射几个堆叠层,和x代表了第一层的输入。网络可以用跳连接设计,也就是说,H(x)=F(x)+x,这意味着添加两个输入元素。使用跳连接,gradient-related深层神经网络可以解决问题,在不增加计算复杂性。此外,一个近似剩余函数,也就是说,F(x)=H(x)−x,可以获得多个非线性层的逐渐逼近。图1的图是残余网络模块。


图1
剩余的图网络模块。
2.2。基础研究在老

超分辨率卷积神经网络(SRCNN)是第一个深度学习技术适用于图像SR (1),也是最经典的方法,这是下面的超分辨率重建研究的基础。SRCNN如图的网络结构2。


图2
SRCNN网络结构的图。

SRCNN主要由三层,即。,feature extraction, nonlinear mapping, and image reconstruction [14),相应的卷积核大小9×9的1×1和5×5。第一层的特征提取是提取从低分辨率图像重叠部分Y和表达高维向量。它可以作为制定 在哪里W1和B1分别代表过滤器和偏见,F1表示一组由SRCNN图像特征提取。

随后,所有的高维向量是非线性映射到相反的高维向量。然后使用了向量构造图像的特性。非线性映射层可以表达的 在哪里F2表示映射向量在高分辨率。

此外,最后生成高分辨率图像卷积层,表现为 在哪里F3代表最终的高分辨率图像。

2.3。图像质量评价方法

为了定量评估网络的性能模型的图像去噪和恢复,两个广泛使用的图像质量评价指标是利用本文。峰值信噪比(PSNR) (15)和结构相似度指数(16](SSIM)。

2.3.1。PSNR值

PSNR值通常用于客观地评价图像质量(15]。它代表最高功率之比的有效信号的噪声功率信号。PSNR值的单位是dB和PSNR值的数学表达式 在MSE表示原始图像之间的均方误差和生成的图像,即 在哪里年代ij和Tij代表的像素的值我th行和jth列生成的原始图像和图像,分别。更大的MSE,原始图像和生成的图像之间的差异,相应的PSNR值越小。这意味着PSNR值越大,质量越高,生成的图像。

2.3.2。SSIM

SSIM是另一个指标量化的图像质量16]。这是由于PSNR值不能准确地表明本文采用在某些情况下图像的清晰度。SSIM的价值范围从−1比1。具体来说,SSIM = 1意味着两个图像的结构是完全一样的。相反,两个图像的结构是完全不同的,如果SSIM =−1。SSIM是由 在哪里 和 是图像中所有像素的平均值米和n,分别。 代表了方差, 是两个图像的协方差。c1和c2都是常数。

2.4。基于深度学习的图像去噪方法的比较

表1总结了基于深度学习详细的图像去噪方法的优点,该方法的局限性和适用性。

表1
图像去噪方法的比较。

3所示。基于氮化镓的图像去噪和超分辨率重建方法

3.1。氮化镓

在图像处理与深度学习的广泛使用,越来越多的学者关注网络模型的效率和全面性。事实上,图像去噪和图像超分辨率重建是两个不同的主题,但彼此密切相关领域的图像处理。图像去噪将不可避免地导致图像的定义和分辨率降低。为此,有必要进行超分辨率重建。如图3甘,可以结合超分辨率重建的图像去噪方法技术,能够简化加工过程,降低图像处理时间。在本节中,我们设计网络模型和优化模型参数基于氮化镓为了促进生成的图像的质量。


图3
氮化镓架构的图表。

发电机和鉴频器是甘的关键模块。发电机主要是用于获得数据信息,并生成一个图像。真正的图像和生成的图像都是发送到鉴频器进行训练。鉴频器会识别如果生成的图像是假的。具体来说,如果生成的图像被认为是一个假的图像,再将执行上述过程。循环不会停止,直到鉴别器不能确定生成的图像的真实性。因此,我们可以获得一个训练有素的发电机。

3.2。研究Multiscale-Fusion模块

谷歌提出的初始结构是一个新的功能部件,其中的主要思想是提高卷积内核增加接受域(17]。通过这种方式,可以学到更多的图像信息通过网络,因此图像的清晰度可能改善。目前,《盗梦空间》《盗梦空间》的结构已由V1 V4当前《盗梦空间》。他们的网络结构和处理延迟是改良版的版本。

为了提高网络性能,最简单的方法是添加网络的深度。然而,随着网络深度增加,计算复杂度会迅速成长,这可能导致过度拟合。这意味着很难优化网络参数。为了解决这个问题,如图4,初始结构使用一组并行卷积核,这扩展了原始卷积成一个1×1卷积,一个3×3卷积,卷积5×5,max-pooling之一。通过这种方式,可以扩大网络的接受域,从而可以学到更多的功能。


图4
《盗梦空间》结构的示意图。

基于初始结构,GoogLeNet网络是由谷歌开发的,呈现在图5。它增加了一个1×1卷积中的每个分支网络,可以减少网络参数的数量。


图5
在GoogLeNet初始结构的示意图。

众所周知,卷积神经网络的维度不能降低到一定水平;否则可能会导致信息丢失和网络上的训练带来的负面影响。因此,为了解决这个问题,提出了两种方法对初始结构分段卷积内核。

第一个是将大型卷积核分解成两个或两个以上的小卷积内核等价。它可以获得相同的接受域,减少网络参数,这意味着增加网络的深度不会导致网络性能的退化。此外,第二种方法是一个对称的卷积内核分解成多个小的不对称的卷积核。它还将减少的数量模型的参数,可以提高表达能力和学习更多的特性。

目前,深入学习网络变得越来越复杂和网络负载的增长,会导致过度拟合和梯度消失。自上述残余网络图像处理上也有良好的性能,它是可能把初始结构和残余结构特征融合,从而最大程度上解决问题。

3.3。Multiscale-Fusion甘

在本节中,我们甘SR模型和初始结构融入图像去噪处理和老设计网络模型图如图6。


图6
老图的图像去噪和基于氮化镓的网络结构。
3.3.1。发电机

生成器的输入是一个模糊的图像与声音,而输出是生成与高分辨率图像。图7显示生成器的原理图的网络模型基础上,考虑到multiscale-fusion卷积神经网络结构。具体来说,不同大小的卷积核图像中不同的维度可以阅读信息。跳连接添加任何两个连续的层之间。整个图像的信息可以最大限度地以这种方式读取,从而提高最终的图像生成的性能。此外,PRelu [18用作激活函数,而不是Relu,许多实验目前使用PRelu可以减少网络中神经元的死亡人数。


图7
图生成器。
3.3.2。鉴频器

鉴频器的网络图模型如图8这是区分真正的发电机所产生的超分辨率图像图像训练集。甘网络设计是基于超分辨率(SRGAN)。实验表明,八个卷积层(19)会导致网络性能好。网络层的数量继续上升,特性,网络可以获得的数量将增长,和功能的大小减少。反向传播可以执行即使输入值是负的,这是非常适合识别网络。此外,我们使用网络中漏Relu作为激活函数,可以解决这一问题的神经元死亡。


图8
鉴频器的图。
3.3.3。损失函数

由计算机生成的图像超分辨率重建的精度高。人类很难用肉眼识别图像的差异。因此,我们需要一个合适的损失函数来评估模型的预测精度。在本节中,根据SRGAN,我们设计一个损失函数,结合感性与敌对的损失损失,优化模型,可作为制定 在哪里l均方误差表示知觉丧失,它使用传统的MSE。年代是将采样的因素。西南和上海分别代表了图像的宽度和高度。θ是前馈传播参数相应的发电机或鉴别器。两幅图像之间的差异是通过计算两幅图像的像素值之间的差异。均方误差越大,两个图像之间的差异较大。l创表示敌对的损失和用于测试的性能判别网络,以确保生成的假图像可以愚弄鉴别器。此外,实验结果表明,该网络模型系数的比值l时是最优的均方误差和l创1:10−3。

4所示。实验结果和分析

4.1。实验设置

本文的实验是实现面向Pytorch深度学习框架Windows操作系统下的10。终端用于训练和测试实验中配备了英特尔(R)的核心(TM) i5 - 8500(电子邮件保护)GHz。亚当梯度下降算法用于训练,初始学习速率设置为0.001,批处理大小设置为64。实验中使用的数据集包括CIFAR-10 cifar - 100, 2012年VOC,雷诺阿(20.),BSD100,白手起家的ImageNet。

4.2。实现和实验结果

实验使用imnoise函数在MATLAB编译器进行噪声处理测量数据集。我们比较了噪声系数0.2和0.05之间的性能。的噪声系数0.5,形象损害更为严重,很难消除干扰,所以这种情况下被我们丢弃的。此外,评估的降噪量在不同级别的高斯噪声干扰。使用两种类型的噪声,即高斯噪声和椒盐噪声。

表2和3分别显示PSNR和SSIM在不同的实验结果数据集和不同噪声数据。纵向比较表。由于不同数据集的图像特征,并不是每个数据集都适合去噪实验。其中,BSD100是最适合去噪实验,获得的结果相对较好。

表2
PSNR实验结果。
表3
SSIM实验结果。

比较的结果表2和3水平,在进行超分辨率重建,基于氮化镓的去噪方法网络的性能明显优于其它方法;特别是SRGAN和ADGAN有良好的性能,以及它们在不同的网络设置显示类似的结果,但MFGAN提出本文在大多数情况下具有较好的实验结果。基于上述比较和对比的肉眼看到的图像清晰提到下面,MFGAN在本文提出的性能略优于SRGAN ADGAN,这有效地提高了去噪效果。

我们评估实验结果从统计的角度通过弗里德曼测试(34)和Holm事后测试(35]。弗里德曼测试是用来计算的平均排名比较方法和确定观察到的差异是否显著。我们将测试0.05的显著性水平。如果 - - - - - -值小于0.05,零假设H0被拒绝,我们可以确认有显著差异。Holm事后测试然后执行评估的统计差异(即控制。,弗里德曼的方法达到最好的排名)和其他方法。弗里德曼的测试结果如表所示4,Holm事后考验的结果如表所示5。

表4
比较的平均表现MFGAN弗里德曼和其他七个方法使用测试 。
表5
河中沙洲的事后比较的结果弗里德曼MFGAN程序和其他七个方法 。

如表所示4弗里德曼,测试结果显示,MFGAN方法执行比其他七种分类方法在分类精度。和河中沙洲的事后的结果表5也表明,与其他方法相比,MFGAN有更好的性能。这再一次证明我们提出MFGAN在去噪方面取得了更好的效果。

图9比较SRGAN和提出MFGAN之间生成的图像。获得的图像是基于100发的培训。第一列的图像是由SRGAN,第二个是原始训练形象,第三个是生成MFGAN的形象。通过图,我们可以发现,生成的图像比SRGAN MFGAN显示更好的渲染性能。虽然重建质量与图片不同,比SRGAN MFGAN可以获得更高的精度,特别是在第一行和第五行。此外,还与SRGAN相比,该方法提高了接受域的扩张。


图9
通过SRGAN和MFGAN生成的图像。

此外,我们进行烧蚀实验来验证的重要性感知损失和敌对的损失实验结果。如表所示6单独使用,当感知损失作为损失函数在这个实验中,出现过度拟合,生成的图像像素化。此外,如果敌对的损失是实验中,单独使用生成的图像的PSNR值通常是20和21之间,这是远远低于原来的。因此,感知损失和敌对的损失的实验意义,以确保实验结果的完整性和准确性。

表6
烧蚀实验结果。

5。结论和未来的工作

在我的论文中,我们提出一个GAN-based方法,是能够把图像去噪和图像超分辨率重建图像处理。该方法提高了剩余网络SRGAN并增加了接受域通过添加多尺度融合的概念。此外,选择激活函数和神经元死亡是解决问题的方法。此外,我们还设计提高鉴别器和精度的损失函数生成的图像。

在实践中,多种类型的噪声相互共存。当图像受到各种噪音的干扰,提出了模型的性能可能会受到影响。因此,应提高模型在未来的工作场景和不同的声音。例如,柜台的系数比感知损失和损失应研究。如何明智地确定适当的损失系数比根据噪音也需要解决。此外,介绍了《盗梦空间》结构会导致很长的计算延迟模型的训练。因此,它是一个值得研究的方法在未来提高训练速度。

数据可用性

本研究的数据集用于支持这些发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是支持部分由中国国家自然科学基金资助下62172192和62172192;科技示范工程部分的格兰特BE2019631下江苏省社会发展;和2018年江苏省六大人才高峰计划在格兰特xydxx - 127。