生成对抗网络Edge-Preserving超限分辨红外图像的重建

文摘

的卷积神经网络取得了好的结果超限分辨单帧图像的重建。然而,由于红外图像的缺陷,如缺乏细节,可怜的对比,和模糊边缘,超限分辨重建保留的红外图像边缘结构和更好的视觉质量仍然是具有挑战性的。针对低分辨率的问题,不清楚红外图像边缘,这项工作提出了一种两阶段生成对抗网络模型重建现实超限分辨图像downsampled红外图像的四倍。在第一阶段的生殖敌对的网络,它关注恢复图像的总体轮廓信息获取清晰图像边缘;第二阶段的生殖对抗网络专注于恢复图像的详细的特征信息和具有较强表达能力的细节。红外图像超限分辨重建方法提出了工作高度逼真的视觉效果和良好的客观质量评价结果。

1。介绍

被动红外成像技术用于非接触探测和识别具有良好的隐蔽,传播能力强,不受电磁波干扰,良好的光线和夜视能力(1]。除了主要的军事应用,这种技术还可以广泛应用于民用领域,如工业、农业、医学、和公安侦察。然而,红外图像有很多缺点,如低分辨率、对比度低、边缘模糊。虽然可以提高红外成像系统的硬件性能的提高红外探测器的制造过程,它需要巨大的人力和财力资源和在短期内难以实现。因此,数字信号处理是一种经济有效的方法提高红外图像的质量(2- - - - - -4]。超限分辨重建是指重建高分辨率图像或序列的单帧或多帧低分辨率图像,包括三个主要的类型,即。、interpolation-based方法reconstruction-based方法和基于实例的学习方法。基于实例的学习方法在算法结构灵活,可以提供更多的细节在高放大,因此已成为近年来研究热点的超限分辨重建。曹国伟et al。5]提出使用卷积神经网络(CNN)实现超限分辨重建可见光图像和学习低分辨率图像和高分辨率图像之间的映射关系,训练一个大型数据集。其他研究人员(6]知觉损失来取代使用最小均方误差和学会upsampling取代双立方插值,实现更好的结果。随后,网络结构层,如深度递归卷积网络(DRCN) [7)和高效的亚像素卷积神经网络(ESPCN) [8),提出了实现更好的结果。在机器学习领域,生成模型一直是一个难题。生成对抗网络的建议(GAN) [9)满足的要求生成模型的研究和应用在许多领域。氮化镓只使用反向传播,从而避免了复杂的马尔可夫链。同时,GAN使用无监督学习方法,使生产更加清晰和真实样本。在最近的研究中,氮化镓(得到了广泛的应用10- - - - - -12]。其中,SaliencyGAN王等人提出的模型。10)是一个semisupervised突出对象为物联网检测方法。杨et al。12)提出了一种新的基于条件生成对抗的网络模型(达冈)压缩传感重建磁共振成像(CS-MRI)。文献[11)提出了一个新颖的快速CS-MRI深度学习架构基于条件生成对抗网络。SRGAN [13)是图像的氮化镓超限分辨(SR)和可以恢复一个逼真自然将采样的图像从四个实例。然而,通过这种方法生成的图像的放大细节通常显示难看的工件。为了进一步提高视觉质量,研究人员(14)提出了一个residual-in-residual致密块(RRDB)网络单元和感知域损失作出了改进。研究人员(15)也提出了一个新颖的生殖敌对的框架来提高压缩图像的边缘结构和纹理信息。ESRGAN + (16)设计了一个网络体系结构与小说基本块替换原始ESRGAN使用的基本结构。在红外成像领域,SR重建主要是通过使用稀疏编码方法(17- - - - - -21]。

甘在这项研究中,我们提出一个新的框架来提高红外图像的感知质量。然后,我们设计一个多约束损失函数结合图像保真度损失,敌对的损失,边缘特性富达损失,富达的损失。通过不断更新和迭代的最小化损失函数,我们获得重建图像与高分辨率,并使用该方法(图锐边1)。

本文的主要贡献如下:(我)我们提出一个GAN-based SR重建框架边缘保护的红外图像增强GAN更好地恢复红外图像的边缘结构,同时保持的详细信息(2)保护的特点和图像中的边缘信息,我们提出一个多个约束损失函数适用于SR重建(3)我们从公开验证该方法使用图像数据集和比较方法的性能与其他主流方法。结果证实,与其他方法相比,该方法获得更真实的红外SR重建图像更清晰的边缘

我们描述该网络框架和损失函数部分2和他们的使用公共数据集部分的定量评估3,紧随其后的是建议未来研究的方法和结论。

2。方法

生成高分辨率图像photograph-grade现实的细节和受文献[22,23),我们提出一个简单而有效的两层氮化镓,图像的生成过程分为两个阶段(图2)。

2.1。阶段1氮化镓

在舞台上1,我们使用 低分辨率的图像作为输入,并出口阶段1发电机生成一个错误 图像( ),一起,一个真实的吗 图像( ),导入阶段吗1鉴频器识别的图像。发电机的网络结构的核心该方法在图所示3。我们采用的网络设计Ledig et al。10并介绍跳过连接,已被证明有效的训练神经网络。我们采用文献中提出的残块(24)与六个残块构造神经网络用作堆栈从图像中提取特征。最近的工作在幅图片超限分辨(25- - - - - -28)指出,与网络的深化和GAN框架下的训练和测试阶段,经常出现幻觉工件。为了解决这个问题,我们的方法在29日)和添加一批标准化层(BN)的网络。每个残块包含两个卷积层与内核的大小 和64特征图,二十亿层,一个参数修正线性单元(PReLU)层(30.]。生成模型的每一层的具体设置如下:

这里,C(公关,64)表示一组卷积与64年层特征图和激活函数PReLU;C (64) BN (PR) C (64) BN (PR) SC代表剩余块;BN (PR)与激活函数PReLU一批标准化层,和SC代表一个跳过连接。总共有6残块。C (t) 3)代表一个卷积与3层特征图和激活双曲正切函数。

区分生成的老样本真实高分辨率(人力资源)样品,我们训练鉴别器网络 ,谁的总体框架如图4从体系结构框架,并采用由雷德福et al。31日),LeakyReLU [32)激活是用来避免最大池的整个网络。鉴频器网络包括十卷积模块。所有块除了第一个块包含一个卷积层、十亿层,一个LeakyReLU层。过滤器内的内核数量不断增加,从64年的视觉几何组(VGG)网络(33)1024;然后,每次内核数量的增加,分段卷积是用来降低图像分辨率。之后,一个特殊的残块,包含两个卷积层和LeakyReLU层,连接。最后卷积单元的输出被发送到一个致密层和一个年代激活函数得到一个真和假的结果。每一层的结构和参数鉴别器网络如下:

在这里,表示激活函数LeakyReLU; 表示一组卷积与64年层特征图和激活函数LeakyReLU;表示一组卷积与64年层特征图谱与激活函数LeakyReLU batch-normalization,紧随其后是输出的致密层。特征图从64增加到1024。

阶段1。重建损失函数。损失函数包含三个部分:敌对的损失,图像保真度损失和边缘富达损失(Eq。3))。这些部分重建图像的每个捕获不同的知觉特征获得更加满意的重建图像的视觉效果。

的重量是一种交换参数,用于平衡多个损失组件。第一部分是发电机之间的对抗性的损失和鉴频器氮化镓。这部分鼓励发电机技巧鉴别器网络产生一个更现实的人力资源图如下: 在哪里重建图像的估计概率吗是一个真正的人力资源的形象。获得一个更好的梯度,我们使用最小化更换最小化 。

第二项情商。3), ,确保使用进行像素级的恢复图像的保真度均方误差(MSE)损失如下: 在哪里 , ,和高度,宽度,和渠道的数量,分别的形象。

第三项情商。3), ,富达边缘损失,是传说中的繁殖锋利的边缘信息如下: 在哪里和分别是宽度和高度的形象。标签边缘地图是由一个特定的边缘提取过滤器在真实的吗 图像 ,而是由一个特定的边缘提取过滤器吗 图像发电机产生的 。在我们的实验中,我们选择了精明的边缘检测算子。通过最小化边缘富达损失,网络不断引导边缘复苏。

2.2。阶段2氮化镓

在第二阶段中,我们使用生成的 低分辨率的图像作为输入,并出口阶段2发电机生成一个 图像 ,一起,一个真实的吗 图像 ,导出到舞台2鉴频器确定如果它是真实的还是假的。我们采用文献[描述的网络设计15),一台发电机模型(图5)包含16残余构造块。每一层的输出格式和参数的发电机如下: C (R, 64)表示一组卷积与64年层特征图和激活函数ReLU;C (64) C BN (R) (64) BN (R) SC代表残块。

鉴频器网络的网络结构在第二阶段采用的网络结构类似于鉴别器 。每一层的结构和网络参数如下: 的重量是一种交换参数,用于平衡多个损失组件。第一项, ,发电机之间的对抗性的损失吗和鉴频器氮化镓。第二项, ,是图像保真度损失。第三项, ,是富达损失的特性,定义基于特征空间的距离定义在文献[34),为了方便的保存功能表示原始图像的重建图像类似如下: 在哪里 , ,和高度,宽度,和渠道的数量,分别的形象和代表了特征空间函数,这是一个pretrained VGG-19 [33)网络,将图像映射到特征空间。第四个池层是用来计算feature-activated L2距离作为特征富达损失函数。

阶段2。重建损失函数。损失函数包含三个部分:敌对的损失,富达损失图像保真度损失和特性(Eq。9))。

3所示。实验

3.1。实验的细节

所有实验桌面计算机上执行2.20 GHz×40英特尔至强(R)银4114 CPU、GeForce GTX 1080 ti, 64 GB的内存。我们使用PyTorch深度学习框架来实现本文提出的方法和比较的方法。所有方法与FLIR训练数据集训练。在培训过程中,我们选择8862图像FLIR_ADAS_1_3热传感器FLIR系统Inc .)公布的训练数据集,一个传感器系统开发人员,在2018年。首先,我们所有实验数据上执行4 x因素将采样得到低分辨率图像(LR)通过降低人力资源的分辨率图像。我们将批量大小设置为4,用亚当(35动量词的 为优化过程。使损失函数在同一数量级,以更好地平衡损失组件,我们集 , ,情商。9)到10³1和10⁶,分别。在训练阶段1甘,我们将学习速率设置为10⁴,这是降低到10⁵在训练阶段2氮化镓。

3.2。实验评价

验证该方法的有效性,我们在两个公共数据集进行验证:该FLIR_ ADAS_1_3(1366张照片)验证集和Itir_v1_0数据集(11262张照片)。我们比较该方法与最先进的方法,包括超限分辨使用深卷积网络(SRCNN) [5],ESPCN [8],SRGAN [10],ESRGAN [15),和ESRGAN + (16)方法。三张图片选择的验证组FLIR_ADAS_1_3和Itir_v1_0的数据集,和几种方法的主观结果如图6和7。的重建结果,不难看到,我们提出的方法的重建结果产生细纹理和边缘细节。

促进公平的定量比较,我们使用了相关系数(CC) [36),peak-signal-to-noise比率(PSNR) [37),结构相似度指数测量(SSIM) [38),视觉信息的保真度(VIF) [39),通用图像质量指数(UIQI)和时间消耗,六个客观指标,来评估重建图像的质量和SR方法。不同重建方法的定量比较的结果如表所示1,这表明,我们的方法优于SRCNN [5],ESPCN [8],SRGAN [13],ESRGAN [15),和ESRGAN + (16指标的CC)方法,PSNR, SSIM,和UIQI FLIR数据集。VIF指数略低于ESRGAN +方法,和时间消耗大于ESRGAN方法。

比较不同的重建方法的定量结果Itir_v1_0数据集如表所示2,这表明该方法优于SRCNN [5],ESPCN [8],SRGAN [13],ESRGAN [15),和ESRGAN + (16Itir_v1_0数据集的方法。只略大于ESRGAN时间消耗的方法。

为了更直观地说明了超限分辨方法的有效性提出了为改善红外图像的边缘特性,工作我们显示在图8的比较的边缘检测结果超限分辨各种方法的重建结果。从图可以看出,图像重建的方法有更多和更清晰的边缘信息,这对红外图像的应用很有意义。

3.3。使用先进的视觉任务比较超限分辨结果

基本的视觉任务包括超限分辨图像重建都是高级视觉任务。红外图像广泛应用于目标检测和目标匹配任务,但低分辨率的缺点和不清楚红外图像边缘影响上述任务的准确性。因此,红外图像的结果是否超限分辨重建可以改善上述任务的准确性的评价指标超限分辨重建的结果。为了进一步验证我们的方法,我们将几种方法生成的超限分辨图像与真实的高分辨率图像。尺度不变特征变换(SIFT)是一个表示高斯图像梯度统计结果的领域的特征点,是一种常用的图像局部特征提取算法。在匹配结果,匹配点的数量可以用作标准匹配的质量,和相应的匹配点也可以确定两幅图像的相似的地方特色。图9显示匹配的结果超限分辨重建图像与原始高分辨率图像通过筛选算法。可以看出从重建图像的数量由我们的方法获得比其他方法更正确的匹配对。

在这个实验中,我们使用经典YOLO[意思40)图像目标检测方法(图10)。可以看出,我们的方法生成的超限分辨重建图像具有更好的检测结果,可以发现更多的目标。

4所示。讨论和未来的工作

通过实验,我们表明,与其他方法相比,该方法有更好的感知性能。然而,在实验中,我们还发现,对一些图像,重建结果不满意,如图11。通过分析这些图片,我们发现他们有共同的特点,即。,when the imaging device and the imaging object are moving at high relative speeds, the captured image may contain motion blur. For such images, ordinary SR reconstruction methods cannot achieve effective edge recovery. Therefore, in future studies, we will address these problems.

5。结论

在这项研究中,我们提出一个两阶段GAN框架恢复老能够重建图像的边缘结构信息和保留功能的信息。在第一阶段,图像保真度损失,敌对的损失,富达损失结合边缘保持图像的边缘。在第二阶段中,敌对的形象损失,损失图像保真度和功能富达损失是我结合图像的视觉特性。通过迭代更新生成网络和鉴别器网络,SR重建的红外图像保存边缘。实验验证结果表明,该方法优于其他几个图像重建方法重建SR红外图像。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

引用

1. l . Xiang-di et al .,“红外成像系统和应用程序”,激光与红外,3卷,2014年。视图:谷歌学术搜索
2. x隋,问:陈、g .顾和x沈,“基于压缩传感红外超分辨率成像,”红外物理与技术卷,63年,第124 - 119页,2014年。视图:出版商的网站|谷歌学术搜索
3. x隋、高h . y .太阳,问:陈,g .顾,“基于视网膜分解动作的红外超分辨率成像方法,”红外物理与技术,60卷,第345 - 340页,2013年。视图:出版商的网站|谷歌学术搜索
4. j . i, j·l·锁向阳,问:h .戴“计算摄影的概述,中国科学(信息科学)》第六卷,5-24,2012页。视图:谷歌学术搜索
5. k·d .曹国伟c . l . Chen,他和x唐,“学习深卷积图像超分辨率网络”欧洲计算机视觉施普林格,2014年。视图:谷歌学术搜索
6. c, c . c .阿来k .他和x唐,“图像超分辨率使用深卷积网络”IEEE模式分析与机器智能,38卷,不。2、295 - 307年,2014页。视图:谷歌学术搜索
7. j . j . Kim Lee和k·李,深度递归卷积网络图像超分辨率,2016年IEEE计算机视觉与模式识别会议(CVPR)。IEEE,第1645 - 1637页,2016年。
8. w·史,j .绅士f . Huszar et al .,“单一图像的实时和视频超分辨率使用高效的亚像素卷积神经网络”2016年IEEE计算机视觉与模式识别会议(CVPR)2016年美国拉斯维加斯,NV。视图:谷歌学术搜索
9. 格拉汉姆·古德费勒,j . Pouget-Abadie m . Mirza et al .,“生成对抗网络”先进的神经信息处理系统,3卷,第2680 - 2672页,2014年。视图:谷歌学术搜索
10. 赵c .王董,x, g . Papanastasiou h . Zhang和g·杨,“SaliencyGAN:深入学习semisupervised显著目标检测物联网在雾中,“IEEE工业信息,16卷,不。4、2667 - 2676年,2020页。视图:出版商的网站|谷歌学术搜索
11. h·g·杨,s . Yu董et al .,”达冈:深de-aliasing生成对抗网络快速压缩传感重建核磁共振,”IEEE医学成像,37卷,不。6,1310 - 1321年,2018页。视图:出版商的网站|谷歌学术搜索
12. Yu, d,杨g, g . Slabaugh郭y,“深De-Aliasing快速压缩传感MRI,”2017年,https://arxiv.org/abs/1705.07137。视图:谷歌学术搜索
13. c . Ledig l·泰斯f . Huszar et al .,“写实的单一图像超分辨率使用生成对抗的网络”2017年IEEE计算机视觉与模式识别会议(CVPR)火奴鲁鲁,嗨,美国,2016年。视图:谷歌学术搜索
14. k . x Wang, s .吴et al .,“ESRGAN:增强超分辨率生成对抗网络”在计算机科学的课堂讲稿施普林格,2018年。视图:谷歌学术搜索
15. 问:毛,小王,小王,x,和马,“增强图像解码通过Edge-Preserving生成对抗网络”2018年IEEE国际多媒体会议和博览会(ICME)2018年美国圣地亚哥CA。视图:谷歌学术搜索
16. n . c . Rakotonirina和a . Rasoanaivo ESRGAN +:进一步提高超分辨率增强生殖对抗的网络,”ICASSP 2020 - 2020年IEEE国际会议音响、演讲和信号处理(ICASSP)西班牙巴塞罗那,页3637 - 3641,,2020。视图:谷歌学术搜索
17. c . Kraichan和美国Pumrin”,性能分析Multi-Frame基于稀疏表示的图像超分辨率,”2014年国际电气工程大会(iEECON)2014年,泰国春武里。视图:谷歌学术搜索
18. 梁s Yu-bao w . Zhi-hui x, z Zhen-rong,和l . Zhan-Qiang”Multimorphology稀疏正则化图像超分辨率”《电子学报》,38卷,不。12日,第2903 - 2898页,2010年。视图:谷歌学术搜索
19. y s, m . Wang Chen和y太阳,“幅图片超分辨率重建通过学习几何词典和集群稀疏编码,“IEEE图像处理,21卷,不。9日,第4028 - 4016页,2012年。视图:出版商的网站|谷歌学术搜索
20. y, y元,p .严,x,“贪婪的回归在稀疏编码幅图片空间超分辨率,”杂志的视觉传达和图像表示,24卷,不。2、148 - 159年,2013页。视图:出版商的网站|谷歌学术搜索
21. l . Qiu-sheng和z魏”,基于稀疏表示的图像超分辨率算法的分类图像补丁,“《电子学报》,40卷,不。5,920 - 925年,2012页。视图:谷歌学术搜索
22. h·张,t·徐h·李et al .,“StackGAN:文本与叠加生成照片真实感图像合成的敌对的网络,”2017年IEEE计算机视觉国际会议(ICCV)2017年,威尼斯,意大利,。视图:谷歌学术搜索
23. h·张,t·徐h·李et al .,“StackGAN + +:现实的图像合成和叠加生成对抗的网络,”IEEE模式分析与机器智能41卷,第1962 - 1947页,2018年。视图:谷歌学术搜索
24. k . x张,他任美国,j .太阳,“深残余学习图像识别,”2016年IEEE计算机视觉与模式识别会议(CVPR)拉斯维加斯,页770 - 778年,NV,美国,2016年。视图:谷歌学术搜索
25. j·朱,g·杨,p .费雷拉et al .,”一个Roi集中多尺度超分辨率的心脏磁共振扩散张量的方法,”27日年会的诉讼(ISMRM),11 - 16页,蒙特利尔,QC,加拿大,2019。视图:谷歌学术搜索
26. j .朱g·杨,p·利奥,“病变集中超分辨率,”医学成像:图像处理20192019年美国圣地亚哥CA。视图:谷歌学术搜索
27. j .朱g·杨,p·利奥,“我们如何能让单一的医学图像超分辨率GAN表现得更好?在病变集中多尺度的方法。2019年IEEE 16生物医学成像(2019位ISBI)国际研讨会2019年,威尼斯,意大利,。视图:谷歌学术搜索
28. m·塞茨g .杨j . Schlemper et al .,“敌对和压缩传感重建MRI知觉细化,”医学影像计算和计算机辅助干预- MICCAI 2018施普林格,2018年。视图:出版商的网站|谷歌学术搜索
29. 约飞和c . Szegedy“批量标准化:加速深层网络训练通过减少内部协变量转变,”国际会议上机器学习,2015年PMLR。视图:谷歌学术搜索
30. a . Krizhevsky i Sutskever g·辛顿,“ImageNet分类与深卷积神经网络,”先进的神经信息处理系统,25卷,不。2、2012。视图:谷歌学术搜索
31. a·雷德福l·梅茨,美国Chintala”与深卷积生成对抗网络无监督学习表示,“2015年,https://arxiv.org/abs/1511.06434。视图:谷歌学术搜索
32. a . l .马斯河a . y . Hannun, a . y . Ng”整流器非线性改善声学模型,神经网络”《30 th机器学习国际会议,p。3,亚特兰大,乔治亚州,美国,2013年。视图:谷歌学术搜索
33. k . Simonyan和a . Zisserman”很深的卷积网络大规模图像识别,”计算机科学,2014,https://arxiv.org/abs/1409.1556。视图:谷歌学术搜索
34. j·约翰逊、a . Alahi和l .菲菲”实时传输和超分辨率风格,知觉损失”计算机视觉——2016年大会施普林格,2016年。视图:出版商的网站|谷歌学术搜索
35. d . p . Kingma和j .英航“亚当:随机优化方法,”计算机科学,2014,https://arxiv.org/abs/1412.6980。视图:谷歌学术搜索
36. m·德斯穆克和美国Bhosale”,图像融合,图像质量评价的融合图像,”国际期刊的图像处理(IJIP),4卷,不。5,484年,页2010。视图:谷歌学术搜索
37. c .严和a·c·Bovik”解块图像质量评价”,IEEE图像处理,20卷,不。1,第98 - 88页,2011。视图:出版商的网站|谷歌学术搜索
38. z, a·c·Bovik h·r·谢赫和e . p . Simoncelli“图像质量评估:从错误的可见性结构相似,“IEEE图像处理,13卷,不。4、600 - 612年,2004页。视图:出版商的网站|谷歌学术搜索
39. 曹y y, y Cai, x,“一个新的图像融合性能指标基于视觉信息保真度,”信息融合,14卷,不。2、127 - 135年,2013页。视图:出版商的网站|谷歌学术搜索
40. j . Redmon s Divvala r . Girshick,哈蒂,“你只看一次:统一、实时检测,”2016年IEEE计算机视觉与模式识别会议(CVPR)2015年美国拉斯维加斯,NV。视图:谷歌学术搜索

版权

版权©2021余庆赵等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。