文摘

剩余结构可能学习整个输入地区不加选择地因为剩余连接仍然可以学习网络深度增加。在某种程度上,可以集中注意力机制的网络注意有趣的领域,提高学习绩效的重要领域,同时减少了计算负载系统。结果,这两个优点的组合可以有实质性的研究意义,对提高效率和减少计算负荷。密集的残余连接网络,结合特征融合方法在图像超分辨率过程提出了关注。密集的残块增强像素和渠道关注块,和一个双通道路径设计整合全球最大池和全球平均池利用。混合损失函数也提出以增加网络的灵敏度每个像素之间的最大误差。PSNR SSIM / 性能指标增加后,应用混合损失函数和注意力的技巧。实验结果表明,我们的方法有几个优点在最近的一些方法,以及展示好的结果在许多测试数据集。

1。介绍

图像超分辨率(SR)是计算机视觉领域的一项重要任务(1- - - - - -5]。在老过程中,高分辨率(人力资源)图像可以从低分辨率(LR)重建图像,可以突破原始图像的分辨率极限。所以它可以应用于等领域加强LR影视作品,智能监控、视频处理、人力资源的电影和电视制作。

近年来,随着卷积神经网络(CNN)的发展和深度学习方法,基于深度学习的图像超分辨率的研究逐渐成为热点。该方法基于深度学习擅长处理这类非线性问题。不断发展,卷积神经网络越来越广泛应用于图像处理领域。其中,SRCNN [6,7卷积]提出一种基于超分辨率网络模型3层,主要实现图像特征提取、表示、特性非线性映射,最终重建。网络的深度是受限的,因为它只包含3卷积层串联连接。建立更深的深度学习网络成为可能,直到剩余网络(8)出现。例如,VDSR [9)建立了一个更深层次的超分辨率网络结合剩余模块(8,10,11),和网络性能也大大提高。自那以后,剩余的连接和更深层次的网络已经成为最热门的领域之一的超分辨率12),而密集的残余连接(13- - - - - -16和级联17与多个跳过连接结构变得越来越受欢迎。这种方法允许重用各种网络层的特性,将剩余信息和梯度信息传播更迅速,并提高它们的性能。

其中,SRDenseNet [13)主要是由DenseNet (15)模块。和DenseNet不仅大大减少了网络参数的数量也在一定程度上缓解梯度消失的问题通过重用浅网络的特征映射,绕过冗余功能。这种架构充分利用的功能从浅中提取网络和重用在更深的一层。RDN的改进16)主要介绍连续内存机制(CM),全球连接,本地剩余连接增加剩余传播。SRResNet [18在SRResNet]主要去除冗余模块,如批量标准化(BN)与EDSR [19),可扩展的深度模型来提高重建图像的质量。

在最近,也有许多有吸引力的方法,如汉(20.基于异构图形,RFANet [21]基于残余特征聚合和DeFiAN [22]额外黑森过滤,他们都把注意力机制的优势。SwinIR [23)和斯温变压器,邻居之间很难转移特性信息窗口,这可能在一定程度上限制了应用程序。此外,在传统的深度学习网络的功能学习过程,与卷积和激活等非线性映射函数单独的网络不能充分利用高频信息,很难恢复的详细功能。添加关注机制网络提高提取高频信息的能力。近年来,注意机制是广泛应用于图像处理。注意机制包括频道注意机制和空间注意机制。频道的关注是用来捕捉不同通道之间的相关性模型的特性。

不同的卷积核后,每个通道将产生新的重量信息。卷积核输出分解成多通道信息组件。注意机制分配每个重量值学会相应的通道。解决信息过载问题的优雅通过引入注意力机制,它允许我们专注于更重要的信息对当前任务的输入,系统的注意力较少关注其他信息,甚至是过滤掉不重要的信息。与此同时,我们可以提高任务的精度和加工效率。功能关注流行在许多学科,包括文本图像(24),CT图像(25)或医学图像(26),双目相机图像(27),三维遥感影像(28),红外图像(29日),和视频(30.]。

此外,有大量的研究领域相关技术的关注。如内容(注意31日)、网格(注意32)、空间(注意33],层次的关注[34],洗牌[35)、多层次功能增强(36,剩余的关注(37]。

综合特性关注系统尚未开发在这些现有技术的关注。因此,集成多通道关注网络基于通道的注意,像素的注意,和残余关注实现超分辨率图像,进一步提出了图像恢复的详细特性。在本文中,我们的主要贡献如下:(1)密集的残余连接网络提出了基于特征的注意机制,包括像素的关注和频道的关注。结合剩余比例致密连接模块和新提出的混合损失函数,我们尤其是新方法取得了显著的性能改进 错误。(2)我们提出和验证一个剩余比例密集块(RSDB)基于剩余比例。与传统剩余密度块(RDB)相比,我们的新方法包含残余扩展层和功能层注意进一步提高性能。实验结果还表明,我们的方法具有更好的残余收敛速度。(3)一个新的动力损失函数 提出和验证,可以有效地减少 错误的网络。与传统的相比 损失函数或 损失函数,这种方法不能仅仅提高PSNR和SSIM性能也大大提高 误差性能和可以很容易地根据用户需求调整,这是很有价值的 敏感的场合。

正如我们所知,可以集中注意力机制网络的关注到相关区域,提高的学习性能至关重要的地区,同时减少了计算网络上的负载。通道的注意模型可以自动学习的重要性每个特性通道,并将不同的权重分配给每个特性通道。更大的权重将分配给它,如果特征信息是很重要的,反之亦然。这样的要求autodriving汽车系统的应用至关重要。因此,这两种方法的结合具有重大研究意义。实验结果推断,剩余密度连接配备像素注意力和频道的关注可以实现对最终结果产生积极影响。

2。我们的方法

2.1。RDAN和基本块

注意机制在神经网络是一种资源优化分配方案,分配计算资源更重要的任务,解决了信息过载的问题时计算资源是有限的,特别是对移动车辆系统(38,39]。一般来说,越是深入学习网络模型的参数,模型的表达能力越强,并在模型中存储的信息量就越大,但是这可能会带来信息超载的问题。

我们可以关注更重要的信息在当前任务的输入信息,通过融合机制的关注甚至是过滤掉无关的信息,以解决信息超载的问题,提高任务处理的效率和准确性。注意机制已被广泛用于图像分割等任务,在计算机视觉领域的超分辨率。今天所有的视觉注意力模型在使用空间,通常,最终卷积的特征映射层是加权。我们提出一个模型称为残余密集关注网络(RDAN)基于多通道特性融合的注意。图1描述了方法的结构崩溃。多通道的关注模块和像素关注模块可以结合RDN恢复功能的详细信息。


图1
示意图RDAN特性融合网络结构的关注。我们RDAN由致密连接剩余密集关注街区(RDAB)。RDAB由密集的基本块的连接。基本块设有通道注意力和注意力在像素序列。详细的结构如图2和3。

RDAN主要由残余密集关注块(RDAB)通过密集的残余连接。RDAB由基本块(BB)通过密集的连接,和pixel-wise连接利用密集的连接。具体结构如图2。结合密度剩余连接模块,我们的网络可以允许梯度和特性的信息传播更流利,进一步提高网络性能。


图2
构图的基本块。剩余密集关注块显示在左边。密集的RDAB包含几个基本块连接。基本块的右边。基本块配备了多通道的关注和像素结构的关注。基本块是我们RDABs的基本组件。

剩余的基本块由致密的块(RDB)多路径通道(MCA)的关注,和像素的关注(PA)块;关注网络增加了MCA后剩余的连接和PA加速残余和梯度信息的传播,可以看到数据2和3。当地残余学习和功能关注模块是一个基本块结构的一部分。当地残余学习模块启用它跳过不重要区域,如低频区域。骨干网络体系结构可以专注于更有效的关键信息由于各种本地剩余连接。


图3
多路通道的关注和像素关注模块。多通道注意块是在左边。输入分为两个悠闲卷积在第一层。功能流到两个不同的池频道,然后连接和激活之前流出这一块。虽然像素关注模块是在右边,PA模块有两个卷积层和两个激活层连接在替代命令。

MCA。在前面的通道连接关注模块(24),平均池是用来计算通道的重量。但是,平均池倾向于光滑的边缘和忽略的详细信息。因此,我们添加了另一个最大池路多路通道的关注模块为了恢复更详细的信息。卷积和激活后附加层的平均和最大池层。这种策略使采集和更高效的细节,因此,提高学习效率。

巴勒斯坦权力机构。像素的关注模块使用序列的卷积和激活层,以及pixel-wise权重和残余乘法。网络将不同的特性和像素不平等的关注模块,允许更多的灵活性在处理不同类型的数据和扩展表示卷积神经网络的潜力。特征融合的特征权重的关注(FFA)层的多级结构功能可以自动从功能的关注(FA)模块,分配基本功能更高的权重。这种结构还可以存储和传递浅深层数据。

2.2。多路径通道注意模块

基于输入特征信息,MCA模块主要决定了每个通道的权重。不仅全球平均重量,而且全球最大池重量在这个模块生产。这种方法允许更具体的信息的集合。注意模块的输入和输出图像的尺寸 和 ,分别。应用全球平均和最大池后输入数据,我们可以得到 在哪里 和 是全球平均池和全球最大池功能,分别; 是输入; 是输入值; 和 是输入图像的高度和宽度尺寸,分别。池和逐点拼接之后,去卷积层和激活层, 在哪里 和 分别ReLu和乙状结肠激活函数;Concat pixel-wise拼接,Conv是 卷积。最后,输入的重量和增加pixel-wise获得最后channel-aware输出。 在哪里 是逐点乘法,具体结构如图3。

2.3。像素关注模块

像素的像素集中关注模块的重量。像素的关注模块检测重量分布在整个图像和应用这些信息来执行目标重量计算。输入-输出图像像素注意模块的形状变化 来 。这个输出还包含每个颜色的RGB分量权重;利用MCA输出随着PA输入时,我们得到的 在哪里 MCA的输出; 和 分别ReLu和乙状结肠激活函数;Conv是 卷积。最后,最后pixel-aware模块后得到的输出输入像素的权重乘以像素如下。

多路径通道注意重量和像素注意体重示例所示的数据4和5。

(一)示例输入图像
(一)示例输入图像
(b)输出通道
(b)输出通道
图4
输入和像素关注频道重量(a)。我们可以看到,前台是一个书桌,更高的体重(b)的输出。

图5
多路径通道注意体重。
2.4。混合损失函数

RDAN网络采用一种混合损失函数组成的 错误和 误差,提高了不稳定 错误的原始RDN网络。的 误差显著降低除了PSNR / SSIM性能改善,显示出明显的增强了网络的好处。我们可以参考测试比较分析为进一步的信息。

2.4.1。 - - - - - -规范

- - - - - -规范是最常见的一种规范,定义如下:

的 - - - - - -规范可以用来衡量两个向量之间的区别,如平均绝对误差(MAE)

2.4.2。 - - - - - -规范

- - - - - -规范主要是用来测量向量的最大价值。它被定义为

一般来说,可以通过以下公式表示:

一个很好的特性 - - - - - -规范是独立于向量的维数。这个特性有一定的比较优势不同维度的误差向量。

2.4.3。 混合损失函数

的 混合损失函数被定义为

在实践中,我们通常用平均绝对误差而不是绝对误差的总和,以避免之间的相关性 - - - - - -规范和向量维数。然而,直接使用 - - - - - -规范可能减少平均误差,而单个像素的绝对误差可能仍然巨大。这种情况发生。因为 - - - - - -规范仅降低了平均误差,没有约束的最大误差合并像素。因此,一个新的损失函数,不仅能反映整体误差,而且有效地减少单个像素的最大误差是必需的,以便进一步提高恢复图像的质量。

的 - - - - - -规范只是满足这个需求,我们可以轻松地比较单一的像素之间的最大误差,这是独立的向量维数的数量。因此,我们提出了一个混合错误损失函数结合 - - - - - -规范和 - - - - - -规范,不能确保图像的整体误差也有效减少每个像素之间的最大误差。通过我们的测试和分析,发现的推荐值范围 [0.002,0.1]。太大或太小会恶化网络的性能。

2.5。实现细节

剩余比例致密块(RSDB)由rdb、残余扩展层,通过密集的连接和功能融合关注层。详细的伪代码中显示算法1。从原始RDN的主要修改模型是利用更有效的特征融合注意层和残余扩展层以增加硬件资源消耗的效率。此外,它作为我们的基本构建块RDAN方法。

每个RSDB卷积模块有6层。所有额外的连接是由pixel-wise串联,除了剩余第一层和最后一层之间的连接,这是由pixel-wise连接完成。在浓密的连接,ReLu激活函数,卷积核的大小是3。RSDB模块排除了BN,辍学,池、和其他结构和只包括卷积层,激活层,剩余扩展层,concat /层,和其他必要的计算,以提高网络的整体计算效率。

此外,PA, MCA和其他功能融合结构添加RSDB注意。在MCA和PA,我们减少特征图谱通过卷积8层。MCA和PA卷积内核设置的大小 和 ,分别。在多通道的注意,池功能采用平均池和最大池,分别。分别激活函数ReLu和乙状结肠。在输出MCA,最终输出通道的数量是1。在宾夕法尼亚州,最后输出通道是3,即RGB分量的重量对应的颜色通道。

高档模块,构造方法更灵活的实现图像缩放,但是要求的数量特性输入图像亚像素模块必须的平方的倍数放大,否则不能实现整数放大。因为这种方法不同于upsampling或将采样方法,它不会丢失或引入新的像素信息。和功能映射的数量可以通过设置 卷积层。

在输出MCA,最后输出通道数为1。但在PA输出,它是3,代表不同的颜色的RGB分量权重频道。在培训过程中,预处理器作物输入图像的大小 不同的训练集,没有重叠的图像。训练输出与原始输入图像大小相同。

输入和输出: 与不同的放大图像作为网络的输入,而输出取决于高分辨率图像放大和 , ,和 ,分别。输入图像已经被裁剪,已经出现各种大小按照不同的需求放大。

输入:输入图像块编号,内核大小
输出:输出特性的形象
1。
2。
3所示。为 来 做
4所示。
5。
6。
7所示。结束了
8。
9。 {剩余比例}
10。 {多渠道频道关注层}
11。 {注意像素层}
12。 {剩余连接}
算法1
剩余块密集的关注。

3所示。实验结果

3.1。培训平台、数据和评价指标

对于老任务,这个任务有公共数据集的测试和验证,主要包括Set5 [40],Set14 [41],BSD100 [42100)、城市43],DIV2K [44),和DTD (45]。培训绩效的评价指标包括PSNR和SSIM46]。PSNR(峰值信噪比)是一个客观的标准来评估图像,这是最常见的和广泛使用的客观测量方法对图像质量进行评估。因此,PSNR值越大,图像的失真就越少。SSIM(结构相似)不仅是一种结构相似,还一个完整的图像质量评价指标。它衡量图像相似度在三个方面:亮度,对比度,和结构。SSIM值范围是[0,1]。值越大,图像失真越小。培训平台和相关参数中使用这种方法如表所示1。

表1
培训平台和相关参数。

培训设置和结果:优化器是亚当,倾斜率( )= 0.0001, = 0.9, = 0.999。卷积内核大小 ,数据集是根据文献[31日),输入图像大小 ,和培训平台Keras 2.7。我们提出的方法取得了理想的结果从不同的数据集和不同比例因子和与原RDN方法相比具有更好的稳定性。

3.2。与现有的方法比较

PSNR / SSIM的比较结果与RDAN方法和各种最近重要的方法如表所示2。我们的方法取得了优秀的成果在PSNR SSIM /标准数据集。

表2
基准测试结果,平均PSNR值/ SSIM,大胆是最好的结果,和斜体是第二个最好的结果。

我们的方法实现6最好的结果在9 PSNR值指标和SSIM的结果。一个PSNR结果排名第二,和两个SSIM结果排名第二。训练设置是根据文献[31日]。不同大小的表所示3。

表3
不同方法的参数大小。
3.3。烧蚀实验

这个烧蚀实验旨在评估注意结构特性对网络性能的影响在我们的新技术。这个实验的结果,比较RDN和RDAN方法和不同的设置,显示在图中6和表4。从这个结果中,我们可以看到,网络性能提高后添加关注模块。与原来的RDN方法相比,PSNR / SSIM的性能 分别提高0.70% / 0.52% / 2.03%。小 错误,网络性能越好。与CA模块添加或PA模块相比,信噪比SSIM / 性能降低0.65% / 0.82% / 0.91% / 6.26% / 13.17%和1.01%,分别。

(一)PSNR值
(一)PSNR值
(b) SSIM
(b) SSIM
图6
不同的方法在烧蚀测试性能指标的变化。
表4
比较BSD100数据集上的烧蚀测试性能指标(平均近20结果)。

此外,最初的RDN技术相比,性能不能增加通过添加CA或PA单独模块。只有结合这两个性能可以提高。比较实验表明,添加关注结构显著提高PSNR SSIM / 错误和其他性能指标相比原来的RDN网络。

3.4。剩余扩展层

我们开发了一个残留网络中扩展层,进一步增强其残余收敛性能。我们设计了四组对比试验,以定量评估和比较残余扩展层的性能。他们是RDAN1: RDAN剩余比例在功能块;RDAN2: RDAN残余扩展层功能组;RDAN3: RDAN残余和扩展层 错误损失函数,为了定量评估和比较残余扩展层的性能。图7和表5都显示了结果。这些结果表明,RDAN1 RDAN2网络的性能优越。两个网络之间的差异是,剩余扩展层位于不同位置。在RDAN1网络,在基本块剩余比例设置,而剩余比例设置在RSDB RDAN2网络。但相比之下,PSNR SSIM / 这两种方法也得到改进与原来相比RDAN0网络与残余扩展层。PSNR SSIM / 性能指标已经提高了0.82% / 0.78% / 0.24% / 11.08% / 14.56%和0.28%,分别。它还表明,扩展性能基本块比RSDB。

(一)PSNR值
(一)PSNR值
(b) SSIM
(b) SSIM
图7
剩余比例消融比较测试结果。
表5
剩余比例消融在BSD100数据集比较测试性能指标(平均近20结果)。

此外,当我们的性能改善更加明显 损失函数使用,性能指标增加了1.19%,1.18%,和14.24%,分别。这表明缩放和残留 混合损失函数起着重要的作用在促进性能,可以同时使用这两种技巧,与特定的利益PSNR和SSIM性能指标。从这个比较实验可以看出,剩余比例的位置有一些对网络性能的影响,并且基本块的残垢性能优于RSDB。并结合就业的 混合损失函数和剩余比例可以达到更好的效益。

3.5。的影响 损失函数的性能指标

我们发现通过前两集的比较实验 损失函数可以显著提高网络的性能。因此,我们设计了四组消融实验对网络性能评估的性能消融为了进一步验证该损失函数的差异。这四组对比试验包括值为0.0,0.002,0.01和0.02。数据8- - - - - -9和表6显示影响PSNR SSIM / 错误的表现不同 价值。结果表明之间的网络性能指标改善时[0.002,0.01]后采用新的混合损失函数。

(一)PSNR值
(一)PSNR值
(b) SSIM
(b) SSIM
图8
不同的影响 在PSNR / SSIM的性能指标。

图9
的影响 的性能指标 错误。
表6
的影响 性能指标。

我们可以看到在图9网络的 错误是近饱和之前采用的混合损失函数,这意味着更多的培训周期不会显著降低 错误。很明显,网络的 错误是进一步减少当新的混合损失函数,证明混合损失函数的有效性降低 错误。当 ,PSNR / SSIM性能提高0.55% / 0.70%,分别 性能提高了11.85%,结果是很明显的。

和 值持续增加,PSNR / SSIM指标增加0.32% / 0.38%。由于增加不明显 误差降低了0.56%。由于 继续增加,如 ,PSNR值/ SSIM指标下降了0.98% / 1.12%,分别和性能显著恶化。因此,可以看出,当 价值[0.002,0.01]范围可以有效改善网络性能的对比实验。而当 超过这个范围内,网络性能可能会恶化。

3.6。视觉性能比较

各种技术的视觉性能进一步使用SRCNN的性能相比,RDN, SwinIR,分别和DeFiAN方法。几种方法的结果数据集DIV2K数据所示10- - - - - -13一起PSNR SSIM / 误差度量。PSNR SSIM / RDAN方法的误差度量是杰出的结果。的损失函数 是一个动力损失函数, 的剩余比例因子RDAN, 。


图10
从数据集Div2K图片0001。

图11
从数据集Div2K图片0010。

图12
从数据集DIV2K图片0055。

图13
从数据集DIV2K图片0068。

从视觉表现,很明显,我们的方法恢复结果优于SwinIR和DeFiAN方法图10。例如, 错误SwinIR和DeFiAN 0.2784和0.2471,分别,这明显大于0.2314的我们的方法 错误,证明RDAN方法可以减少的效率 有效的错误。

此外,显示在图11的PSNR / SSIM SwinIR方法是25.0648/0.5559,这是优于RDN方法24.9222/0.5438,但是 SwinIR方法的误差是0.4902,高于0.4157 RDN方法。结果表明,更好的PSNR值/ SSIM并确保更好的结果 的性能。相似的结果也可能是数据中找到12和13。

3.7。为现实世界的图像超分辨率

训练数据和测试数据前面的试验来自同一个数据集,从同一数据集和数据有一定的相似之处即使没有重叠的训练数据和测试数据。我们雇佣培训和测试在许多数据集进一步比较各种方法的泛化性能未知的数据集,从而使定量比较和绕过前面的限制,真正的形象比较只能依靠视觉比较。

在该测试中,训练数据集来自DIV2K和测试数据集来自Set14 BSD100和DTD。因为这样的高分辨率图像也有比较,PSNR, SSIM和其他指标可以定量比较。如数据所示14- - - - - -17,SwinIR RDN的性能,分别和DeFiAN方法进行比较。


图14
从数据集Set14君主形象。

图15
从数据集BSD100图片189080。

图16
图像从7266数据集DTD。

图17
图像从7272数据集DTD。

把图16作为一个例子,PSNR SSIM / SwinIR方法和DeFiAN方法的指标是25.5228 / 0.6711/0.2902和0.7021/0.2667 / 26.3475,分别时我们的方法的性能指标是26.6747 / 0.7099/0.2510,分别。与SwinIR法和DeFiAN法相比,性能显著提高。

从这个结果中,我们可以看到,我们的方法取得了最好的性能,它不仅有更好的PSNR值/ SSIM性能指标但也更好 错误的性能。它表明RDAN方法具有更好的泛化性能在陌生的数据集,因为它不仅降低了平均误差而且当地像素的最大误差。

4所示。结论

结合残余密集网络的优势和特点注意力机制,我们提出了一个更有效的残余密集关注网络(RDAN)图像超分辨率,这主要是由像素的注意力和频道的关注和剩余密度结构。通过引入注意力机制,我们可以专注于更重要的信息在当前任务的输入信息,减少注意到其他地区,甚至是过滤掉无关的信息来解决信息过载的问题。

同时,我们提出了一种基于相结合的混合损失函数 和 错误。参数给出的建议范围根据一组对比实验。太大或太小可能会恶化最终性能。实验结果表明,新方法不仅获得更好的PSNR / SSIM性能也更好 表现在我们提出RDAN网络基于特性的关注机制,验证新的网络具有更好的性能。此外,性能验证在现实世界的图像表明,我们建议的方法也有明显的优势,这也进一步说明了新方法的优势。实验结果推断,剩余密度连接配备像素注意力和频道的关注可以实现对最终结果产生积极影响。所以我们可以得出结论,注重方法和剩余密度结构可以改善我们的网络的性能设计得当。

数据可用性

生成的数据集和/或分析在当前研究可从相应的作者以合理的要求。

的利益冲突

我们宣布这个研究没有利益冲突。

确认

作者要感谢中国国家自然科学基金委的支持(没有。62162027);江西省自然科学基金(20212 bab202004);江西省科学技术工程教育部(没有。GJJ210646);九江城市的重大研发项目(没有。2020069)。