图像超分辨率使用分形编码和残余网络

文摘

分形编码技术是一种有效的工具来描述图像的纹理。考虑到现有的图像超分辨率的缺点(SR)方法,大规模重建性能的因素是贫穷和纹理细节是不完整的。在本文中,我们提出一个基于误差补偿的SR方法和分形编码。首先,四叉树编码在图像上执行和值域块之间的相似性和域建立了确定分形代码块。然后,通过这种相似性关系,重构吸引子的分形解码得到插值图像超分辨率。最后,分形编码的分形误差估计的剩余网络,深度和版本的估计误差作为误差补偿项添加图像插值图像获得最终的重建图像。网络结构共同训练的深度网络和一个浅网络。残余学习引入极大地提高网络的收敛速度和重建精度。与其他先进的实验方法基准数据集Set5 Set14, B100,和Urban100表明,我们的算法实现竞争性能定量和定性,微妙的边缘和生动的纹理。大规模的因素也可以重建更好的图像。

1。介绍

图像成像过程往往是受到downsampling等因素的影响,噪声和模糊。SR重建图像用于重建一个低质量低分辨率(LR)图像到一个高分辨率图像接近真实图像(人力资源)。SR在各领域的广泛应用,如视频监控、遥感、医学成像。由于图像退化模型的不确定性和重建的非唯一性约束,SR本质上是一个不适定问题1]。有三种主要的方法来解决老问题:基于interpolation-based, reconstruction-based,学习方法。

Interpolation-based方法估计未知像素在人力资源图像像素在已知的领域,如双线性插值和双三次的插值。他们是最广泛使用的高速和简单。然而,他们容易模糊和锯齿状的细节。为了弥补传统方法的不足,edge-directed插值方法(2提出了]。尽管边缘结构重建,噪音和失真容易发生(3]。reconstruction-based方法解决了这个问题通过先验知识,包括先天的优势(4前),梯度(5),全变差和贝叶斯模型。然而,由于严重依赖先验,大规模放大的先验是无效的因素。上优于方法的基本思想是获取LR图像映射到人力资源由训练样本图像,从而预测人力资源图像。训练样本库可以从内部LR的图像(6- - - - - -8)或从外部形象(9- - - - - -13]。大量的学习算法基于马尔可夫网络(9],局部线性嵌入方法[10),稀疏编码(11- - - - - -13),和锚的邻居14,15提出了。然而,这些方法有有限的能力在学习过程中提取和表达特性。近年来,深度学习的方法是应用于许多领域16,17],许多研究人员介绍了卷积神经网络(CNN) SR重建和学习的端到端LR和人力资源之间的映射图像依靠外部数据集;例如,SRCNN [18],VDSR [19],EDSR [20.展示优势。特别是,拟议中的残余网络使得网络之间的数据传输流畅,这使得网络的深度增加,重建效果更好。然而,他们仍然有相当大的缺点。例如,当图像内容不匹配的样本数据集,边缘不规则中观察到的结果(21]。此外,这种方法往往会产生模糊和过度平滑输出,缺乏详细的信息。当前的工作只适合一些小型和特定比例因素,和大规模的重建因素会有歧义的缺点和缺乏细节。使预测图像匹配自己尽可能self-similar-driven SR算法(selfExSR) [7提出,可以扩展搜索空间内部图像块的几何变化,从而改善视觉效果。许多研究人员也开始结合多种方法试图重建老,和盾等。22机器学习方法应用于图像插值和外地自回归建模(NARM)嵌入到稀疏表示模型。视觉效果进一步提高,但随着放大规模的增加,纹理和边缘细节是不能很好地重建。

分形是一种有效的工具来描述图像纹理和广泛应用于图像分割23)、分类(24老),和其他领域。fractal-based SR方法利用相似的地方和传递性的单个图像搜索类似的图像块。使用类比法,LR的信息图像块重建人力资源合并图像块(25]。相似度可以视为一个收缩分形变换算子执行的萎缩和灰度图像修改操作。这个操作符可以估计的有吸引力的定点目标图像的拼贴定理。因此,只有转变存储在电脑中,这需要更少的存储空间比原来的形象。凌晨和胫骨26)提出了一种新的快速分形超分辨率算法使用功能类型正交分形编码方法,产生良好的细节和较低的计算复杂度,但缺乏灵活性和适应性。后,分形技术与其他技术的结合产生了很好的效果。徐et al。27)提出了一种纹理增强算法,利用当地的分形分析改善SR效果的图像和图像SR和增强解决问题。Yu et al。28)通过分形技术与基于实例的方法相结合,提出一种超分辨率算法保留了生动的纹理细节。然而,局部形状特征(如分形尺度因子和分形维数)和图像相似度还没有很好地考虑,可能会出现一些意想不到的工件。近年来,基于分形技术的SR方法只有一个有效的文档,都是研究如何保持纹理和结构信息。Zhang et al。3)提出了一个基于理性的分形插值的SR重建方法。首先,图像分为纹理区域和nontexture区域,然后根据图像插值的局部结构的特点。姚明et al。(29日)提出了一种自适应理性的分形插值模型,重建部分形状之间的关系维度和垂直比例因子。这些方法有一些改善复苏的边缘,但分形维数不准确地代表纹理细节。

更好地提高重建效果的纹理和边缘区域和进一步提高大规模的重建性能因素,我们应用分形几何和CNN老本文的研究,我们提出一种基于分形编码的SR方法和剩余网络。分形图像编码可以使用图像的空间信息和自相似结构信息来实现图像的超分辨率。估计分形编码的基本思想是原始图像的退化和解码版本在一个更高的分辨率。自然图像一般具有自相似特征(27)不严格。分形编码只是一个近似估计原始低分辨率的图像。分形编码的使用来实现图像SR复苏不可避免地引入了错误并导致blockiness和局部细节的损失。改善这一现象,我们输入的编码和解码错误图像深度残余网络评估和正确使用这个作为补偿项插值图像进一步提高重建精度。因为大多数的错误失去了分形插值后图像高频细节,更好的学习细节在本部分中,我们提出一个方法的卷积神经网络进行训练。我们建造了一个深残余网络联合训练的深度网络和肤浅的网络,提高网络的宽度和学习不同的特性。残块的引入增加了网络的深度,进一步提高了信息流梯度,促进经济复苏的高频信息,提高了重建性能。通过分形技术的组合和残余网络,老的质地是更丰富和更现实的结果。

我们的主要贡献可以概括如下。(1)提出一种基于误差补偿的分形编码方法。(2)我们提出一个方法来估计分形编码使用CNN的分形误差的方法。(3)与最先进的方法相比,我们的方法不会导致过度平滑和工件和展品优越性能随着比例因子的增加。

本文的其余部分组织如下。部分2描述了相关工作。节3,我们的算法。实验和讨论是用来评估算法的有效性4。最后,部分5本文总结了。

2。相关工作

分形图像编码最初是用于图像压缩,后来应用于图像去噪、分类、超分辨率等等。由于分形解码的过程是独立的分辨率和分形编码不仅空间信息,还包含自相似图像的结构信息,分形图像编码可以实现图像分辨率重建(24]。在深入讨论该方法之前,传统的分形图像编码的基本原理简要介绍。

2.1。分形图像编码

分形图像压缩编码的过程是基于拼贴定理。一组压缩映射是通过给定的图像,这样的吸引子迭代函数系统近似为一个给定的图像,然后相应的参数记录。让 是测量空间形成的数字图像t是衡量两幅图像之间的距离 空间。假设有一个压缩映射 和一个图像 。如果 然后F是唯一吸引子所决定的吗 。对于任何给定的初始图像 ,F可以通过以下方程迭代解决:

图像之间的距离和F后我th迭代满足 在哪里年代是压缩的压缩因子图,

让F表示给定图像的大小编码,N通常是2的幂。首先,F分为不重叠的子块的大小 ,被称为块范围 。因此,图像F可以表示为 在哪里是范围块的数量,所有范围块吗形成了范围R。然后,F可分为一组域块吗 的大小通过一定的步长沿垂直和水平的水平。步长一般是1、2或3,重叠在附近,不需要覆盖整个图像F。通常,域块的大小范围的块大小的两倍,也就是说, ;因此,域块的数量 ,和所有域块构成域D。

在图像编码阶段,为每一个值域块 ,最佳匹配的定义域块需要搜索域中的块。如图1,可以近似通过收缩转换运算符 ,可以被视为一个萎缩的转换和灰度变换的集合。萎缩的转换结合了几何映射。我们需要转换同样大小的一块 ,和减少域块表示为 。有八个这样的转换,也就是说, ,包括四个旋转,一个水平运动,一个垂直运动,和两个对角运动。灰度变换将简约域块转换为一个近似范围块 ,在哪里对比因素和吗是亮度的因素。调整参数可以由以下拼贴误差最小化 :

的参数和可以解决最小二乘方法,可以获得 在哪里和是jth的像素值和 ,分别为,b代表范围中的所有像素块的数量。获得最佳匹配的定义域块中,我们使用一个详尽的搜索方法。因此,我们得到了分形编码 范围的块 ,在哪里k最优参数的几何映射和我是最优的位置索引域块。分形编码的所有范围块叫做迭代函数系统对于一个给定的图像F。

2.2。分形图像解码

分形解码的过程生成原始图像信息通过使用分形吸引子的原始图像和最初的形象。在分形解码阶段,我们可以选择任意初始图像作为初始图像,这通常是一个空白的形象。然后,我们使用解码,直到收敛的迭代函数近似原始图像,如方程所示(2)。自相似性和原始图像通常是小,有一个解码图像和原始图像之间的误差。当放大图像F的比例因子h,我们需要扩展初始图像重建的图像的大小。值得注意的是,阻塞和领域范围也需要使用相同的分形编码。

3所示。算法

在本节中,我们讨论了该算法的细节。该算法在图像分形编码的框架下进行。流程图如图2。主要分为以下步骤:首先,LR图像进行分形编码,确定相应的分形代码,和之间的相似关系范围块和域块。然后,根据分形编码的特点是独立的图像的分辨率,超分辨率重构吸引子的分形解码,然后插值的图像。最后,分形图像编码的错误输入深度残余网络upsampling估计和人力资源的错误形象作为补偿项修正插值图像,获得最终的人力资源的形象。

3.1。四叉树分形编码

传统分形编码的拼贴误差方程所示(2)。减少错误,四叉树分形编码策略可以采用可变块大小。基本思想是首先使用大范围块搜索每个最优域块。如果相应的瓷砖误差大于给定的阈值,范围块分解成四个小块 , , ,和 ,已与相应的域块的转换关系 , , ,和 ,分别如图3。每一块然后研究递归为最优域块和编码,直到所有已编码的图像块。

3.2。超分辨率分形解码

通过分形编码LR的图像,我们获得之间的转换关系和相似的形象。这相似块独立于图像的分辨率,因此,当最初的LR的形象F是放大的h次,之间的相似性和保持不变。图像放大了h次记录 ,所以它满足 在哪里我插值算子,和相应的块吗和人力资源的图片 ,和大小是和 ,分别。

超分辨率分形解码类似于分形解码。给定任意初始图像相同的大小 ,初始迭代图像迭代由以下方程。分形插值估计的F图像可以近似l迭代:

上述方程的解码过程称为超分辨率分形解码过程。分形图像编码是一种有损编码因为当地自然图像没有严格的自相似结构。因此,有一个错误E之间的插值图像和原始图像 ,满足

很明显,是一个严格的局部自相似性的分形部分和E是剩余的部分(错误图片)。获得一个插值图像放大的h次,插值算子应用于两端的方程(9)获得 在哪里人力资源之间的误差图像吗和插值图像 。误差越小,更精确的重建精度。

3.3。CNN的错误图像估计

有效地估计 ,传统的方法是使用一个双立方插值算法。有工件和模糊,严重影响最终的重建效果。为了解决这个问题,我们提出一个CNN-based方法估计误差的图像。为了减少插值误差,误差估计最后作为补偿项添加吗获得一个更好的估计人力资源的形象,例如, 。

3.3.1。网络结构

该方法是基于分形技术来实现SR图像重建。更好的估计更准确地估计误差补偿项,深度剩余的网络体系结构是用来估计。ResNet,剩余学习框架,首先被他提出et al。30.)解决梯度爆炸或梯度消失的现象31日由于网络深度的增加)。因为残留的快速连接网络,网络之间的数据传输流畅,underfitting现象引起的梯度的消失也有所改善。剩余网络大量应用于重建工作,例如,VDSR [19],SRResNet [32],EDSR [20.],RDN [33),通过剩余的学习来增加网络的深度,提高图像重建的影响。基于剩余的学习,我们提出一个网络体系结构估算误差图像,如图4。图中显示一组架构与深和浅网络常见的输入。双向网络结构会增加网络的宽度,可以捕获不同的有效功能,改善重建性能。剩余深陷网络学习提高网络的收敛速度,同时增加深度,有效保持网络的高频特性。肤浅的网络采用一个简单的网络结构,提高了训练难度和有助于恢复图像的更多的特性。通过两个网络的联合训练,详细的人力资源错误图像可以更准确地恢复和重建的结果可以改善。

深层网络包括特征提取阶段和重建阶段。传统的特征提取方法主要使用一阶和两步方法过滤输入图像,而深度学习方法不需要手动设计滤波器,但自动从训练数据中学习。在特征提取阶段,以LR向前错误图像作为输入,并通过神经网络作为一系列的特征图谱。特征提取网络由一个卷积层和多元化的残块。首先,我们使用一个卷积层学习浅特性和加入修正线性单元(ReLU)非线性映射。卷积层可以表示为 在哪里代表卷积层的重量,表示层的偏见,算术符号代表卷积操作,E是输入LR误差图像,最后,功能层的地图是ReLU获得的功能。卷积层生成一个特征的地图64个频道。

然后,肤浅的特性用作输入到多个剩余块学习更高级的功能。每个残块由两个旋转相同的内核大小和数量的过滤器。剩余结构如图5。剩余结构是连接到一个标准的跳来跳去一些层前馈网络卷积。每次一层是绕过,生成残块,每一层学习剩余函数原函数的输入图像。的输出是由输入和连续两个旋转的结果。每个残块作为一个单元,每个单元的输出传递给下一个单元。假设有我残块,我th残块可以通过方程(12),也就是说, 在哪里问_我是我th残块操作,相当于卷积操作和ReLU操作在方程(11)。l_我是我th残块,完全由每个卷积生成层内,和上一层可以访问后续层。

作为网络的深层特征图的数量增加,减少的数量特征图,所有单位的输出输入融合层卷积核控制输出信息。残块的引入提高了网络的收敛速度,增强之间的流动信息,提取更多的图像功能。最后,添加一个卷积层的重建是输入输出模块。所有卷积层卷积核的大小相同 。确保特性图的大小是一样的大小的输入,我们设置步幅和边缘垫1。

图像重建阶段使用像素洗牌[34)(也称为亚像素卷积)upsampling图像分辨率,这是人力资源的规模扩大空间。相比deconvolutional层(如FSRCNN [35),它引入了更少的棋盘构件(36]。此外,我们upsampling方法不插入一个或多个卷积upsampling层后,与前面的技术(20.,33),而是直接使用一个upsampling层,这不会影响重建性能但会显著增加的速度。与传统的卷积层,它输出渠道的数量特征是 ,在哪里r比例因子。

肤浅的网络还包括特征提取和重建阶段。EDSR、RDN等有效地使用全球剩余路径提取浅层和深层的信息,但这全球剩余路径是一个线性堆几个回旋的层,这是计算密集型。Yu et al。37证明那些线性运算是冗余的,可以在某种程度上残留体内吸收。因此,我们结合的想法37),并使用两个网络共同训练。一个浅Conv层的卷积核的大小使用,和过滤器的数量是64。然后,直接输入像素洗牌层upsampling得到重建图像。

3.3.2。培训

深层网络和肤浅的网络是独立的,和两个互相不影响。LR图像作为输入用于SR重建。最后人力资源错误图像得到方程(13),也就是说, 在哪里E代表输入LR错误的图像,和代表人力资源输出的深和浅的网络参数化和 ,分别为,是最后的人力资源错误图像共同训练。

鉴于米训练图像对 ,在哪里E代表输入图像和LR错误代表相应的人力资源错误的形象。我们的网络联合训练通过最小化的欧几里得损失预测人力资源的形象和真正的人力资源错误的形象 ,也就是说, 在哪里 代表权重衰减参数,并应用于网络代表妥协参数。

总之,SR方法的具体步骤基于分形插值和残余网络如下(参见算法1)。

4所示。实验

4.1。数据集

为了演示了该方法的有效性,进行了定量和定性的比较不同规模的因素。培训深度残余网络,外部数据集DIV2K [38使用)出具Timofte等人。DIV2K数据集包括800个训练图像,验证图片,100和100测试图像。因为我们使用深度残余网络估计误差图像,使用的数据集训练网络的分形图像编码的错误。在实验中,我们在800年训练图像进行分形编码处理。错误的图像对人力资源和LR形象对作为训练样本,和6验证图像选择验证。我们使用四个标准基准数据集:Set5 (39],Set14 [40),B100 (41],Urban100 [7比较性能。

4.2。参数设置

实验环境包括硬件设备和软件配置。测试计算机配置为英特尔酷睿i7 - 5820 k CPU@3.30 GHz x12, NVIDIA GeForce泰坦X GPU, 16 GB的RAM, Win10操作系统,编译软件MATLAB 2018。

在训练的过程中残余网络,咖啡(42)是用于构建网络模型和优化的亚当优化器。批量大小设置为256,动量是0.9,体重0.009衰减参数(l₂点球乘以0.009)。重初始化,我们指的是他提出的方法等。43]。卷积的过滤层网络中被一个零均值高斯分布随机初始化的标准偏差为0.01。过滤器在deconvolutional层由一个双线性插值的内核初始化。所有层的初始学习速率被设置为1e−3,每100时代减少一半。网络训练所需的时间大约是7个小时。

对于每一个比例因子,人力资源的错误图像从训练图像随机裁剪成图像块的大小 ,然后是人力资源使用双立方插值算法生成图像生成相应的LR训练样本。避免过度拟合和进一步提高精度,数据集被横向放大,垂直翻转和旋转90°。因为人类对详细的变化更敏感比颜色,与其他方法一样,我们也应用算法的亮度通道YCbCr空间和双立方插值到其他两个颜色通道。

分形编码算法中的参数是: , ,和 。如表所示1网络越深,性能就越好。随着剩余数量的块和回旋的层数的增加,很容易获得更好的性能。因此,设计一个网络深入到更深入、更广泛的网络允许更多的分层的功能。残块的数量设置为10,和每个卷积层64特征图。

4.3。与最先进的模型比较

来验证该算法的有效性,我们将我们的方法与六个最先进的方法定性和定量三个不同规模因素(2、3和4)。这些方法包括两个传统学习方法相比:+ (15]和SelfexSR [21)和五个深度学习方法:SRCNN [16],VDSR [17],EDSR [18],RDN [31日],PASSR [44]。

有效地评估重建效果的优缺点,峰值信噪比(PSNR)和结构相似度(SSIM)被用来衡量图像质量。PSNR评价方法是一个完整的参考。PSNR值越大,图像的重建效果越好。SSIM指两个图像之间的相似性的结构信息,也是一个完整的参考图像质量评价指标,从三个方面衡量图像相似性的亮度,对比度,和结构。SSIM值区间[0,1],和更大的价值,更好的重建效果: 马克斯表示图像的灰度,一般255;P和问分别是图像的宽度和高度;y是原来的人力资源形象,是重建人力资源形象;和是最初的人力资源的平均灰度值和方差图像,分别;和是重建的图像的灰度均值和方差分别为;是原来的人力资源的协方差图像和重建人力资源形象;和和是常数。

表2显示了所有方法的定量比较的规模因素2、3、4四个数据集。每个方法的效果在SR由平均PSNR和SSIM总结。在重建过程中,任何规模的原始LR图像作为输入,和相应的人力资源直接重建图像。我们实验代码的作者提供的这些方法。

从表中可以看出,PSNR值和该方法的SSIM比较法实现最好的结果。双三次的使用一个简单的插值方法,没有达到很好的性能。+算法使用锚定域回归的方法,和重建效果得到改善。PSNR值增加1∼2 dB与双三次的相比,SSIM是提高了约0.03∼0.06。首次引入的SRCNN深学习SR字段,显示性能优越等传统方法相比,双三次的,A +, SelfExSR。与+相比,PSNR值上升了大约0.1∼0.2 dB。然而,SelfExSR比SRCNN Urban100数据集,利用图像的自相似性。因此,Urban100要好,主要包含自相似结构。VDSR EDSR, RDN, PASSR介绍剩余的学习,使得网络的结构更深层次的学习更丰富的功能,达到良好效果。RDN使用residual-dense块(RDB)保留一组丰富的功能,和比例因子2时,最好做在大多数数据集。 However, when the scale factor was larger (such as 3 and 4), RDN did not have an advantage. PASSR is an SR reconstruction method for stereoscopic images that uses stereo image datasets for training. Therefore, its PSNR and SSIM are optimal on the dataset of Urban100, which contains a large number of stereo images.

随着比例因子的增加,所有方法的性能下降,但我们始终保持最好的方法结果比例因子4时,这表明,我们的方法显示了大规模因素更好的性能,因为我们使用分形编码获得更多的图像信息以更少的数据比其他方法。此外,Urban100,主要包含自相似结构,使用更大的训练层和图像块可以更好地利用接受域来获取更多的信息。尽管该方法并没有显示出优势放大2倍时,它显示的结果为大规模的因素。一般来说,我们的方法仍然是竞争比较先进的方法。

PSNR和SSIM只衡量图像像素之间的区别,和重建的质量不能完全评估。因此,基于定量比较,我们结合定性分析图像质量的视觉效果。数据6- - - - - -10表明本文的定性比较与其他先进的方法。

数据6- - - - - -10展示我们的定性比较方法和先进的方法。数据6和10是图的各种方法的效果2的比例因子。我们测试了纹理保留“雕塑”,“文本”和“窗口”。从这可以看出,该算法是视觉竞争和建构更多的纹理。双三次的基于平滑假设的原则,图像很模糊,重建是不好的。虽然+算法已得到改进,但仍然是一个模糊的现象。SelfExSR、SRCNN VDSR几乎没有区别的重建“雕塑”和“文本”。然而,从图可以清楚地看到10SRCNN图像的纹理具有显著的扭曲。SelfExSR比SRCNN略好,但都有工件的边缘。VDSR效果最好,更完整的线结构。EDSR重建更多细节的“雕塑”和“文本”清晰的效果。然而,窗口的纹理线没有VDSR达到同样的效果。该算法比EDSR略好,更多细节提取,畸变得到了改进。

数据7和8是视觉交涉3的比例因子。所有算法的重建性能退化。在图7,+出现锯齿状和SRCNN展示更多的失真和边缘模糊。这一现象改善VDSR网络深度的增加。因为SRCNN和VDSR使用双立方插值预处理,重要的构件。模式的“衣服”SelfExSR清晰,但领的效果不是很好。EDSR和该算法重建明显边缘细节,可以证明深层网络的优越性。在图8,无论是双三次的还是一个+方法重构了“婴儿”的眉毛。EDSR重建一个更完整的眉线,该算法有更多的眉毛纹理。尾巴的“鱼”,双三次的,+,SRCNN, SelfExSR, RDN有不同程度的工件,而VDSR的影响和我们的更完整和清晰。等复杂纹理的“珊瑚”,我们的算法显示更多的边缘信息。

图9显示了图4的比例因子的影响。比例因子的增加,算法的重建能力大大降低。与原始图像相比,差距越来越大,边缘模糊和工件更容易发生。影响SRCNN和VDSR之间并没有太大的区别。“墙”、“仙人掌”,和头发的“狒狒”模糊,边缘细节是不完整的,纹理是扭曲的。“狒狒”SelfExSR方法生成的图像块效应很重要,因为它利用图像块内的自相似性特征对图像块进行分组。对于更复杂的纹理图像,如img092,双三次的,+,SRCNN, SelfExSR,更严重的锯齿状。比VDSR PASSR一般清晰,但是墙上的纹理扭曲和工件。虽然我们的方法也将图像分形技术,它使用深层网络有效地弥补这个错误。因此,它取得了相当大的视觉效果。 For example, the thorns on the edge of the “cactus” are better presented, and the “baboon’s” hair not only has no blockiness but is also more complete. In img092, the texture is more realistic and not jagged.

一般来说,双三次的方法使用一个简单的插值算法,重建效果很模糊,光滑。+结合稀疏表示和锚定方法计算相关的字典原子。虽然效果比传统的稀疏表示方法,它仍然出现锯齿状。SRCNN使用一个简单的卷积神经网络改进与传统方法相比,但个人图像仍无法与SelfExSR方法使用内部的例子。VDSR方法使用全球剩余方法深化网络结构,这是比SRCNN略好。然而,有工件的边缘细节和纹理细节不能复制。EDSR使用一个更深层次的网络结构学习更多的图像功能,减少边缘模糊。RDN使用RDB块完全提取图像的分层特性和恢复更多的纹理。PASSR介绍了视差的注意机制全球接受的领域,与大方便处理立体图像的视觉变化,所以应用范围有一定的局限性。该方法的优点是基于分形技术在结构描述和使用分形超分辨率放大技术重建。 Because of the blockiness that may occur due to the self-similarity characteristics inside the image, the error caused by fractal coding is compensated by constructing a deep residual network. The reconstruction performance is greatly improved and more texture details are presented, making the estimated image more realistic and complete.

4.4。烧蚀分析

为了进一步了解该算法的贡献,我们通过实验评估模型中不同的组件。参数因素在实验中相同的部分4.2。因为不同规模因素相似的结果,只有比例因子3的结果报告,数据集是Set14。

传统fractal-based SR方法通常使用一个双立方插值算法估算误差补偿。从分析部分4.3,可以看出,双三次的算法采用基于平滑的原理和不能有效估计一个更完整的错误形象。同样,如果估计错误图像不是有效的,不能获得理想的重建图像添加到分形插值时的形象。表3显示了平均PSNR获得使用传统的双三次的方法和深度残余网络。可以看出,重构误差的图像通过构造残余网络大大提高重建质量。

证明的有效性在深水中的平行结构残余网络,我们将网络分成网络和一个浅网络。表3显示了不同组件的消融研究与比例因子3 Set14数据集。两个网络的联合训练增加0.18 dB的PSNR值。因为两个网络联合训练相当于扩大网络,提高网络的参数和特征的数量,所以网络学习更多不同的特性,可以有效地提高重建的视觉效果。

删除证明ResBlocks的优势,来观察其效果,在实验中,所有ResBlocks相同数量的Conv取代,和随后的融合层被移除。最后卷积的结果层是直接进入重建网络然后得到最终的预测。如表所示3ResBlock被删除后,SR重建性能退化因为残余学习减少了网络的重量,提高了信息流和梯度,大大加快了收敛,达到良好的性能。

4.5。评估在运行时间

最后,我们比较先进的方法的运行时间在同一台机器上。我们使用这些算法在Urban100 100超分辨率图像,然后记录每个算法的平均PSNR和消费时间。如图11,X协调运行时间和代表Y坐标表示的平均PSNR。算法的平均PSNR值是最大的,和它的消费时间是处于中等水平,而小于EDSR, RDN SelfexSR, a +。

5。结论

在本文中,我们提出一种基于分形插值图像的超分辨率方法和深度残余网络,可有效恢复纹理结构细节,改善边缘模糊和失真问题,并有很高的SR重建性能。首先,图像分形编码建立范围块之间的相似性和域块。然后,我们使用相似关系与SR SR重建图像的分形解码。在分形解码过程中,由于分形图像编码是有损压缩,有一个解码图像和原始图像之间的误差。更准确地估计误差补偿项,剩余网络用于火车高和低分辨率的错误图像之间的映射关系。在未来的工作中,插值方法的重建精度将进一步改善。

数据可用性

本文中所有数据都是从互联网上公开的数据集。

的利益冲突

作者宣称没有利益冲突。

确认

作者承认中国的国家自然科学基金(格兰特:61772319,61772319,61976124,61773244,61873177),山东省自然科学基金(格兰特:ZR2017MF049),和中国烟台关键研究和发展项目(格兰特:2017 zh065和2019 xdhz081)。

引用

1. 美国贝克和t·金,“超分辨率的限制,如何打破他们。”IEEE模式分析与机器智能,24卷,不。9日,第1183 - 1167页,2002年。视图:出版商的网站|谷歌学术搜索
2. d .周董w . w .沈,“使用定向立方卷积插值图像缩放,”专业图像处理》第六卷,没有。6,627 - 634年,2012页。视图:出版商的网站|谷歌学术搜索
3. y张问:风扇、f·鲍y . Liu和c,“幅图片超分辨率基于理性的分形插值,”IEEE图像处理,27卷,不。8,3782 - 3797年,2018页。视图:出版商的网站|谷歌学术搜索
4. y Tai,刘,m . s .布朗,美国林,“超级分辨率合成使用之前和单一图像边缘细节,”《IEEE计算机视觉与模式识别会议旧金山,页2400 - 2407年,CA,美国,2010年5月。视图:出版商的网站|谷歌学术搜索
5. 徐j .太阳,z, h . Shum”梯度剖面及其在图像超分辨率和增强应用之前,“IEEE图像处理,20卷,不。6,1529 - 1542年,2011页。视图:出版商的网站|谷歌学术搜索
6. g·弗里德曼和r法塔尔”,图像和视频从当地self-examples升级。”ACM交易图片,30卷,不。2、1 - 11,2011页。视图:出版商的网站|谷歌学术搜索
7. j·b·黄,a·辛格和n . Ahuja“单一图像超分辨率转换self-exemplars,”《IEEE国际会议在计算机视觉和模式识别,页5197 - 5206,波士顿,MA,美国,2015年6月。视图:出版商的网站|谷歌学术搜索
8. y z z . y . Wang, z . w . Wang et al .,“Self-tuned深超分辨率,”《IEEE计算机视觉与模式识别会议研讨会美国,页1 - 8,波士顿,MA, 2015年6月。视图:出版商的网站|谷歌学术搜索
9. w·t·弗里曼·e·c·帕斯多,o·t·卡迈克尔,“学习低级视觉”,国际计算机视觉杂志》上,40卷,不。1,第45期,2000页。视图:出版商的网站|谷歌学术搜索
10. h . Chang y . m . Xiong, d . y . Yeung”通过邻居嵌入超分辨率,”《IEEE计算机视觉国际会议,页275 - 282,华盛顿特区,美国6 - 2004。视图:出版商的网站|谷歌学术搜索
11. j·h·杨,j·赖特,t . s .黄马和y,“通过稀疏表示的图像超分辨率,”IEEE图像处理,19卷,不。11日,第2873 - 2861页,2010年。视图:出版商的网站|谷歌学术搜索
12. l .方、h·卓和美国,“超分辨率高光谱图像通过superpixel-based稀疏表示,“Neurocomputing卷,273年,第177 - 171页,2018年。视图:出版商的网站|谷歌学术搜索
13. c . y .杨和m·h·杨“快速简单的函数,直接超分辨率”《IEEE计算机视觉国际会议,页561 - 568年,悉尼新南威尔士,澳大利亚,2013年12月。视图:出版商的网站|谷歌学术搜索
14. r . Timofte v . De, g·l·范·“锚定回归街区,快速的基于实例超分辨率,”《IEEE计算机视觉国际会议,页1920 - 1927年,悉尼新南威尔士,澳大利亚,2013年12月。视图:出版商的网站|谷歌学术搜索
15. r . Timofte v . d .手中,l . v .咕”+:调整固定社区回归快速超分辨率”电脑Vision-ACCV 2014施普林格,页111 - 126年,可汗,瑞士,2014。视图:谷歌学术搜索
16. g·j·j·j . Li元,h .粉丝,“使用wavelet-domain-based深CNN Multifocus图像融合,”计算智能和神经科学卷,2019篇文章ID 4179397, 23页,2019。视图:出版商的网站|谷歌学术搜索
17. 和h . g . j . Li Li粉丝,“形象dehazing使用residual-based深CNN,”IEEE访问》第六卷,第26842 - 26831页,2018年。视图:出版商的网站|谷歌学术搜索
18. c, c . c .阿来k .他和x唐,“学习深卷积图像超分辨率网络”电脑Vision-ECCV 2014施普林格,页184 - 199年,可汗,瑞士,2014。视图:出版商的网站|谷歌学术搜索
19. j·k·j . Kim Lee和k·m·李”准确的图像超分辨率使用很深的卷积网络”学报IEEE计算机视觉与模式识别会议拉斯维加斯,页1646 - 1654年,NV,美国,2016年6月。视图:出版商的网站|谷歌学术搜索
20. Lim,美国的儿子,h·金,美国不,和k·m·李,“针对单一图像超分辨率增强深残余网络”程序的计算机视觉和模式识别的研讨会火奴鲁鲁,页1132 - 1140年,美国,2017年7月,你好。视图:出版商的网站|谷歌学术搜索
21. y HaCohen、r法塔尔和d·里奇斯“图像通过纹理upsampling幻觉,”《IEEE国际会议上计算摄影美国马,页1 - 8,剑桥,2010年3月。视图:出版商的网站|谷歌学术搜索
22. w .咚,l . Zhang r . Lukac, g .史”与外地自回归建模、基于稀疏表示的图像插值”IEEE图像处理,22卷,不。4、1382 - 1394年,2013页。视图:出版商的网站|谷歌学术搜索
23. l, l . Xizhe y均et al .,“一个新的改进的扫描图像的阈值分割方法储层岩石考虑孔隙分形特征,“分形,26卷,不。2,文章ID 1840003, 2018。视图:出版商的网站|谷歌学术搜索
24. 张,张x, y . Li”分类和煤岩的分形特征碎片在单轴循环加载条件下,“阿拉伯地球科学杂志》,11卷,不。9,201年,页2018。视图:出版商的网站|谷歌学术搜索
25. l·w·谢,j . Liu邵,f,“针对单一图像超分辨率、多尺度分形编码”智能计算理论卷,8588年,第434 - 425页,2014年。视图:出版商的网站|谷歌学术搜索
26. y和h Shin”一种新颖的快速分形超分辨率技术,”IEEE消费类电子产品卷,56号3、1537 - 1541年,2010页。视图:出版商的网站|谷歌学术搜索
27. h .徐、g .翟和x,“单一图像超分辨率细节增强基于局部梯度的分形分析,“IEEE电路和系统视频技术,23卷,不。10日,1740 - 1754年,2013页。视图:出版商的网站|谷歌学术搜索
28. l . Yu y徐,徐h . x,“Self-example基于超分辨率与fractal-based梯度增强,”《IEEE国际会议多媒体和世博会研讨会加利福尼亚州圣何塞,页1 - 6,,美国,2013年7月。视图:出版商的网站|谷歌学术搜索
29. x姚明,问:吴、张平和f .包“适应性理性的分形插值函数图像超分辨率通过当地的分形分析,“图像和视觉计算卷。82年,39-49,2019页。视图:出版商的网站|谷歌学术搜索
30. k . x张,他任美国,j .太阳,“深残余学习图像识别,”《IEEE计算机视觉与模式识别会议拉斯维加斯,页770 - 778年,NV,美国,2015年6月。视图:出版商的网站|谷歌学术搜索
31. y Bengio、p . Simard和p . Frasconi”学习与梯度下降的长期依赖性是困难的,”IEEE神经网络,5卷,不。2、157 - 166年,1994页。视图:出版商的网站|谷歌学术搜索
32. c . Ledig l·泰斯f . Huszar et al .,“写实的单一图像超分辨率使用生成对抗的网络”《IEEE计算机视觉与模式识别会议火奴鲁鲁,页105 - 114年,美国,2017年7月,你好。视图:出版商的网站|谷歌学术搜索
33. y, y, y, b .钟和傅y,“剩余密集的网络图像超分辨率,”2018年,https://arxiv.org/abs/1802.08797。视图:谷歌学术搜索
34. w·史,j .绅士f . Huszar et al .,“单一图像的实时和视频超分辨率使用高效的亚像素卷积神经网络”《IEEE计算机视觉与模式识别会议拉斯维加斯,页1874 - 1883年,NV,美国,2016年6月。视图:出版商的网站|谷歌学术搜索
35. d .曹国伟,c·l·陈,t . Xiaoou”加速超分辨率卷积神经网络”欧洲计算机视觉施普林格,页391 - 407年,可汗,瑞士,2016。视图:谷歌学术搜索
36. d·文森特·o·奥古斯都,o·克里斯,“反褶积和棋盘工件,”蒸馏,1卷,不。10日,2016年。视图:出版商的网站|谷歌学术搜索
37. j . Yu y粉丝,j·杨et al .,“高效、准确的图像超分辨率宽激活,”2018年,https://arxiv.org/abs/1808.08718。视图:谷歌学术搜索
38. r . Timofte e . Agustsson l . v .干傻事et al .,“NTIRE 2017挑战单一图像超分辨率:方法和结果,”《30 IEEE计算机视觉与模式识别会议研讨会火奴鲁鲁,页1110 - 1121年,美国,2017年8月,你好。视图:出版商的网站|谷歌学术搜索
39. m . Bevilacqua a . Roumy c·海鸠et al .,“单一基于非负的邻居嵌入的图像超分辨率低,”《英国机器视觉会议英国吉尔福德,页135.1 - -135.10,2012年5月。视图:出版商的网站|谷歌学术搜索
40. r . Zeyde m·兰德,m .防“单一图像使用通过扩大,”曲线和表面施普林格,页711 - 730年,柏林,德国,2010年。视图:谷歌学术搜索
41. d·r·马丁c . Fowlkes d·塔尔和j·马利克,“人类自然图像分割的数据库及其应用评价分割算法和测量生态数据,”《IEEE计算机视觉国际会议温哥华,页1110 - 1121年,公元前,加拿大,2002年7月。视图:出版商的网站|谷歌学术搜索
42. y, e . Shelhamer j·多纳休et al .,“咖啡:快速卷积架构特性嵌入”,2014年,https://arxiv.org/abs/1408.5093。视图:谷歌学术搜索
43. k . x张,他任美国,j .太阳”深入深入整流器:超越人类ImageNet分类、性能”《IEEE计算机视觉国际会议,页1026 - 1034,圣地亚哥,智利,2015年12月。视图:出版商的网站|谷歌学术搜索
44. z . y . l . Wang Wang Liang et al .,“学习注意力视差立体图像超分辨率,”2019年,https://arxiv.org/abs/1903.05784。视图:谷歌学术搜索

版权

版权©2019甄华et al。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。