文摘
为了解决的问题长时间训练对于遥感图像超分辨率重建算法,超限分辨方法,遥感图像的重建提出了基于卷积神经网络,结合密度卷积网络,CNN并行结构和亚像素卷积。低分辨率图像的特征提取使用密集的卷积网络、并行cnn是用来减少网络参数,使用亚像素运算完成功能重建。结果表明,黑色曲线的最后PSNR值的迭代次数的三种方法在训练过程中是最高27.3,其次是中间的曲线,和最糟糕的曲线是27.0。证明该方法提取更多的功能,保留了更多的图像细节,和提高了重建图像的效果;它大大减少了网络中的参数,并避免过度拟合现象在网络。
1。介绍
随着现代航空航天技术的快速发展,遥感图像越来越广泛应用于各个领域,并且其决议的要求变得越来越高(1]。获取遥感图像的过程中,大气扰动和频率混叠,许多因素如成像和传输会造成分辨率下降(2]。由于制造工艺的限制和生产成本在硬件方面,因此,许多研究人员使用软件方法来提高图像的分辨率,这种方法叫做超限分辨图像重建(3]。由于传感器技术的局限性,地球观测卫星返回的图像数据通常是高分辨率全色图像和低分辨率多光谱图像。例如,QuickBird卫星的图像集合,Geoeye单通道高分辨率全色图像有很丰富的功能表面的细节,然而,由于光谱信息的缺乏,很难准确地识别和分类;虽然相应的低分辨率的多光谱图像低定义,但它有更多的光谱信息(4]。因此,在遥感图像的实际应用,通常的高分辨率全色图像和多光谱图像融合丰富的光谱信息,获取高分辨率的多光谱图像,提供高质量的图像数据进行后期处理的目标监测和识别(5]。卷积神经网络(CNN)是一种前馈神经网络包含卷积计算和深层结构。它是代表深度学习的算法。卷积神经网络学习能力表征翻译不变分类输入信息的类结构,因此也被称为“翻译不变的人工神经网络。“神经网络算法(神经网络)是一个非常,非常重要的机器学习算法。灵感来自于人类大脑的神经网络,它是整个深度学习的核心算法。深度学习的扩展神经网络算法。
超限分辨重建技术是一种非常有效的方法来解决这个问题。目前,超限分辨重建算法大致分为三类:interpolation-based方法,基于reconstruction-based方法和学习方法。其中,基于插值的方法来估计未知中间像素邻域像素值,简单容易实现,复杂性低,但高频细节恢复不明显,重建的图像的边缘细节很容易模糊。reconstruction-based方法利用先验知识,约束超分辨率重建过程,重建效果更好,和恢复细节更加明显,但总体复杂度高,计算时间长,收敛是很困难的。上优于方法近年来的主要研究方向是,使用高和低分辨率图像之间的映射关系指导超限分辨重建图像的先验知识也可以被添加到学习过程,重建的效果通常比插值和重建方法(6]。陆等人基于稀疏表示的重建方法,通过低分辨率图像块字典和高分辨率块字典联合训练,加强相应的字典稀疏表示之间的相似性,从低分辨率图像块和高分辨率图像之间的稀疏关系超完整的字典,重建效果好,但也有缓慢的重建速度,超完整的字典选择要求高,通用性差(7]。目前,卷积神经网络基于学习超限分辨重建方法的研究热点,取得了良好效果。卷积神经网络是指使用卷积神经网络业务的至少一层网络取代通用矩阵乘法操作,可以用来专门处理数据的网状结构,例如,时间序列数据和图像数据。提出了self-convolutional神经网络,已广泛应用于许多研究领域。超限分辨图像重建,卷积神经网络达到提高分辨率的目的通过直接学习从低分辨率图像映射到高分辨率图像。他等人研究基于深,深的新形象超限分辨方法级联卷积神经网络重建清晰的高分辨率(人力资源)从低分辨率遥感图像输入。直接学习剩余和之间的映射方法模拟LR基于深和浅的端到端卷积网络和相应的人力资源遥感图像而不是假设任何特定的恢复模型。其他最大池和upsampling用于实现多尺度空间通过连接底层和高层特征图和生成人力资源图像结合LR输入和剩余的图像。模型可以确保强有力的应对空间本地输入模式通过使用大过滤器和级联小过滤器。结果表明,该模型在很大程度上提高了遥感图像空间细节和光谱保真度和优于先进的老方法在峰值信噪比方面,结构相似,和视觉评估(8]。田等人使用Qt5接口库实现超限分辨遥感图像软件平台的用户界面和使用中间层卷积神经网络和超限分辨遥感图像重建算法。当时代的训练达到35次,网络聚合。这时,损失函数收敛于0.017,总时间约为8小时。本研究有助于提高遥感图像的视觉效果(9]。
卷积神经网络的训练时间长,我们研究一个卷积神经网络。方法结合卷积网络密度,CNN并行结构、密度和亚像素卷积使用低分辨率图像的卷积网络来提取特征,和CNN减少并行网络参数和亚像素卷积来完成功能重建。结果表明,该方法提取更多的特性和保留更多的图像细节,提高了图像重建效果;大大减少了网络中的参数,避免了过拟合现象的深层网络。结果表明,该方法是更快的训练和改善了主观和客观质量评价指标。
2。研究方法
2.1。基本原则
在过去SISR算法的缺点,考虑到遥感图像具有丰富的光谱特征和纹理特征。密集连接的引入提高了网络中信息的传播功能,减轻梯度消失的问题。此外,它允许您重用特性映射的上一层,避免重复学习冗余特征。此外,使用跳跃连接,结合低层特征和高层特征,为SISR提供广泛的信息,融合亚像素卷层,恢复图像的细节,和加快重建进程。
2.2。密卷积神经网络
学习深度学习的常见模型,卷积神经网络,cnn,以其高度的变形,如翻译、放大、和倾斜;体重共享特点和效率高的优势被广泛使用。卷积神经网络通常由3部分的输入层,一个卷积层和一个输出层(10]。浅功能可以抽象成高阶功能由多个卷积操作;因此,深层网络有助于网络特征的提取。网络结构与以前加深和扩大,DensNet卷积神经网络有密集的连接,这种结构提高了传播和重用的特性,简化了模型的参数,可以获得更好的结果(11]。Densenet通常是由多个Denseblock和TransitionLayer。
2.2.1。反向传播算法
卷积神经网络优化回归目标函数,利用反向传播梯度法在训练。真正的价值之间的预测值是不可避免的,反向沟通是每一层返回这个错误信息,并让这些层修改他们的权重,使卷积神经网络更准确(12]。
在哪里梯度下降的损失;更新层的重量;是这个词的偏差层;是错误的成本。所谓的BP网络误差的敏感性是每一层的每个神经元,这敏感性可以表示为
的是 。由于公式(3), ;因此,灵敏度等于输入神经元的导数的偏差。灵敏度公式在最后一层是与上面的不同,可以表示为
“°”代表一个点乘法和使用公式(5),可以实现反向传播网络的输出与输入:
2.2.2。调整梯度作物
基于反向传播梯度下降算法应用于卷积神经网络训练,和参数更新公式
在哪里代表动力参数,该值为0.9;是一个学习速率; 代表一个梯度。
当使用训练时,使用学习率高,更能提高训练的收敛速度;然而,它也会导致梯度爆破。因此,梯度作物用于限制最大梯度。梯度值 ,当梯度值 达到阈值10,减少梯度 ,和是一个常数。实验发现,可调节梯度减少使网络的收敛速度非常快,20-layer网络培训是在4个小时内完成,而3 - layer SRCNN需要240个小时的训练。
在网络训练过程中,优化回归目标函数使用一个基于反向传播梯度法,和重量训练是正规化衰减13,14]。这个实验设置为0.9,迭代的最大数量是93,5840次,基本的学习速率为0.1,每个测试500次测试,每个迭代100次训练,衰减值是0.0001,和算术处理器设置为GPU模式。
2.3。深度网络
卷积神经网络利用每个隐层的卷积操作学习社区空间之间的关系;因此,所有隐藏的可以被视为最后一层单元的一个子集,这形成了一个空间连续的感觉。然而,信息领域之外的像素不能使用;因此,扩大网络的知觉场可以有效改善红外遥感图像的重建质量(15]。SRCNN和ESPCN网络,在三层卷积网络,减少信息在每个像素邻域信息在重建过程中,因此,通过深化网络,增加隐藏层的数量,扩大认知领域,从而增加邻近的像素信息,可以用来提高重建的质量。为如果每一层,网络层 ,然后,大小是低劣 。同时,多个体积小芯也被用来代替大量核常用在上面的网络,使网络提高卷积神经网络的重建效果在一定程度上缺乏。使用 比两层卷积网络和卷积核 convolutionary核心与一层卷积网络具有相同的 大小百分比。另一方面,网络参数,体积小的多数核拥有相同的感受比大量更有利。例如,对于一个 convolutionary核心参数的数量 ,和两个 convolutionary核心,参数的个数 。所以网络的参数的数量使用多个更小体积小副本,对于深化卷积神经网络,可以大大减少了参数的数量,从而显著减少计算量,提高培训效率,显著降低对存储空间的需求,超限分辨重建的红外遥感图像具有实际应用价值(16,17]。
它可以表示为深度卷积网络组成的层隐藏层。
在哪里 是每一层的重量和偏见的网络;是二维卷张力、尺寸是吗 ; 和的特点和过滤层;向量的长度 ; 是激活函数。
2.4。本文将网络结构
depth-intensive卷积网络的结构提出了超限分辨遥感图像重建,featureExTractionNetwork网络中代表了特征提取模块,此模块由CNN和DENSENET网络,CNN是用来提取浅的特征图像,和DENSENT用于提取高层图像的特征。的结构特征提取模块如图1。
在网络,肤浅的功能从网络中提取需要保险丝高级特性,为了方便的大小控制特点,网络使用相同的卷积。图1代表一个单通道低分辨率图像输入大小 ,和肤浅的特征提取、特征的大小 ,具体操作,如以下公式:
提取浅特性提取网络Densenet的特点,代表了Denseblock特性的变化,如果有Denseblock卷层,每个卷的尺寸输出特性 ,添加每一层的特点,特点是DenseBlock输出 。为了避免网络参数的增长,它太大,设置数量Denseblock 4的数字卷积的层在每个Denseblock设置为5,网络的增长速度设置为16。ReconstructionNetwork代表网络中重建模块,两个平行的 cnn结构提出了, cnn不仅可以减小前层的特点,加快计算速度,也减少了损失的信息,增加更多的非线性,增强网络的潜在的表达式。在这个学科,convolutionary A1的核心是设置为64,和A2 convolutionary核的数量设置为32。
2.5。数据处理和环境配置
选择数据的分辨率0.3米。遥感影像的公共数据集,其中包括中立的遥感图像,图像大小 。程序开发基于Python的平台构建数据集。选择前5图像数据创建数据集最高的平均标准偏差:港,建筑,MobileHomePark, Densresidential和停车场。85年从上面的5种类型图像,图像被随机选中作为训练集;从建筑、Denseresidential和飞机类5图像作为测试集随机选择。为了验证网络的性能,程序开发环境和模型训练表所示1。
根据许多实验和前辈,设置网络BatchSize 48,均方误差作为网络的损失函数,优化器选择亚当优化器,最初的学习速率为0.002,学习衰减率是0.4,和学习速率是9时代的时期,学习速率低于时停止培训 。
3所示。结果分析
选择视觉主观评价,PeaksignaltonoiseRatio、PSNR和结构性SimilarityindexMeasurement, ssim作为评价指标。PSNR值是一个客观的标准来衡量图像失真或噪音水平,PSNR值越大,图像越近,接近原始高分辨率图像,公式是如以下公式:
SSIM表明措施的程度之间的图像图像,如以下公式:
方法和双三次的,SrCNN、ESPCN VDSR方法,定量评估结果的测试集建筑,Densresidential,飞机如表所示2。
大胆的字体代表PSNR和SSIM的最优值,而光字体代表第二个最佳值。从表可以看出2,本文给出的方法是最好的的2×3×4×放大恢复结果在上面的三个测试集PSNR和SSIM比其他方法。放大倍数是2时,方法与二次方法相比,平均PSNR和SSIM 1.90 dB和0.009,分别;当放大倍数是3,PSNR和SSIM增加1.38 dB和0.029,分别;当放大4,PSNR和SSIM增加平均为1.36 dB和0.034,分别。当上述各种方法2,AirPlane82的定性评估,通过放大图像细节,人们可以直观地评价图像的重建质量的视觉效果(18]。图2流程图的遥感图像融合算法基于卷积神经网络。
从上面我们可以看到,除了VDSR这方法,其他方法的重建结果经历了不同程度的图像失真和边缘模糊,重建的图像细节丰富,飞机的翅膀是清晰的,目标阴影和轮廓细节角落恢复接近原始图像,并与之前的方法相比,该方法有一个大幅增加(19]。平均运行时间之间的关系和Densresi-Dential平均PSNR值的测试设置如图3当上述重建方法是3。观察图3,我知道仅次于ESPCN的方法操作,但PSNR值远高于其他方法。为了进一步验证该方法的有效性,在训练集,3组比较实验中设置训练集放大时3;Ours_1所使用的网络;OURS_2是传统的基于Ours_1 reinviller像亚像素合并;OURS_3代表结构的并行CNN Ours_2的基础上。结果如图所示4。
观察图4,可以看出最终黑色曲线的PSNR值是27.3,中间曲线,曲线底部27.0是最糟糕的。可以看出,CNN并行使用的网络结构相对于网络,不使用这种结构,大大减少网络参数,加快网络的收敛速度和重建效果更好20.]。取而代之的是亚像素卷层功能重建,重建精度会更高,训练效果会更好(21]。的分析和比较,实验结果证明该方法更快、质量评价指标显著提高,取得好的结果超限分辨遥感图像的重建。
4所示。结论
本文提出了超导的方法基于神经网络的遥感图像的干扰。低密度遥感图像作为第一个输入到网络,和图像作为高阶图像。学会了通过紧密折叠的神经网络获得更富有表现力和更深层次的图像。结果表明,该方法提取更多的功能,保留了更多的图像细节特征,提高了重建图像的效果;它大大减少了网络中的参数,并避免过度拟合现象在网络。之后,我们将进一步研究如何使用多尺度卷积来提取图像特征和设计更紧凑的网络结构,以进一步提高网络的重建效果。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突。
确认
这项研究是由(1)西安中国陕西省科技计划,生物多样性分析和评价指标建设陕西秦巴山区,(批准号2020 kjwl23);(2)总统资助生物与环境工程学院,西安大学,研究关键技术的快速生成三维模型的智能公园建筑的背景下数字双胞胎,(批准号YZJJ202111);和(3)陕西省自然科学基金(青年),检索气溶胶光学深度使用国内高分辨率卫星遥感数据在Fenwei平原(批准号金桥2020 - 978)。