文摘

一种新型红外和可见光图像融合方法在多级低秩分解框架基于引导过滤和特征提取,提出了解决缺乏边缘信息和模糊信息融合图像。基于多级低秩分解,基础部分的融合策略和细节内容已得到改进。首先,源红外和可见光图像分解系数和基本组成部分 - - - - - -层次细节内容由多级低秩分解系数。其次,基础部分系数由VGG-19网络学习获得重量地图,然后,改进后的重量地图引导滤波,得到的系数的基本部分是系数融合获得融合基础部分。的 - - - - - -层次细节内容系数融合使用规则的动态水平测量最大值然后系数重构得到最终融合的细节内容。最后,融合基础部分和详细的内容信息叠加得到最终的融合结果。结果表明,融合算法可以有效地保留源图像的边缘和细节特征。与其他先进的融合方法相比,该方法在客观评估和执行更好的视觉质量。评价指标的平均值和已经提高了0.5337和1.0673六副图像。

1。介绍

图像融合是一种增强技术。图像融合的目的是结合不同的图像来生成一个稳定和翔实的形象,这便于后续处理和帮助决策。最近,许多已经提出的融合方法融合的特性在红外和可见图像到一个图像(1]。可见图像通常有高空间分辨率和大细节对比但很容易受到严酷的环境和气候条件的影响。红外图像描绘对象的温度或辐射,这是不容易受到环境和气候条件的影响。然而,红外图像包含几个缺点,如不显眼的纹理细节和可怜的决议。我们可以充分利用不同的方式来传达互补信息。它适用于很多应用程序,比如监控(2)、目标检测和目标识别(3- - - - - -5]。多尺度变换的方法(6,7),表示学习(8通常用于图像融合领域。

传统的多尺度变换方法将源图像分解成基础部分和细节内容在不同的维度。基础部分主要代表了源图像的边缘和轮廓,包含更详细的结构信息和细节内容。基础部分和细节内容融合在变换域根据预定义的规则。然后,最终融合图像是通过逆多尺度变换(9]。有一些典型的算法,如离散小波变换(DWT) [10],contourlet变换[11,12],shearlet变换[13],多级分解潜在的低秩表示(MDLatLRR) [14]。这些分解方法可以是符合人类视觉特性的,但很容易引入构件。因此,许多其他方法已经引起了极大关注,如稀疏表示和低秩表示。

稀疏域的稀疏表示(SR) [15)和字典学习(16广泛应用于图像融合。例如,李et al。17)提出了一个新颖的多通道融合方法通过三层分解和老也有许多方法,结合SR和其他图像融合的方法,如低秩表示(远程雷达)18]。朱et al。19)提出了一种新颖的基于图像分解的图像融合方法和稀疏表示的结构组件可以由基于稀疏表示的方法保存好。在[20.),刘等人提出了一种基于卷积稀疏表示的融合方法(CSR)的细节可以保留源图像的多层功能,可以了解更多关于[21]。此外,联合稀疏表示(JSR) [22]和cosparse表示[23)还用于稀疏域。尽管SR-based方法能提高图像融合性能,这些方法在字典学习操作耗时太长24]。这些问题已经引起了越来越多的研究在深度学习来取代老字典学习。

在深度上优于融合方法,可以提取源图像的深度特征重构融合图像。例如,VGG-19 [25],ResNet-50 [26],DenseFuse [27)网络体系结构在深度上优于常用的方法。马等。28,29日)提出了一个基于对抗网络的多通道图像融合,提高了图像融合的性能在很大程度上。虽然基于深度学习表现良好的图像融合方法,这些方法仍然有一些缺点,如网络越深;参数可以更复杂的选择。

保护许多源图像的边缘和细节特征,我们提出了一种多级低秩分解框架基于引导过滤和特征提取算法对红外和可见光图像融合。这个解决方案使用MDLatLRR方法将原始图像分解系数中提取细节内容。融合细节内容系数可以得到具有最大价值的动态水平测量。这些细节内容叠加系数后,边缘和原始图像的结构信息会保留和改进的显示对象。VGG-19网络是用于提取显著区域,结构,基础部分和对象特征系数,和重量地图可以根据基础部分的活动水平。为了更好地保留边缘信息的基础部分,改进后的重量地图是通过引导过滤。改进的地图和基地的部分重量系数然后阿达玛产品获得融合基础部分系数。最后,融合基础部分和详细的内容信息叠加得到最终的融合结果。上述融合后计划过程,实验结果表明,该方法明显优于对比方法在图像信息保留。本文的重大贡献总结如下:(1)我们介绍MDLatLRR将源图像分解,确定最优分解层数对红外和可见光图像融合(2)融合基础部分:获得更多的功能信息,我们使用VGG-19网络和引导滤波融合基础部分。首先,基础部分系数由VGG网络学习重映射。重量地图获得以这种方式可以适应的基础部分系数块分布的源图像的像素信息。然后,改进后的重量地图是通过引导过滤,可有效保护边缘信息和减少体重的噪声地图。最后,融合基础部分乘以系数获得改进的地图和基地的部分重量系数(3)详细内容融合:众所周知,细节内容系数越大,其包含的更多信息。的 - - - - - -级别细节内容系数融合使用动态测量最大值然后重构得到最终的融合系数,详细内容可以保留更多的信息从源图像足够的细节内容(4)我们首先进行了烧蚀实验MDLattLRR的分解层数和层数的VGG-19最后选择一个五层VGG-19网络充分提取特征

本文的其余部分如下。部分2介绍了多级分解潜在的低秩表示将源图像分解。部分3提出了本文的融合方法。基础部分由VGG-19融合网络和指导过滤。详细内容由动态融合水平测量最大值。部分4提出的结构提出的图像融合算法。实验结果进行了讨论和提出了部分5。部分6总结了这篇论文。

2。多级分解潜在的低秩表示

在本节中,介绍了MDLatLRR的方法。刘等人。30.]提出的方法低秩表示(远程雷达)可以从输入数据中提取特征。远程雷达方法探索发现multisubspace的数据结构之间的最低等级表示数据。

然而,这种方法不能很好地工作,当输入数据是不够的,损坏。为了获得良好的性能,潜在的低秩表示(LatLRR)理论31日提出了]。该方法利用更多的数据获取字典。另外,可以从源数据中提取特征(31日通过使用LatLRR的方法)。更特别,单一层次分解LatLRR (DLatLRR)问题是制定 在哪里是源图像。代表了二级运营商组成的重组和滑动窗口技术。表示通过LatLRR投影矩阵。意味着源图像的分解结果。是运营商可以细节图像基于细节内容。和 ,分别表示详细内容和图像从源的基础部分。

由于DLatLRR,多级潜在的低秩表示(MDLatLRR) [14)是形成能够提取源图像的显著特征。MDLatLRR是制定的方法 在哪里和代表现在和分解层次最高,分别。意味着级分解源图像的结果。和 ,分别表示级基础部分源图像细节内容。表示源图像。最后,和一个基础部分详细内容在不同分解得到的水平。

MDLatLRR描述在图的框架1。源图像分解的基础部分和细节内容DLatLRR。为了获得更多的特征信息的基础部分是进一步分解和DLatLRR。如果分解层 ,它将获得详细内容和基本部分。因此,融合图像可以显示更多的信息从源图像。然而,随着分解层增加,工件将引入更多。一个重要的问题是如何选择一个合适的分解层。在详细描述部分5.1。接下来,我们将介绍基础部分的融合方法和细节内容,分别。

3所示。融合方法

源图像分解的基础部分和细节内容MDLatLRR的使用方法。基础部分包含边缘信息和基本的轮廓信息。Simonyan和Zisserman25)首次采用VGG网络从不同层次的图像中提取特征和取得了良好的效果。随着分解级别的增加,基础层中包含的信息量变得越来越少。使用VGG网络提取基础部分,更多的有用的信息将被识别和综合。生成的重映射将包含更多的有用的信息。然后,以含有更多的边缘信息,引导滤波(32)用于光滑映射的重量。最后,融合基础部分可以通过乘以精制重量和图片的来源。与基础部分,内容包含更多的结构和结构的详细信息。融合细节内容是通过使用规则的最大动态测量(33]。

3.1。融合的基础部分

VGG-19卷积神经网络有19层,包括16卷积层和三个完全连接层(34]。VGGNet的结构简单,使用相同的大小卷积核的大小( )和最大池大小( )为整个网络。性能可以通过不断深化网络结构得到改善。结构图如图2。融合的基础部分包含更多的信息,一个五层VGG-19网络用于提取基础部分形成了特征映射。

基础部分和 , 和表明深特征提取基础部分由第五卷积VGG-19水平。如图2,第五卷积层是conv3 - 512,有512深功能在每个基本部分。此外,池过程将调整地图的功能,这是 倍的原始大小。影响(18), - - - - - -规范的 可以转换成原始的活动水平调查细节内容,在哪里 。因此,地图的活动水平所示

soft-max操作符用于获得初始重量的地图 ,所示 在哪里的重量是地图,将是哪一个 。 表示重量的值映射。

使用upsampling操作符,最后体重地图获得与细节内容的大小是一致的。最后的重量所示

为了保留更多的边缘信息的基础部分,引导滤波用于平滑最后重量地图 。详细的计算过程引导滤波中描述(32]。首先,获取二进制图像处理,计算了吗 在哪里表示的值th像素的th图像的二进制图像的价值th像素的图像在体重图像。

然后,使用源图像和图像引导,引导滤波应用于和 ,所示 在哪里和表示精制重量地图,引导滤波平滑。G是引导滤波函数。和代表引导滤波的参数。如果它太光滑,它将导致图像的边缘和不显眼的特性。的值和参数设置在实验部分5.1。

融合基础部分通过计算

3.2。融合的详细内容

一般来说,活动水平的系数越大,图像中包含的更多的信息。使融合图像包含丰富的信息,我们使用一个融合方法称为动态电平测量最大值融合细节内容。每个图像块的方差 或 窗户是计算的测量活动。相关的活动措施是在那个窗口的中心像素。主动测量在相应的位置作为最大或平均值,这是封闭的。自活动测量(35)对应于一个线性高通滤波器的级联非线性高通滤波器,它没有明确的物理意义。在我们的实现中,我们使用窗口内的最大绝对值作为活动措施与中心像素。一致性验证可以被理解为一个切换到B在变换域图像如果中央像素值从图像和周围的像素值大多从B图像融合策略图矩阵如图的详细内容3。

首先,能源和计算相应的当地区域的红外和可见的细节内容,见 在哪里 表示局部能量的大小, 。 定义了局部区域的大小,设置为 。

然后,当地匹配程度通过计算

当这两个图片是强烈相关,使用加权平均。相反,使用局部能量较高的系数。融合细节内容向量被收购了 在哪里匹配阈值,将是哪一个 。 和的加权因子。

策略用于所有细节内容向量 。详细的内容融合过程如图3。每一个细节内容获得的是 在哪里表示重构算子,它主要用于重组向量图像块。

3.3。重建

融合基础部分和细节内容重构融合图像叠加吗 ,所示

4所示。结构的融合算法

我们开发一种新型的红外和可见光图像融合的方法称为多级低秩分解框架基于引导过滤和特征提取。被指示为源图像andf ,抢注的。本文算法框架如图4。

本文算法的一般步骤所示算法1。

5。实验

实验的目的是为该方法提供支持证据。本文实验由实验设置,消融实验中,主观评价和客观评价。

5.1。实验设置

在我们的实验中,我们收集红外和可见光照片(36),其中包含很多注册红外和可见图像从一个不同的场景。我们随机选择6个双图像比较融合结果如图5。分别从左到右,这些对命名男人在房子的前面,板凳上,地堡,Man_in_doorway,Soldier_in_trench_1,湖。

女朋友的参数设置。根据(37),的价值和设置为45和0.3。的脚步滑动窗口设置为1时,可以将源图像分解成补丁。设置窗口大小 。MDLatLRR的分解层和网络层的数量VGG-19网络提取的基础部分功能映射将从随后的烧蚀实验获得。

六个经典的红外和可见光图像融合方法应用进行相同的实验比较,包含生成敌对的网络图像融合(FusionGAN) [28),joint-sparse表示模型(JSR) (38),凸起的JSR模型与方法检测(JSR_SD) [39),多级分解的方法MDLatLRR [14基于深度学习VGG-19[],两种方法40],ResNet50 [41]。

为了定量比较不同方法,四个指标用于融合图像质量。这些如下:熵(42]措施融合图像中包含的信息量基于信息理论;互信息(43)代表的数量的信息从源图像转移到融合图像;(44]表明的质量获得源图像的边缘信息;MS-SSIM [45]只计算结构信息的基础上细化结构相似。较大的这些指标,融合质量的结果就会越好。

所有的融合算法在MATLAB R2020a实验是起诉3.95 GHz AMD (R) Ryzen (R) 5 3500 x 6-Core处理器16 GB的RAM和赢得10 64位操作系统。显卡GeForce RTX 2070超级8 g。

5.2。烧蚀实验

5.2.1。分解层烧蚀实验

选择该方法的最佳分解层,5双图像如图5实现该算法在不同分解层。测试MDLatLRR的分解层,层是设置从1到4。5的分解层次的融合结果对源图像如图6。与MDLatLRR分解级别的增加,改善融合图像亮度和轮廓。然而,它介绍了工件在对象,使一些退化的详细信息。获得更好的融合质量,工件,越少越好。

实验结果如图所示7通过上面的质量指标。可以看到,它并非如此,层数越大,质量评价指标的价值就越大。当分解层的数量是在第一个层面上,的价值和比其他层更加突出。它表明,第一层可以使融合图像包含更多的信息从源图像。此外,有几个图片的价值在第二层是最好的。表明更多的边缘信息保留在融合图像随着分解层。至于MS-SSIM,前两层显示更好的价值。这表明结构的融合图像与源图像。然而,当分解层超过两层,融合性能将会下降。因为详细的内容获得更多的亮度和轮廓信息从基础部分。此信息不能被细节内容融合方法融合好。顺便说一下,上面的评价指标的价值越大,融合图像的效果越好。在上述分析的基础上,分解MDLatLRR设置在我们的算法之一。

5.2.2。烧蚀实验VGG-19网络层

为了选择一个适当的层数VGG-19网络提出的方法,在图5双图像5用于烧蚀实验VGG-19网络层。层设置从1到5,代表relu_1_1,relu_2_1,relu_3_1,relu_4_1,relu_5_1,分别。不同VGG-19网络层的融合结果图所示8。从图可以看出8VGG-19网络,相比之下,其他层,第五层VGG-19网络提取更多的细节特征和突出目标信息从源图像。例如,图8 (t)提取交通标志在第五层的比其他层,所以我们选择五VGG-19网络来提取特征。

不同网络层的实验结果如图所示9。可以看到,网络层的数量增加时,值的评价指标和MI变得更大。它代表了五层VGG-19网络可以从源图像中提取更多的特征信息。评价指标基本上是最好的提取源图像时使用三层VGG-19网络。它表明,三层VGG-19网络可以很好地提取边缘信息。MS-SSIM评估,第三和第五MS-SSIM值对是最好的在使用五层VGG-19网络。MS-SSIM值的第一、第二和第四条是最好的在使用三层VGG-19网络。总结上述,我们选择一个五VGG-19网络来提取特征。

5.3。主观的评价

图10显示了第一双的主观融合结果图像。数据10 ()和10 (b)是原始的图像。人在红框的对象和绿色的草盒通过JSR JSR_SD模糊,和融合图像通过JSR JSR_SD明显比红外的可见的组件。得到的融合图像FusionGAN红外组件比可见的。此外,MDLatLRR得到的融合图像,VGG-19和ResNet-ZCA工件,但可见图像的细节纹理信息不保存完好。从图所示10(我)、人在红框的对象和绿色的草盒与其他方法相比是最明显的。该方法添加更详细的纹理信息同样作为一个可见的热辐射图像同时包含红外图像信息。具有优良的可见性。图11显示了第二条的主观融合结果图像。数据(11日)和11(b)是原始图像。从图可以看出11(我)的像素对象边缘结构的一致性是最好的融合图像。红色和绿色框的对象获取更多的纹理信息。图12显示了主观的第三对图像融合的结果。数据12(一个)和12(b)是原始图像。在图12(我)建议的方法,红色框中的建筑与周围环境,和可见图像的色差是一致的。草地绿盒子里有更多的纹理信息。图13显示第四条的主观融合结果图像。数据(13日)和13 (b)是原始的图像。在图13(我)绿色的盒子,品牌是最常见的与其他方法的结果。红色框中的对象包含更多的边缘特征信息。此外,目标对象在一些图像信息丢失,如数据13 (c),13 (d),13 (f)。该方法执行良好,具有良好的可见性。图14显示了主观第五副图像的融合结果。数据(14日)和14 (b)是原始的图像。图15显示了第六条的主观融合结果图像。数据(15日)和15 (b)是原始的图像。从红框的目标和绿色盒子的细节特征数据15 (c)- - - - - -15(我),该方法包含更多的细节信息从源图像与其他方法相比。该方法增加了更多的细节纹理信息一样的可见光图像同时包含红外热辐射信息的图像。与其他方法相比,红色框中的对象和绿色的盒子更纹理信息,和光明与黑暗的对比细节是锋利的。结构是最符合原始图像。此外,我们随机选择20条的图像(36)来验证该方法在图的性能16。

5.4。客观的评价

展出的有吸引力的特点提出方法,四个评价指标应用于比较6个流行的融合方法的融合属性和算法。表中,最好的值是斜体所示。

在表1,评价指标、心肌梗死和是最好的。这表明,该方法从原始图像包含更详细的信息和边缘信息。此外,MS-SSIM不是最好的,但该方法之间的差距MS-SSIM MDLatLRR很小和最好的价值。就像前面提到的5.1,和MI测量信息从源图像的融合图像。但在易受噪音。如图12 (d)的对象JSR_SD融合图像扭曲,视工件。这就是为什么EN和MI执行不可否认的优势在第三副图像。MS-SSIM计算结构信息的基础上,提炼结构相似,和工件图像结构的变形会降低这个指标。这将导致低能见度。该方法MS-SSIM指数有明显的优势,它包含结构的噪声和失真。这是红外和可见图像的关键。在表中2- - - - - -5,该方法主要是执行最好的EN, MI, MS-SSIM指数。这表明我们的算法使得融合图像包含更多的信息从源图像和结构的融合图像与源图像。此外,对于客观评价,我们提供表6它包含所有的测试图像的平均价值在不同的指标。该方法得到的评价指标是最好的除了t / s的值。它表明,我们提出的方法包含更多的特征信息从源图像。和结构的融合图像与源图像,相比其他的更好的方法。在所有的方法相比,该方法在中间水平的时间消耗在表1- - - - - -6。基于上述分析,我们的融合算法是有效的。

6。结论

本文提出一种基于引导过滤和多级低秩分解方法对红外和可见光图像融合特征提取。VGG-19网络和指导过滤用于基地层融合获得重映射。然后,最后一个基础层是获得乘以最初的基础层和重映射。至于细节内容融合,我们使用具有最大价值的动态活动水平获得最终的细节内容。结果展示,我们的方法在保留一个有吸引力的表现对象的细节特征信息和边缘特征信息与其他融合方法在主观和客观。该方法可以应用在日常计算机视觉在目标探测和识别。此外,还有一些缺点我们的算法。随着分解增加,更多的亮度和轮廓信息介绍,加重融合性能。工件更明亮的干扰目标。在后者的工作,我们将致力于减少构件的影响,提高融合性能随着分解层数的增加。

数据可用性

数字数据用于支持本研究的结果包括在本文中。

的利益冲突

作者宣称他们没有竞争的经济利益或个人关系可能出现影响工作报告。

确认

这部分工作是支持由中国国家自然科学基金(批准号22178036),重庆市自然科学基金(批准号为基础科学和前沿技术cstc2018jcyjAX0483)、科技研究项目中国重庆市教育委员会(批准号。KJQN201900821 KJQN202000803),创新的重庆大学的研究小组(批准号CXQT21024),重庆工商大学研究生创新项目(批准号yjscxx2021 - 112 - 45),和重庆的重大科技项目资助教育委员会(KJZD-M201900802)。