文摘
图像融合是有效地提高精度,稳定性,和信息的全面性。一般而言,红外图像缺乏足够的背景细节提供一个准确的描述目标场景,虽然可见图像难以检测到辐射在不利的条件下,如低光。人们希望丰富的图像细节可以通过使用有效的融合算法改进。在本文中,我们提出一个红外和可见光图像融合算法,旨在克服图像融合过程中一些常见的缺陷。首先,我们使用快速近似双边滤波器分解红外图像和可见光图像获取小规模层,大规模层、基础层。然后,融合基础层获得基于局部能量特征,避免信息丢失的传统融合规则。融合小规模层是通过选择获得绝对最大,和融合大规模层通过求和规则。最后,融合小规模层,大规模层、基础层合并重建最终的融合图像。实验结果表明,我们的方法保留了更详细的外观信息的融合图像,达到好的结果在定性和定量评估。
1。介绍
随着红外图像的普及应用于军事侦察(1),遥感2),医学成像(3),太空探索4),和其他领域,人们越来越多的关注红外和可见图像的融合。有一些不同的特点和成像调节红外和可见图像。红外图像(IR)捕获热辐射具有较强的抗干扰能力,可以整天不受光照条件的影响,但是它的对比度较低,其分辨细节的能力很差。相比之下,可见形象(VI)捕获反射光高空间歧视和清晰的细节纹理信息,而可见的形象大大受到天气的影响,在多云的成像效果差,下雨,晚上环境。图像融合技术可以弥补各自的不足,丰富单一源图像的信息,获得足够的和准确的目标表达,使图像更加丰富。
红外和可见光图像融合的研究具有重要的理论意义,在许多应用场景的真实的生活。现有融合方法是有效的,但也有一些常见的问题,如贫困之下,块效应,信息失真等。为了解决这些问题和得到更好的融合性能,一种新的融合算法基于快速近似双边滤波和局部能量特征。我们的贡献如下:(1)我们引入一个快速近似双边滤波器分解原始红外或可见的图像。将图像分解成小层具有丰富细节,大规模层明显的边缘特性,并与低频信息基础层。(2)我们执行快速近似双边滤波器在红外或可见5次输入图像获取的图像序列越来越红。然后,两个图像由一个图像序列中减去获得多个小规模层。大规模层获得的区别是高斯滤波器后第四图像本身。(3)提出了基本层采用局部能量特征的融合,融合的小规模层使用绝对最大规则,和大规模的融合层利用求和规则,以保留更多当地的结构和特征的融合图像。它从源图像的大部分信息传送到复合图像,和融合损失可以忽略不计。
为了验证我们的融合算法的有效性,我们比较它与其他10红外和可见的融合方法。实验结果表明,该图像融合的方法是高质量和比类似的方法在不同的红外和VI数据集。本文的组织结构如下:部分2总结了图像融合的相关工作。部分3详细描述了该融合算法。部分4分析了算法的实验结果与几种经典算法。最后,部分5给出了结论。
2。相关的工作
近年来,图像融合的优点已被许多研究人员的高度重视。图像融合技术在理论发展迅速。加权平均法的颜色空间,然后多尺度变换,图像融合技术发展迅速。一般来说,图像融合方法可以分为空间域的方法和频域方法根据不同的空间融合的过程。
融合算法,它是基于空间域,指的是计算和处理的像素灰度值图像像素组成的空间。这些方法主要有主成分分析(5),彩色空间映射法和伪彩色图像融合法(6),灰色或对比度调制(7)和人工神经网络8]。图像融合算法,基于频域,是分析和处理的信息特征变换系数转换为频域通过多尺度变换工具。在1980年代中期,Burt和阿德尔森首次提出拉普拉斯算子金字塔算法(9],它可以代表更加突出图像的特征信息,包含拉普拉斯算子的金字塔(圈)10),梯度金字塔(11),和对比度金字塔(12]。然而,这种方法将失去图像信息和分解过程没有方向性。为了克服这个问题,Mallat算法提出了一种多分辨率小波变换(13),它不仅可以获得低频信息,还水平、垂直和对角信息的高频部分。与传统算法相比基于塔式分解,小波变换的融合整体性能更好。然而,由于方向小波变换获得的信息有限,一些图像的纹理和轮廓特征无法准确地捕获。然后,萤石和Donoho提出曲波变换(CVT) [14,来自达等人介绍了nonsubsampled contourlet变换(15),克服了平移不变性的缺点。
在目标跟踪(深度学习的进步16- - - - - -19),目标检测(20.),和图像恢复21),一些算法是基于深度学习也出现在图像处理领域(22,23]。与传统方法相比,深度学习允许计算模型由多个处理层学习与多个层次的抽象数据表示。深度学习使用反向传播算法直接机器是如何工作的,所以当发现大型数据集的复杂结构和解决贫穷的问题考虑手工制作的。在图像处理领域的应用主要包括CNN (24甘],[25网络[],暹罗26),和自动编码器(27]。
3所示。该方法
3.1。概述和符号
我们总结这篇论文使用的主要符号表1。具体来说,我们使用红外代表红外图像,VI代表可见的形象,傅代表融合图像。特别注意,代表了基本层与图像类型t,在那里 , 是小规模层图像类型t,在那里 ,和n是过滤时间,n= 1,2,3,4。是大规模的层。如果下标没有明确定义,它可以是一个红外图像或默认可见图像。
该算法的框架如图1。在一开始,我们将使用快速的输入图像分解近似双边滤波器(28]。在下一节中介绍的具体的分解过程。然后,我们使用绝对最大选择规则,求和规则,和局部能量特征融合小规模层,大规模层、基础层,分别。最后,融合图像与融合小规模层合并,大规模层融合,融合基础层。我们的方法可以更好地抑制源图像中的噪声,将有价值的细节纹理信息融合图像,和解决不足的问题的视觉细节融合的融合过程。
3.2。图像分解
我们将图像分成三个部分:包含大部分的残余低频信息基础层,小规模层包含图像的细节纹理信息,和大规模层包含图像边缘结构。图2显示具体的分解过程。首先,小源红外和可见图像的结构信息是反复被快速近似双边滤波器。我们执行快速近似双边滤波器5次输入图像逐渐获得图像序列变粗了 。实验表明,五次过滤的效果更好。然后,两个图像由一个图像序列中减去获得多个小层 。最后,大规模的层通过减去从 。我们可以使用这种分解方法提取质地细腻的细节从可见的形象,这是非常重要的红外和可见图像的融合。
最初的形象是原来的可见光或红外输入图像。我们可以认为这个过程是一个迭代的过程。的nth迭代计算如下: FABF()代表的快速近似双边滤波器。获得的图像高斯滤波器后, 代表标准偏差的范围和空间高斯函数,参数设置为(28]。主要是由图像大小,设置为是哪一个 。 主要由图像的像素强度差异,设置为最大像素的区别是什么 。 代表了小规模层或大规模层, 是高斯滤波器,尺度小于结构可以被过滤。
一般来说,基本层不需要保留源图像的细节和边缘信息,输入图像的粗层。基本层主要用来控制外观和全球对比的图像。当太多的细节和边缘信息保留在基础层,图像将会失去一些有用的信息。在我们的方法中,我们选择基础层。
图3显示了分解层。(a)和(b)是红外和可见图像,(c)是融合基地层,并融合图像(d)。第二行显示的红外图像,第三行显示了可见的图像。(a1)——(d1), (a2)——(d2)小规模层从红外和可见图像分解。不同的小规模层包含不同的功能。可以看出,相对应的小规模层(a1), (a2)主要包含细节纹理信息。从(b1), (b2) (d1), (d2),小规模层包含目标特征信息越来越丰富,和山坡上,树木,和道路信息包含在(d1)和(d2)是最明显的。(e1), (e2)的大规模层和(g1), (g2)是基本层。我们可以看到每个量表包含相应比例的内容。简而言之,由于边缘保护的特点和规模知觉,这种分解方法可以减少光环和保护边缘特性好,这有利于进一步图像融合。
3.3。快速近似双边滤波器
双边滤波器(BF) [29日)是一个过滤器,可以消除干扰和保持边缘。它是一种非线性滤波器。由于滤波器由两个函数,一个通过像素差异决定了滤波器的系数,和其他功能决定了滤波器系数通过几何空间距离,可以实现去噪的效果。双边滤波器的优势超过普通高斯低通滤波器(30.),它认为图像中心位置的影响像素和像素的辐射差异范围。过滤输出公式的图像一个在像素位置p如下: 在哪里过滤后的图像,代表了一种归一化因子, 的标准偏差是空间高斯函数和高斯函数的距离,p,问代表了像素坐标, 代表像素的像素强度值p,问,计算欧氏距离的像素p,问,计算的绝对值 ,和是空间域。
双边滤波器(BF)已广泛应用于许多领域,被证明是非常有效的。然而,双边滤波器需要每个中心点附近的灰色信息来确定它的系数,从而导致其长期运行的时间。在本文中,我们建议将原始图像分解使用快速近似双边滤波器(28];我们使用信号处理方法,主要是将一维信号强度添加到原始域形成一个高维空间,并将采样的高维空间。这个方案生成等价的运行时间,但显著提高了精度。接下来,我们详细描述这个方法的实现。
首先,我们重写(2使用一个二维向量):
我们指定的重量= 1保持双边滤波器的加权平均价值的特点:
我们进一步促进解释上述方程在3 d空间。为了更方便地定义整个三维空间的总和,我们添加了一个新的维度和克罗内克的象征(1)如果否则= 0,0),定义每一个点 的强度和重写方程(5)使用 ;当 ,取消条款:
方程(6)是一个产品和空间 。该产品代表一个可分离的高斯内核在 :
然后,我们介绍两个新功能一个和 :
我们重写的部分(6)根据(8)和(9): 与定义(10),我们得到
上述公式的价值点 如下: 在哪里代表卷积操作。根据上面的公式,我们引入了功能一个男朋友和 :
因此,双边滤波器表示为卷积运算,然后我们进行非线性操作:
事实上,非线性部分包含两个操作。第一个行动是切片,评价的功能和点(p,一个p)。第二个是分裂。在我们的例子中,切片和分割结果是独立的相应位置的秩序。
3.4。图像重建
3.4.1。基础层融合
传统的平均融合规则不能有效融合源图像的信息基础层,导致一些低频信息的损失。我们保留更多的图像信息融合局部能量特征来获得更好的视觉效果。图像的灰度值就是我们所说的能量。在本文中,我们定义能量的加权平均灰度值区域。灰度值越大,图像的能量就越高。图像融合,每个形象都有好的部分和坏的部分,我们需要做的是每个图像的提取好的部分。我们可以看到在图3(f1),人类的信息更加突出,所以能量更大。在图3(f2),有strong-detail纹理信息在图像的左上角,并在这个领域更大的能量。融合时,我们选择大的一部分能量局部区域的融合,融合图像包含的大部分原始图像的有用信息。融合基础层计算如下: 在哪里k和l定义区域的大小,是红外或者VI的基础层。p,问)是附近的中心点。在本文中,我们设置米=n= 3,W重量是模板,表示如下:
3.4.2。小规模层融合
在小规模的层面,我们选择所有分解水平n= 1,n= 4。绝对最大选择规则是用于集成所有重要的纹理特征和边缘强度到融合小规模层。的公式 在哪里是融合小规模层图像,(p,问)代表的相应位置 , ,和 ,和n表示分解的数量水平。
3.4.3。大规模层融合
在大规模的层面,我们只选择分解的底层n= 5)。大部分的功能信息包含在他们不重叠由于不同的红外和可见图像成像原理。从图可以看出3(e1), (e2)两层有大量的补充信息。显然,使用加权平均法将失去大量的重要信息。因此,我们使用求和规则融合大规模层,防止信息丢失。公式如下: 在哪里 , 的重量值吗和 ,分别。我们选择= 1,= 1来拯救更多的图像信息。为了显示使用求和规则融合大规模层的优越性,我们比较它与绝对最大选择规则和加权平均规则和使用API (31日),SD (32],AG) [32],在[33)来测量这三种方法的质量。它可以很容易地从桌子上2除了API略低于绝对最大选择规则,得到的融合结果求和规则是更好的性能指标。
3.4.4。图像合成
最后,各级分解信息融合得到融合图像傅和给出的
简要介绍了这一过程的算法1。
4所示。结果与讨论
4.1。实验装置
为了验证我们的融合算法的有效性,我们比较它与其他10最新红外和可见的融合方法,包含lp (9],CVT [14],NSCT [34],DTCWT [35],MSVD [36气管无名动脉瘘管的],[37],VSM-WLS [38],FPDE [39],MGFF [40],GTF (41)方法。所有这些十算法的实验参数设置的基础上,原来的纸。
在我们的实验中,测试从TNO_Image_Fusion_Dataset获得图像。五双不同场景的红外和可见图像。本文中的所有实验是在MATLAB中实现(2017 b),使用一个英特尔®核心™i5 - 10210 - u CPU。
4.2。定性评价
视觉感知质量的比较营地,路,Keptein,判别,汽船数据集显示数据4来8。红外图像,其中,(a) (b)是可见的形象,(c) - (l)的结果是方法相比,该方法(m)。更明显的区别,我们纪念一个矩形融合图像;我们可以看到的是,我们的方法转移最重要的背景和细节的融合图像,重要的红外结构信息是妥善保留,和图像噪音也减少了。图4是一个融合的例子在“营”的形象。红色矩形中,我们可以观察到篱笆MSVD呈现的信息,FPDE, GTF方法是模糊和难以识别。相比之下,我们的方法更清晰的栅栏纹理细节和在一定程度上降低了噪声的干扰。
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(我)
(j)
(k)
(左)
(m)
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(我)
(j)
(k)
(左)
(m)
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(我)
(j)
(k)
(左)
(m)
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(我)
(j)
(k)
(左)
(m)
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(我)
(j)
(k)
(左)
(m)
在图5,我们可以发现,我们的方法有更多的优势,当我们获得源图像的一些细节特征在弱光条件下,因为我们改善图像的整体亮度,而其他方法显然不能达到良好的视觉效果。其中,FPDE和NSCT融合工件,气管无名动脉瘘管的NSCT的特点,MSVD,并不清楚地显示出来。
在图6,我们的方法使树枝生动的边缘结构和地面纹理信息的清晰。气管无名动脉瘘管的相比之下,DTCWT、CVT和扭曲构件由于不正确的影响引入可见光信息;lp的整体图像,MSVD GTF是黑暗和光谱特性不够丰富。
在图7,我们的方法可以准确地融合红外图像的明显的个人信息和砖孔结构细节两岸的可见的图像。从图可以看出,MSVD VSM-WLS, FPDE, GTF往往产生一些不自然的工件信息。因为源图像之间的亮度差异很大,这些方法不能有效地抑制噪声,他们很难表现出明显的孔结构。总的来说,我们的方法可以产生更好的融合结果。同样,如图8“轮船”的形象,我们的方法具有更好的轮廓和对比,提高图像的清晰度。
4.3。定量评价
人类的视觉很难区分小图像的差异。因此,它是不可靠的评价融合图像的影响仅从定性评价。图像融合的质量也需要定量分析。定量评价,我们用四个指标来评价融合精度。这些指标的公式定义如下:(1)平均像素强度(API)或的意思算术平均的图像中所有像素的灰度值计算了吗 ,在哪里 图像的大小和吗H(我,j)是像素强度。(2)标准偏差(SD)是图像灰色相对于均值的分散,用于评估图像的大小对比和计算 。(3)平均梯度(AG)可以敏感地反映图像的表达水平与小细节和计算 (4)熵(EN)主要是客观评价指标测量图像中包含的信息和计算 ,在哪里我灰度值和吗是灰色的概率分布。
所有的四个指标,客观指标越高API, SD, AG)和EN,融合效果会越好。
并给出了实验结果的定量比较表3,我们以粗体显示最大值在不同的算法。从表中可以看出,我们的方法比其他方法具有较高的融合质量指标的融合质量指标API, SD、AG)和EN和视觉比较的结果具有良好的相关性。
为了更直观地显示该方法的优势,我们每个指数的平均值得到五组图片(营地,路,Keptein、判别和汽船)和四个指标的条形统计图。如图9可以看出,该方法的性能是最好的在所有索引。我们也记录不同的运行时每组的图像融合方法。如表所示4我们的方法也稍慢,是进一步完善的地方。
(一)
(b)
(c)
(d)
5。结论
在本文中,基于快速的红外和可见光图像融合算法近似,提出了双边滤波和局部能量特征。由快速双边滤波器平滑和图像分解含有更少的噪音。根据每个分解层的特征,我们使用不同的融合规则融合分解图像,不仅避免了传统的融合规则的信息损失,而且还丰富了融合图像的视觉信息。在大多数情况下,图像看起来更自然和含有更少的人工信息。实验结果充分说明该算法的优越性。与其他10融合方法的比较表明,我们的算法可以更好地描述图像中最重要的信息,提高图像的整体对比度,并保持源图像的信息最大程度。
数据可用性
TNO图像融合数据集是可用的https://figshare.com/articles/dataset/TNO_Image_Fusion_Dataset/1008029。
的利益冲突
作者宣称没有利益冲突有关的出版。
作者的贡献
李Zongping主要是负责数据整理和编写草案。杨伟鑫Lei设计方法和验证结果。Xudong李和婷婷廖设计和调试程序代码。Jianming张本文主要回顾和抛光。所有作者已阅读及同意当前版本的文章。
确认
这项工作得到了中国自然科学基金(61972056和61972056),基础研究基金业Changtian国际工程有限公司有限公司(2020 jcyj07),湖南省教育部门的研究基金会(c0028 19日和19日c0031),企业大学联合湖南省研究生科研创新基金(QL20210205)和研究生科研创新基金CSUST (CX2021SS70)。