文摘
提高红外和可见图像的融合性能,有效保留图像的边缘结构信息,融合算法基于各向异性扩散和区域梯度的迭代控制结构。首先,迭代控制算子引入各向异性扩散模型来有效地控制的迭代次数。然后,图像分解为一个结构层包含细节信息和基本层含有残余能量信息。根据不同层次的特点,利用不同的融合方案。结构层熔融结合区域构造操作符和结构张量矩阵,和基地层融合通过视觉显著图。最后,得到的融合图像重构的结构层和层的能量。实验结果表明,该算法不仅可以有效地处理红外和可见图像的融合,但计算效率也高。
1。介绍
近年来,无人机已经在许多领域发挥着越来越重要的作用,由于其高灵活性、低成本,操作方便,通常用于战场侦察、战场态势评估、目标识别和跟踪的军队。现在,图像传感器的无人机可以获得多种类型的图像如多光谱图像,可见光图像和红外图像(1]。然而,由于环境条件的限制,如光,成像只有一个传感器将受到某些因素的影响,不能满足实际应用的要求。的组合多个成像传感器可以克服单一传感器的缺点,获得更可靠和全面的信息。成像传感器常用于无人机红外传感器和可见传感器。红外传感器使用较大的热辐射原理来获取图像红外目标,但目标不明确和边缘模糊(2]。可见传感器使用光反射的原理来获取清晰的图像清晰的细节,但在能见度低的情况下,图像有局限性。研究发现,红外图像的有效组合和可见图像可能导致更全面和准确的场景或目标,为后续任务处理(提供强有力的支持3]。
更常用的方法在红外和可见光图像融合领域大致可以分为MST-based方法(4[],稀疏表示方法5)、空间域的方法(6),和基于深度学习方法(7]。目前,大多数研究MST-based方法和应用方法,包括小波变换(8],拉普拉斯金字塔变换的[9),nonsubsampled剪切波变换(10],nonsubsampled contourlet变换(11]。这些方法源图像在多个尺度上分解,然后按照一定的融合规则融合分开,最后通过逆变换得到融合的结果,它可以提取重要信息在图像和获得更好的性能。例如,nonsubsampled contourlet变换是利用黄等。11)将源图像分解获得精确的分解。然而,由于缺乏空间一致性在传统的MST方法、结构或亮度失真可能出现在结果中。
此外,图像融合方法和边缘保持滤波(12也受到人们的关注。Edge-preserving滤波可以有效地减少光环工件边缘融合结果,同时保留边缘信息的图像轮廓和有一个良好的视觉表现。受欢迎的方法是指过滤(13),双边滤波(14),联合双边滤波(15,引导滤波(16]。这些方法完成分解根据图像的空间结构来实现空间一致性,从而达到平滑纹理的目的和保持边缘细节信息。例如,朱et al。16)提出了一个新颖的快幅图片dehazing算法通过使用引导滤波分解图像,获得了良好的性能。edge-preserving融合算法保持空间一致性和有效改善融合图像失真的现象或工件,但是有一些限制:(1)将详细介绍“晕”的边缘;(2)当输入图像和引导图像不一致,过滤会麻木不仁,甚至失败;和(3)很难满足融合性能的要求,同时时间效率和噪声鲁棒性。
灵感来自于之前的研究,本文主要关注减少“晕”边缘保留边缘结构信息和获得更好的分解性能在noise-perturbed和无噪声的图像。在本文中,一种新的红外和可见光图像融合方法基于迭代控制各向异性扩散和地区运营商提出了梯度结构。利用各向异性扩散源图像解析成层结构层和一个基地。然后,基于结构层加工利用梯度结构张量矩阵和区域构造操作符。由于疲软的细节和高能源基地层,视觉显著图(VSM)利用融合基本层。两个十二组件被重建后,得到最终的融合图像。
该方法的主要贡献可以概括如下:(1)一本小说提出了红外和可见光图像融合的方法。各向异性扩散模型与控制迭代算子提出了自适应控制的迭代次数,所以图像进行自适应分解成一个结构层与丰富的边缘和细节信息和基本层与纯粹的能量信息。特别是,极大地提高了计算效率(2)提出了区域构造操作符结构张量矩阵,可有效提取信息,如图像的细节,相反,和结构。它还可以大大提高检测能力弱结构与十二性能好,得到结构的图片(3)由于各向异性扩散可以有效地处理噪声,该方法也有一个良好的性能在嘈杂的图像融合。此外,该算法被广泛使用,也适合其他类型的图像融合
本文组织如下。部分2简要回顾了各向异性扩散和结构张量理论和引入了新的操作符。部分3描述了详细提出了红外和可见光图像融合算法。部分4介绍了相关实验并比较与几个当前先进的算法。最后,结论部分讨论了5。
2。相关的理论
2.1。基于迭代的各向异性扩散控制
各向异性扩散(17)可以利用平滑图像和保持图像的细节和边缘信息。与其他滤波方法相比,它更适合图像分解处理。各向异性扩散方程表示为 在哪里 扩散通量函数或扩散速度,拉普拉斯算符,梯度算子,是时间和规模或迭代。方程(1)可以被视为一个离散的方阵,与四个最近邻离散拉普拉斯算子可以用: 在哪里粗分辨率图像吗 规模、影响 。 是一个常数, 。 , , ,和是最近的差值的四个方向北,南,西,东,分别可定义为 和 , , ,和是传导系数或通量函数的四个方向北,南,西,东。 在哪里是一个单调递减函数 和“边缘停止函数或微分系数,具有非常重要的影响在噪声抑制和边缘保持各向异性扩散的能力。本文的图像格式是通过图像处理技术。
这两个函数的尺度空间重是不同的。第一个函数是突然的地区大梯度,即边缘和细节。第二个函数是平地小梯度。两个函数由一个自由参数 。
各向异性扩散是一个微分迭代的过程,迭代次数的一个关键问题。如果是overiterated,它将导致oversmoothing;但如果迭代的数量是不够的,详细的组件不能有效分离。此外,噪声图像的迭代次数和迭代次数无噪声的图像也不确定。因此,迭代控制操作符介绍了控制 ,因此自适应控制的迭代的数量和合理分离结构信息,如梯度和细节。它也可以提高计算效率。 在哪里的经验值是控制扩散强度,通常由30。它可以看到从方程(6)的价值相关的边缘强度区域边界,和价值的更新通过正面和负面的激励获得最优迭代次数。得到最有效和准确的分离结果。
的各向异性扩散图像仅仅是由 。通过各向异性扩散图像之后,由于迭代控制操作符可以精确控制的迭代的数量,几乎所有的振动和重复的上下文可以有效地保存在结构层,而能源信息和弱边缘保存在基本层。图1显示了基本层和结构层后获得的各向异性扩散图像分解。它可以清楚地看到这些图片基本上是与理论分析一致。
2.2。Gradient-Based结构张量矩阵
梯度的变化率,反映在中央像素和周围像素之间的区别。它可以用来准确地反映纹理细节,轮廓特征,在图像和结构组件。结构张量是一种有效的方法来分析梯度问题,它已经应用于各种图像处理任务。
梯度算子(18描述如下。本地窗口 任何 的方向 ,的平方的变化图像 在点 是
在任何方向在点 ,变化速率地方特色的形象 是
更好地分析梯度特性和有效地实现图像处理,结构张量矩阵介绍了。和可以表示为 在哪里
结构张量的两个极端值可以表示为
图像的局部区域的结构特征相关矩阵的极值。一般来说,如果两个极端值相对较小,这表明,该地区没有梯度特征;也就是说,该地区位于各向同性的部分。否则,它意味着当地的区域有明显的变化,包含某些结构信息,因为在图像区域特点测量,广泛的结构类型。最后,结构特点算子根据定义(19]
3所示。融合框架
基于上述理论,构造一个新的图像融合框架,如图2。有别于传统的分解方案,为了更好地利用原始图像中的有用信息,首先,迭代控制各向异性扩散将源图像分解为基础,利用结构组件。在这个时候,大部分的梯度和边缘可以有效地保存在结构层,和基地层包含剩余的能量信息。然后,根据每一层的特点,介绍了不同的融合规则获取每一层的十二。其中,融合的结构层,十二是有效地实现通过区域梯度结构;基础层,十二执行通过VSM。最后,融合重建获得的结果是两个十二层。
3.1。各向异性分解
让源图像coregistered。基本层是通过各向异性扩散模型与光滑的边缘上一节: 在哪里 是th基本层和 代表的各向异性扩散过程源图像。结构层是减去基础层的从源图像。
各向异性分解后,轮廓和纹理细节丰富的结构层和一个基本层与强度信息。
3.2。融合的结构层
由于结构特点运营商(SSO)在前一节中可以有效地检测图像的梯度结构信息,可以使用SSO prefuse结构层。然而,由于缺乏强度变量,SSO不能准确检测弱特征图像中的信息。为了提高结构检测能力,介绍了区域构造操作符(RSO)来提高性能的SSO。RSO是区域结构组件 中心位置;然后,区域梯度结构(该公司)可以表示为 在哪里 是突出图像由SSO, 代表了区域结构特征的位置 ,可以表示为哪一个 在哪里控制区域的大小和影响融合的效率和效果。通过比较该公司的输入图像,地图的结构特点 图像的 计算:
可以以同样的方式获得的。此外, 未来可以精炼 在哪里当地一个中央在吗 的大小是 。因此,十二结构层的形象 可以表达的
3.3。基础层的融合
自从基地层含有较少的细节,基于VSM(加权平均技术20.用于熔断器基础层 。
首先,构造特点;让代表一个像素的强度值在图像 。卓越的价值的像素被定义为 在哪里代表像素强度,表示数量的像素强度等于 ,和代表着灰色的数量水平(在这种情况下,256)。如果两个像素有相同的强度值,其特点值是相等的。然后,规范化[0,1]。
让和表示不同源图像的特点, 和 表示层底部的图片不同的源图像,最后十二基地层加权平均获得的图像
在获得这两个十二组件,最终的融合图像是
4所示。实验分析及结果
为了验证本文算法的有效性和可靠性,多个双图像用于实验验证,结果通过主观视觉和客观定量评价分析。算法参数设置完成后,实验结果显示和讨论。
4.1。实验设置
如图36对源图像用于实验,这可以从公共网站获得http://imagefusion.org/。所有的实验都使用MATLAB实现2018年笔记本电脑。和最近的五个方法比较在相同的实验环境验证,如图像融合ResNet和零相位成分分析(ResNet)提出的李et al。21),图像融合与卷积神经网络(CNN)提出的刘et al。22),梯度转移和全变差minimization-based马提出的图像融合方法(GTF)等。23),通过红外特征提取和图像融合视觉信息保存(IFEVIP)提出的Zhang et al。24),和基于四阶偏微分方程的多传感器图像融合(FPDE)提出的Bavirisetti et al。25]。此外,六个融合性能定量评价指标,包括熵(EN) [26),边缘信息保留 )(27,Chen-Blum指数( )(28),互信息(MI) [29日)、结构相似度(SSIM) [30.)和峰值信噪比(PSNR) [31日]。
4.2。图像融合和评价
数据4和56对红外和可见光图像融合的例子。数据4(a1),4(b1),4(c1)和数字5(a1),5(b1),5(c1)是红外图像和数据5(a2),5(b2),5(c2)和数字4(a1),4(b1),4(c1)是红外图像。数据5(a2),5(b2),5(c2)是可见的图像;数据4(a3) -4(a8),4(b3) -4(b8),4(c3) -4(c8)和数字5(a3) -5(a8),5(b3) -5(b8),5(c3) -5(c8)是由不同的方法融合结果。图中红色框中的内容是被强调的部分。
4.2.1。准备主观的评价
从数据可以看出4和5,ResNet和GTF方法得到的融合图像对比度低于由该方法获得的结果。尽管结构更好的保存,细节是相对削弱和丢失。IFEVIP方法保持一个良好的对比,但视觉效果增强,特别是在部分区域扩大,导致明显的错误结果。FPDE方法有模糊现象的内部特性。CNN方法取得了较好的融合效果,但其形象有点不自然,结果在图的颜色5(c4)包含错误。因此,该方法可以有效地分离组件的信息不同的图像,保留源图像的有用信息的融合图像,并获得最佳的视觉性能方面的边缘和细节保护。
4.2.2。客观的评价
除了主观评价,定量评价融合结果,结果如表所示1,最好的结果是粗体标签。根据表中的数据,可以看出,该方法的客观评价是明显高于其他方法。在所有的定量评估,只有几个地方不是最优,但不影响该方法的优势。此外,图6显示了条形图比较, , ,MI、SSIM和PSNR值的各种融合方法对汽车的例子。
总之,对于红外和可见的融合,本文方法具有良好的性能主观和客观。
4.3。扩展实验
经过实验验证,提出了遥感图像融合算法同样有效。为了说明该算法的有效性,两组不同的全色和多光谱卫星遥感图像如图所示7。
数据7(a1)和7(b1)多光谱图像与高光谱分辨率和空间分辨率较低。数据7(a2)和7(b2)是全色图像与高空间分辨率和光谱分辨率低。相应的融合结果如图7(a3)和7(b3)。可以看到从图中的红色框中的内容7,融合结果都高空间分辨率和高光谱分辨率,和融合图像有很强的能力来表达结构和细节。客观评价结果如图8。从视觉和客观的结果可以看出,该算法可以有效地保持高空间和高光谱信息和可以提高遥感图像的后续处理的准确性。
4.4。计算效率
测试的方法在本文中都进行相同的实验环境。六对图像的平均执行时间是比较如表所示2。可以看出,该算法的计算效率有相当大的优势比较算法。
5。结论
在这篇文章中,一个红外和可见光图像融合算法基于迭代控制各向异性扩散和地区提出了梯度结构。该算法充分利用各向异性扩散和提高分解效率的优点和效果通过迭代控制操作符。介绍了区域梯度结构算子在结构层完全提取的详细信息以获得更好的融合性能。许多实验结果表明,该算法明显优于现有方法的主观和客观评价。此外,可以获得较高的计算效率和更强的抗噪声性能,和算法可以有效地应用于其他类型的图像融合情况。
数据可用性
使用的数据来支持本文的结果是可用的http://imagefusion.org/。
的利益冲突
作者宣称没有利益冲突有关的出版。
确认
这项研究是由中国国家自然科学基金资助数量61801507,国家自然科学基金的河北省,格兰特F2021506004数量。