可见光天文学由于反射、折射、干涉、衍射使科学家们发掘许多大自然的秘密;然而,亮度恒星创建一个阴霾的天空。另一方面,红外(IR)天文学使我们能够透过星际尘埃的面纱,看到极端宇宙学距离的物体。红外图像具有良好的辐射分辨率而可见的图像提供了详细的信息。在这方面,开发了各种图像融合技术结合互补的信息同时呈现在图像。这些技术可以分为小波统计分解和压缩传感。

基于小波变换的融合方案一般可见光和红外图像分解成不同的基础和细节层,将有用的信息。在[ 1),contourlet变换融合用于单独的前景和背景信息;然而,分离并不总是准确的,在目标信息造成损失。在[ 2),nonsubsampled contourlet变换、局部能量和基于模糊逻辑的融合要求更好的主观视觉效果;然而,合并和描述必要的组件的红外和可见光图像融合模型需要改进尤其是在嘈杂的图像。在[ 3),利用小波变换和基于模糊逻辑的方案不同测量分配权重;然而,一些工件也介绍了融合图像。对比度增强(使用红外图像的局部和全局分歧)比基于融合缺乏颜色一致性( 4]。在自适应强度色相饱和度方法( 5),每个波段多光谱图像的空间细节注入适当由权重矩阵,定义的基础上边缘出现在全色和多光谱波段。该方案保留了空间细节;然而,它不能充分控制光谱失真( 6]。在[ 7),gradient-domain方法基于对比度定义的映射结构张量矩阵到一个低维梯度场。然而,该方案效果自然输出颜色。在[ 8),小波变换和基于分割的融合方案开发提高在低对比度的目标。然而,融合性能依赖于分割质量和大分割错误可能发生宇宙图像(尤其是当一个特性分为多个区域)。

统计融合方案把图像分割成多个使用不同的矩阵的子空间分解技术。 K ——和基于奇异值分解的计划遭受从计算复杂度 9]。在[ 10)、空间和光谱融合模型使用稀疏矩阵分解融合图像具有不同的空间和光谱特性。该计划结合了光谱信息从传感器在低空间但高光谱分辨率的空间信息从传感器具有高空间但是光谱分辨率较低。尽管该计划产生更好的融合结果与保存完好的光谱和空间属性,其问题包括光谱字典学习过程和计算复杂性。在[ 11),基于内部生成机制的融合算法首先将源图像分解成粗层和一个细节层通过模拟人类视觉系统感知图像的机制。然后细节层融合使用脉冲耦合神经网络和粗糙层是基于融合利用光谱残留特点的方法。计划时间效率低下和收益率疲软的融合性能。在[ 12),基于独立分量分析的红外和可见光图像融合方案使用峰度信息基于独立成分分析的系数。然而,进一步的工作需要确定融合规则的主要特性。

基于压缩传感的融合方案利用数据使用不同的稀疏字典。可调压缩测量基础融合计划遭受来自经验调整不同的参数( 13]。在[ 14),压缩传感的方法保存数据(如边缘、线条和轮廓);然而,设计适当的稀疏变换和最佳的确定性测量矩阵是一个问题。在[ 15],基于压缩感知的图像融合方案(红外和可见光图像)首先压缩传感数据的随机投影,然后得到稀疏系数压缩样本稀疏表示。融合系数是最后结合融合影响因子和融合图像重构的稀疏系数相结合。然而,该计划是效率低下和容易受到噪声的影响。在[ 16),一个基于非负稀疏表示的方案用于提取源图像的特点。开发一些方法检测特征(包括目标和轮廓)的红外图像和可见图像的纹理特征。尽管该计划执行更好的噪声图像,图像的稀疏隐式控制。

总而言之,上述先进的融合技术受到有限的精度,计算复杂度高,或nonrobustness。为了克服这些问题,基于UDTCWT可见/红外天文图像的图像融合方案。UDTCWT减少噪声影响,提高对象分类由于其继承财产移不变性。当地标准偏差随距离变换用于提取有用的信息(尤其是小对象)。仿真结果说明本文所提出的方案的优越性在准确性方面,对于大多数的病例。

让 我 k 输入源红外( k = 1 )和可见的( k = 2 )注册图像(维度 米 × N )。当地的标准偏差 l ~ k 估计当地的变化 我 k 是 (1) l ~ k 米 , n = ∑ 米 ~ = 米 - - - - - - 米 1 米 + 米 1 ∑ n ~ = n - - - - - - n 1 n + n 1 我 k 米 ~ , n ~ - - - - - - 我 ¯ k 米 , n 2 2 米 1 + 1 2 n 1 + 1 , 在哪里 我 ¯ k 是本地图像计算意味着什么 (2) 我 ¯ k = 1 2 米 1 + 1 2 n 1 + 1 ∑ 米 ~ = 米 - - - - - - 米 1 米 + 米 1 ∑ n ~ = n - - - - - - n 1 n + n 1 我 k 米 ~ , n ~ 。 当地的标准偏差的措施在当地区域像素的随机性比较高的值表明astrobodies和低价值的值对应于光滑/空格(没有任何对象或astrobody)。

图像 l k 通过阈值 l ~ k 删除包含大的像素变化:也就是说, (3) l k 米 , n = l ~ k 米 , n , l ~ k 米 , n < l ~ ¯ k + ζ k Var ⁡ l ~ k , 0 ; 否则 , 在哪里 ζ k ∈ ( 0.1,1.2 ] 是一个控制参数和 l ~ ¯ k 和 Var ⁡ ( l ~ k ] 均值和方差的吗 l ~ k ,分别。灰色的距离图像 我 D (分类不同的点存在内部/外部任何形状/对象)计算使用 l k 和面具 l 面具 作为 (4) D k ← 距离变换 l k , l 面具 。 距离变换(用于消除oversegmentation和近视)措施的整体距离从其他明亮的像素像素。例如,一个像素接近一群恒星(对象)往往是分段面具的一部分,反之亦然。

让 E k 是二进制图像从距离获得图像 D k :也就是说, (5) E k 米 , n = 1 , D k 米 , n > λ k D ¯ k , 0 , 否则 , 在哪里 D ¯ k 表示的意思是图像和 λ k > 300年 是一个积极的常数。的 E k 图像部分前景从背景区域。连接组件的图像 C k (段不同的二进制模式)与结构元素 ϕ (一个 3 × 3 矩阵的) (6) C k ← 连接组件 标签 E k , ϕ 。 让 一个 问 k ( 米 , n ) 和 p 问 k ( 米 , n ) 代表的面积和周长 问 连接组件放置在 ( 米 , n ) 分别th位置;一个二进制图像分割 年代 k 被构造成 (7) 年代 k 米 , n = 1 , 一个 问 k 米 , n > β , p 问 k 米 , n 一个 问 米 , n < γ , 0 , 否则 , 在哪里 β ≥ 10 和 γ ≤ 1.5 是阈值参数。UDTCWT在源图像上应用 我 k 获得系数矩阵 我 k U 的维度 米 × N × l ( l = 1、2 , … , l 表示小波系数)。获得的分解使用UDTCWT不仅消除了噪声/不必要的工件,也有效地保留有用的信息出现在输入图像(由于其抽取属性)。二进制系数矩阵 我 ~ U 通过指定非零值的像素位置可见图像提供了更多的信息比红外图像。这种二进制阈值确保了融合图像包含源图像的重要/重要信息(如UDTCWT对应存在显著的更高的价值/重要信息): (8) 我 ~ U 米 , n , l = 1 , 我 2 U 米 , n , l > 我 1 U 米 , n , l , 0 , 否则。 一个二进制保险丝地图 我 ˙ F 是计算 (9) 我 ˙ F 米 , n , l = 我 ~ U 米 , n , l ⊕ 年代 1 米 , n ⊕ 年代 2 米 , n , 在哪里 ⊕ 代表 O R 操作。让 (10) 我 F 米 , n , l = 我 2 U 米 , n , l , 如果 我 ˙ F 米 , n , l = 1 , 我 1 U 米 , n , l , 否则。 最终的融合图像 F 通过计算得到融合系数的逆UDTCWT吗 我 F 。图 1提出技术的流程图。

验证的意义提出技术,模拟各种可见光/红外数据集上执行。定量分析是使用来执行的 问 o (亮度/对比度失真), 问 米 我 (互信息), 问 w (加权质量指标), 问 e (边缘相关的质量指标), 问 年代 (结构相似度指数衡量), 问 B (启发人类感知指标), 问 X (边缘转换度量), 问 Z (图像特征指标) 17- - - - - - 22]。

的 问 o 指标( 17, 18设计通过形态图像失真的组合失去相关性,亮度失真,和对比度失真。的 问 米 我 指标( 17)代表了方向保护和边缘强度值。它的模型信息融合结果的感知损失的强度和方向在源图像的像素值表示融合图像。处理问题的客观评价的动态,多传感器图像融合,基于梯度信息的保存和输入之间的融合图像。它还考虑额外的场景和物体运动出现在多传感器信息序列。的 问 w 指标( 17被定义为将更多的重量分配给那些窗户,在输入图像高的特点。它对应的领域可能是感知的重要部分潜在的场景。的 问 e 指数( 17)考虑人类视觉系统方面的,它表达了贡献源图像的边缘信息的融合图像。的 问 年代 测量( 19)是两个图像之间的相似度,目的是改善传统措施的均方误差和峰值信噪比,这是不符合人眼感知。的 问 B 指标( 20.)评估对夜视图像融合应用程序的性能,使用一种基于人类视觉系统感知质量评价方法模型。融合图像的图像质量评估通过对比敏感度函数和对比保存地图。的 问 X 指标( 21评估进行像素级融合的性能和质量反映了视觉信息从输入图像的融合。的 问 Z 指标( 22)评估结合进行像素级图像融合的性能,基于图像特征测量(即。相一致,它的时刻),并提供一个绝对测量的图像特征。通过比较相应的地方互相关特性输入图像和融合输出的地图,融合结果的质量评估没有参考图像。

这些质量指标( 17- - - - - - 22)适合嘈杂、模糊和扭曲的图像,使用多尺度变换,算术,统计,和基于压缩传感方案multiexposure,多分辨率和多通道环境。这些也是有用的远程和机载遥感、军事和工业工程相关的应用程序。这些措施的规范化的范围是在0和1之间,高值意味着更好的融合为每个质量指标衡量。

图 2(一个)显示了仙女座星系(M31) JPEG斯皮策太空望远镜拍摄的红外图片( 23),图 2 (b)显示对应的可见拍摄使用12.5′′Ritchey克雷蒂安卡塞格林(F6)和ST10XME 24]。数据 2 (c)- - - - - - 2 (f)是当地的输出方差、距离变换,和分割步骤。

图 3显示了融合结果的比率金字塔(RP) [ 25),双树复小波变换(DTCWT) [ 26),nonsubsampled contourlet变换(NSCT) [ 27),多分辨率奇异值分解(MSVD) [ 28),Ellmauthaler et al。 8),并提出方案。通过视觉比较,可以发现,该方案提供了更好的融合结果,特别是背景强度值的保存比现有最先进的方案。

数据 4(一)和 4 (b)显示可见光和红外木星的卫星JPEG图像采取“新视野”号宇宙飞船使用多光谱可见光成像相机和线性校准器成像光谱array [ 29日]。RP的融合结果( 25],DTCWT [ 26],NSCT [ 27],MSVD [ 28),Ellmauthaler et al。 8),并提出方案如图 4 (c)- - - - - - 4 (h),分别。注意,只有该方案能够准确地保留两个月亮纹理(从红外图像)和其他恒星(从可见的图像)的融合图像。

数据 5(一个)和 5 (b)显示可见光和红外Nabula (M16) JPEG由哈勃太空望远镜拍摄的图像( 30.]。RP的融合结果( 25],DTCWT [ 26],NSCT [ 27],MSVD [ 28),Ellmauthaler et al。 8),并提出方案如图 5 (c)- - - - - - 5 (h),分别。融合图像使用方案突出了红外信息更准确地比现有最先进的方案。

表 1显示现有的定量比较,提出方案(大胆的值表明最好的结果)。它可以观察到,使用提出的方案获得的结果更好的在大部分的情况下比现有最先进的方案/措施。

融合方案基于UDTCWT天文可见/红外图像,局部标准差,和距离变换算法。使用UDTCWT有助于留住有用的图像的细节。当地的标准差变异小对象的措施存在与否。距离变换分割过程中激活邻近的影响和消除oversegmentation除了近视的影响。方案可以降低噪音工件和有效地提取有用信息(尤其是小对象)。仿真结果在不同的可见/红外图像验证方案的有效性。