一个改进的红外/可见光的天文图像融合

摘要

提出了一种基于双树复小波变换(UDTCWT)的天文可见光/红外图像融合方案。UDTCWT由于继承了移位不变性的特性，降低了噪声影响并改进了对象分类。利用局部标准差和距离变换提取有用的信息(特别是小目标)。仿真结果与最新的融合技术的比较表明，该方法在大多数情况下具有较高的精度。

1.简介

可见光天文由于反射，折射，干涉，衍射，科学家可以大自然的秘密坟很多;然而，恒星的亮度会在天空中的阴霾。在另一方面，红外（IR）天文学使我们可以通过星际尘埃面纱等和看到在极端宇宙距离的物体。红外图像具有良好的辐射分辨率，而可见光图像提供详细信息。在这方面，各种图像融合技术已经发展到互补信息存在于两个图像组合。这些技术可分为小波，统计分解，压缩感测。

小波变换基于融合方案通常分解可见光和红外图像转换成不同的基和细节层，所述有用信息结合起来。在[1]， contourlet变换融合用于分离前景和背景信息;然而，这种分离并不总是准确的，造成了目标信息的丢失。在[2]，非抽样轮廓波变换，局部能量，并基于模糊逻辑融合的权利要求更好的主观视觉效果;然而，合并和IR的必要组成部分和在融合模型可视图像的说明需要改进特别是在嘈杂的图像的情况下。在[3]，小波变换和基于模糊逻辑的方案利用相异措施分配权重;然而，一些文物也被融合图像中介绍。对比度增强（使用IR图像的局部和全局的发散比）基于融合缺乏色彩一致性[4]。在自适应强度色调饱和度的方法[五]，注入到多光谱图像各波段的空间细节量由加权矩阵适当地确定，加权矩阵是根据全色和多光谱波段的边缘定义的。该方案保留了空间细节;然而，它不能充分控制光谱失真[6]。在[7]，基于映射对比度域方法定义了结构张量矩阵到低维梯度场。然而，该方案的效果自然的色彩输出。在[8]，小波变换和基于分割融合方案开发，以提高低对比度目标。然而，融合性能取决于分割质量，且分割的误差，就可能出现对宇宙图像（特别是当一个特征被分成多个区）。

统计融合方案图像分成使用不同的矩阵分解技术的多个子空间。-means和从计算复杂度基于奇异值分解方案遭受[9]。在[10]，空间和光谱融合模型使用稀疏矩阵因式分解到保险丝的图像具有不同的空间和光谱特性。该方案结合了来自具有与由具有高空间但低的光谱分辨率的传感器的空间信息低空间但高光谱分辨率传感器的光谱信息。虽然该方案产生与保存完好的光谱和空间性能更好的融合效果，其议题包括频谱的词典学习过程和计算复杂性。在[11]，内部生成机制基于融合算法第一分解源图像划分为粗糙层，并通过模拟人类视觉系统的机制用于感知图像的细节层。然后细节层使用脉冲耦合神经网络稠合，并且粗糙层是通过使用频谱残差基于显着性的方法熔融。该计划是时间效率低下，并产生微弱的融合性能。在[12]，基于独立分量分析的红外与可见光图像融合方案利用了基于独立分量分析的系数的峰度信息。然而，确定主要特征的融合规则还需要进一步的工作。

压缩感测基于融合方案利用使用不同的字典数据的稀疏性。从不同的参数的经验调整可调整的压缩的基于测量的融合方案遭受[13]。在[14]，压缩感知方法保存数据(如边缘、线和轮廓);然而，设计合适的稀疏变换和最优确定性度量矩阵是一个问题。在[15]，一种基于压缩感知的图像融合方案(针对红外和可见光图像)，首先对感知数据进行随机投影压缩，然后通过稀疏表示得到压缩样本上的稀疏系数。最后将融合系数与融合影响因子结合，由融合后的稀疏系数重建融合图像。然而，该方案效率低，容易受到噪声影响。在[16]，一个非负的稀疏表示基于方案被用于提取源图像的​​特征。一些方法被开发以检测显着特征（包括目标和轮廓）IR图像和纹理特征在可视图像英寸虽然方案执行用于噪声图像更好，图像的稀疏被隐式控制。

概括地说，上述的状态的最先进的融合技术从有限的精确度，高计算复杂度，或nonrobustness受损。为了克服这些问题，对于天文图像UDTCWT基于可见光/红外图像融合方案开发。UDTCWT由于继承了移位不变性的特性，降低了噪声影响并改进了对象分类。随距离变换沿局部标准偏差被用来提取有用的信息（尤其是小的对象）。仿真结果表明提出的方案的优势在精度方面，对于大多数的情况下。

2.提出的方法

让是输入源IR（)及可见()注册图像(带有尺寸)）。当地的标准偏差用于估计的局部变化是 在哪里局部均值图像是否计算为 局部标准差测量的是像素在局部区域的随机性，高值表示天体的存在，低值对应光滑/空白空间(没有任何物体或天体)。

图像通过阈值处理得到的除去含大的变化像素：即， 在哪里是控制参数和和是均值和方差,分别。灰度距离图像（到其存在内/外的任何形状/对象不同点的分类）是利用计算和掩码如 的距离变换（用于消除oversegmentation和近视）测量来自其他亮像素的像素的总距离。例如，一个像素更接近星（对象）的簇趋向于所分割的掩模，并且反之亦然的一部分。

让被二值图像从距离图像获得： 那是， 在哪里表示平均图像和是正的常数。该图像片段从背景区域前景。所连接的组件图像（到段不同的二进制模式）与结构元件（一种所有的人的矩阵） 让和表示的面积和周长放置在第连通分量个位置，分别;二进制分割图像被构造成 在哪里和是阈值参数。UDTCWT应用于源图像以获得系数矩阵尺寸的(表示小波系数)。使用UDTCWT得到的分解不仅消除了噪声/多余的伪像，而且有效地保存了输入图像中有用的信息(由于它的非decimated性质)。二元系数矩阵通过在可见图像比红外图像提供更多信息的像素位置分配非零值来获得。这种二值阈值化确保融合后的图像包含两个源图像的重要/重要信息(因为UDTCWT的较高值对应着重要/重要信息的存在): 二进制保险丝映射被计算为 在哪里代表操作。让 最终融合图像通过计算融合系数的UDTCWT反演得到。数字1示出了所提出的技术的流程图。

3.结果与讨论

为了验证所提出的技术的重要性，仿真各种可见光/红外数据集进行。使用进行定量分析(亮度/对比度失真),（互信息）(加权质量指标),（边缘依赖性质量指数），（结构相似性指数测量），（人类感知启发度量），(边缘变换度量)，和(图像特征度量)[17-22]。

该指标[17，18]通过模态图像失真的相关性的损失，亮度失真和对比度失真的组合设计。该指标[17]表示的取向保存和边缘强度值。它模型的信息在稠合的结果的感知损失的有多好强度和在源图像中的像素的方向的值在融合图像所表示的术语。它涉及动态的客观的评价，多传感器图像融合的问题，基于所述输入和融合图像之间的梯度信息保存。它还考虑到了附加的存在于多传感器序列场景和对象的运动信息。该指标[17]通过向这些窗口，其中该输入图像的显着性是高分配更大的权重来定义。它相当于有可能是潜在的场景感知重要的部分地区。该指数(17]考虑到人的视觉系统，其中，它表示的源图像的融合图像的边缘信息的贡献的帐户方面。该测量[19]是两个图像之间的相似性，并且被设计以提高均方误差和峰值信号的传统措施的信噪比，这是与人眼感知不一致。该指标[20.使用基于人类视觉系统模型的感知质量评估方法，评估夜视应用图像融合的性能。利用对比度灵敏度函数和对比度保存图对融合后的图像质量进行评价。该指标[21]评估了像素级融合性能和反映了从输入图像的融合获得视觉信息的质量。该指标[22]计算的结合的像素级图像融合的性能，基于图像特征的测量（即，相位一致性和其时刻），并且提供的图像的特征的绝对测量。通过比较相应的输入图像和输出融合的特征地图的局部互相关，该稠合结果的质量，而不参考图像进行评估。

这些质量度量[17-22在多曝光、多分辨率和多模态环境下使用基于多尺度变换、算术、统计和压缩感知的方案，对有噪声、模糊和失真的图像很好地工作。这些也适用于远程和机载传感、军事和工业工程相关应用。这些测量的归一化范围在0和1之间，高值意味着更好的融合度量为每个质量测量。

数字图2（a）显示由斯皮策太空望远镜拍摄的仙女座星系(M31) JPEG红外线图像[23),图图2（b）显示使用12.5 " Ritchey Chretien Cassegrain (F6)和ST10XME拍摄的相应可见图像[24]。数据图2（c）-图2（f）为局部方差、距离变换和分割步骤的输出。

数字3显示比例金字塔(RP)得到的融合结果[25]，二元树复数小波变换（DTCWT）26，非下采样轮廓波变换(NSCT) [27]，多分辨率奇异值分解（MSVD）28]，Ellmauthaler等。[8]，并提出方案。通过目视比较，可以注意到，所提出的方案提供了更好的熔合的效果，尤其是背景强度值保存相比，现有的国家的最先进的方案作为。

数据图4（a）和图4（b）示出了使用多光谱可见光成像相机通过新地平线号取可见光和IR木星的卫星JPEG图像和线性标准具成像光谱阵列[29]。通过RP得到的融合结果[25], DTCWT [26]，NSCT [27]，MSVD [28]，Ellmauthaler等。[8]，并以图表显示建议的方案图4（c）-4 (h),分别。请注意，只有在提出的方案能够融合图像中准确地保留两个月亮的材质（从红外图像）等明星（从可见光图像）。

数据5(一个)和5 (b)显示出采取哈勃望远镜可见光和IR Nabula（M16）JPEG图像[30.]。通过RP得到的融合结果[25], DTCWT [26]，NSCT [27]，MSVD [28]，Ellmauthaler等。[8]，并以图表显示建议的方案5 (c)-5 (h),分别。融合图像使用提出的方案亮点IR信息更准确地相对于现有状态的最先进的方案作为。

表格1示出了现有的和提出的方案的定量比较（其中粗体的值表示最佳结果）。可以观察到，使用提出的方案获得的结果是在大多数情况下/措施显著更好相比于现有状态的最先进的方案。

4.结论

提出了一种基于UDTCWT、局部标准差和距离变换的天文可见光/红外图像融合方案。UDTCWT的使用有助于保留图像的有用细节。当地的标准偏差变化测量是否存在小物体。距离变换激活了分割过程中的近距离效应，消除了过分割和近视的影响。该方案减少了噪声干扰，有效地提取了有用的信息(特别是小物体)。在不同可见光/红外图像上的仿真结果验证了该方法的有效性。

利益冲突

作者声明，本论文的发表不存在任何利益冲突。

参考

1. L.昆，G.雷，L.回回，和C.菁松，“基于区域分割红外和可见光图像融合，”中国航空学报卷。22，没有。1，第75-80，2009年。查看在：出版商的网站|谷歌学术搜索
2. “一种基于局部能量和模糊逻辑的改进可见光与红外图像融合方法”，国立中山大学物理研究所硕士论文信号处理的第12届IEEE国际会议论文集，第861-865 2014年10月。查看在：出版商的网站|谷歌学术搜索
3. J. Saeedi和K. Faez，“使用模糊逻辑和基于人口的优化的红外和可见图像融合，”应用软计算卷。12，没有。3，第1041至1054年，2012。查看在：出版商的网站|谷歌学术搜索
4. S.阴，L.曹，Y.玲，和G.金，“一个颜色对比增强红外和可见光图像融合的方法，”红外物理与技术卷。53，没有。2，第146-150，2010。查看在：出版商的网站|谷歌学术搜索
5. Y.梁，J.柳，和J.章，“一种改进的遥感图像的融合自适应强度色相的饱和度的方法，”IEEE地球科学和遥感通讯卷。11，没有。5，第985-989，2014。查看在：出版商的网站|谷歌学术搜索
6. “利用地球资源卫星和MODIS影像的统一时空融合模型”，北京第三届地球观测与遥感应用国际研讨会(EORSA '14)论文集，第256-260页，IEEE，长沙，中国，2014年6月查看在：出版商的网站|谷歌学术搜索
7. D. Connah，M. S.德鲁，和G. D.芬利森，光谱边缘图像融合：理论与应用, 2014年施普林格。
8. A. Ellmauthaler，E. A. B.达席尔瓦，C. L.景年，和S. R.内韦斯，“使用抽样小波红外可见光图像融合谱分解和目标提取变换，”在图像处理19 IEEE国际会议论文集（ICIP '12），第2661至2664年，2012年10月。查看在：出版商的网站|谷歌学术搜索
9. 丁明，魏丽玲，王斌，“基于压缩感知的红外与可见光图像融合方法研究”，红外物理与技术卷。57，第56-67，2013。查看在：出版商的网站|谷歌学术搜索
10. B.黄，H.宋，H.崔，J.彭和Z.许，“空间和使用稀疏矩阵因式分解光谱图像融合，”IEEE交易对地球科学与遥感第52卷，没有。3，第1693-1704页，2014。查看在：出版商的网站|谷歌学术搜索
11. 十张，X.李，Y.丰，赵令欢，和Z.刘，“图像融合内生成机制，”带有应用程序的专家系统第42卷，no。5, 2382-2391页，2015。查看在：出版商的网站|谷歌学术搜索
12. Y.路，王楼，十罗和F刘，“基于独立成分分析的新型红外和可见光图像融合的方法，”在计算机科学前沿，第8卷，no。2，第243-254页，2014。查看在：出版商的网站|谷歌学术搜索|MathSciNet
13. A. Jameel, A. Ghafoor, M. M. Riaz，“可见光/红外传感器的自适应压缩融合”，IEEE传感器杂志第14卷，no。7，第2230-2231页，2014。查看在：出版商的网站|谷歌学术搜索
14. Z.柳，H.阴，B.方，和Y.柴，“基于压缩感测为可见光和红外图像A新的融合方案，”光学通信，第335卷，第168-177页，2015年。查看在：出版商的网站|谷歌学术搜索
15. R. Wang和L.杜，“红外和基于随机投影和稀疏表示可见光图像融合，”国际遥感杂志第35卷，no。2014年，1640-1652页。查看在：出版商的网站|谷歌学术搜索
16. J.王，彭J.，冯X.，G.他和J.范“融合方法通过使用非负稀疏表示红外和可见光图像，”红外物理与技术《中国日报》，第67卷，2014年第477-489页。查看在：出版商的网站|谷歌学术搜索
17. G. Piella和H. Heijmans，“图像融合的新的质量度量，”在IEEE图像处理会议的会议记录，第171-173页，2003年9月。查看在：谷歌学术搜索
18. Z. Wang和A. C. Bovik，“一个普遍的图像质量指数”IEEE信号处理快报卷。9，没有。3，第81-84，2002。查看在：出版商的网站|谷歌学术搜索
19. 王志强，“图像质量评估:从错误可见性到结构相似性”，台北:国立台湾大学出版社，2002。对图像处理IEEE TRANSACTIONS第13卷，no。4, 2004年，600-612页。查看在：出版商的网站|谷歌学术搜索
20. 一种新的图像融合自动质量评估算法，图像和视觉计算卷。27，没有。10，第1421至1432年，2009年。查看在：出版商的网站|谷歌学术搜索
21. c . s . Xydeas和诉Petrović,”目标图像融合性能的人制定出的措施”,IET电子快报卷。36，没有。4，第308-309，2000。查看在：出版商的网站|谷歌学术搜索
22. J. Zhao, R. Laganiere, Z. Liu，“基于绝对特征测量的组合像素级图像融合的性能评估”，国际期刊创新计算，信息与控制卷。3，没有。6，第1433至1447年，2007年。查看在：谷歌学术搜索
23. 仙女座星系(M31)红外线，http://sci.esa.int/herschel/48182-multiwavelength-images-of-the-andromeda-galaxy-m31/。
24. 仙女座星系(M31)可见，http://www.robgendlerastropics.com/M31Page.html。
25. A. TOET“由低通金字塔的比率的图像融合，”模式识别的字母卷。9，没有。4，第245-253，1989。查看在：出版商的网站|谷歌学术搜索
26. J. J.刘易斯，R. J.的O'Callaghan，S. G.尼科洛夫，D.R。公牛，和N. Canagarajah，“像素和具有复杂小波基于区域的图像融合，”信息融合，第8卷，no。2，第119-130，2007。查看在：出版商的网站|谷歌学术搜索
27. 问：张和B.-L.郭沫若“使用非抽样Contourlet变换多聚焦图像融合，”信号处理卷。89，没有。7，第1334至1346年，2009年。查看在：出版商的网站|谷歌学术搜索
28. V. P. S.奈杜，“使用多分辨率奇异值分解的图像融合技术中，”国防科学杂志卷。61，没有。5，第479-484，2011。查看在：谷歌学术搜索
29. 木星的卫星,http://www.technology.org/2014/12/03/plutos-closeup-will-awesome-based-jupiter-pics-new-horizons-spacecraft。
30. Nabula (M16),http://webbtelescope.org/webb_telescope/technology_at_the_extremes/keep_it_cold.php。

版权

版权所有©2015年Attiq Ahmad等。这是下发布的开放式访问文章知识共享署名许可，其允许在任何介质无限制地使用，分发和再现时，所提供的原始工作正确的引用。