基于NSST Multifocus彩色图像融合和相

文摘

提出了一种有效的multifocus彩色图像融合算法基于nonsubsampled shearlet变换(NSST)和脉冲耦合神经网络(相);该算法可用于不同的颜色空间。在本文中,我们用HSV颜色空间作为一个例子,H分量是由自适应简化集群相(S-PCNN),然后根据振荡频率图H分量融合S-PCNN(一些小);同时,S和V组件由NSST来分解,并利用不同的融合规则融合结果。最后,执行HSV逆变换得到的RGB彩色图像。实验结果表明,该彩色图像融合算法比其他常见颜色更高效的图像融合算法。

1。介绍

视频技术是沿海监测的重要技术之一,图像融合和视频技术的基础。彩色图像包含颜色信息和亮度信息,所以彩色图像比灰色图像更适合沿海监视(1]。除此之外,人类的视觉的识别程度高于灰度图像颜色信息(2]。图像融合的整个过程是提取重要的、有代表性的信息从源图像相同的场景,这可能来自不同类型的图像传感器或同一个行为在不同的模式,然后试图融合到最终的合成图像有更好的描述比任何单独的源图像场景。因此,合适的多传感器图像融合技术的研究是必要的和有价值的3]。

彩色图像亮度和颜色的组合不同。因为彩色图像是由几个组件和每种颜色空间的融合图像融合组件,有一些常见的算法,如平均强度,色相和饱和度(他的),和主成分分析(PCA) (4,5),容易实现,但表现并不好。最近,基于多分辨率分析的图像融合方法已被广泛研究;第一步是图像变换,然后将转换后的图像的系数结合;最后,可以通过逆变换得到融合图像。根据不同的分解方式,这些算法可以分为金字塔变换,小波变换(6],曲波[7],contourlet [8]。2005年,Labate等人提出了一种新的多维表示算法,叫做shearlet [9]。该算法的一个优点是,它可以使用广义构造多分辨率分析和有效地使用传统的级联算法实现。所以shearlet在时域和频域都具有良好的表现(10]。为了结合优势,克服的缺陷nonsubsampled contourlet变换和shearlet NSCT变换(圣),(11]提出的理论nonsubsampled shearlet变换(NSST) nonsubsampled拉普拉斯金字塔变换结合几种不同的剪切过滤器。与当前相比多分辨率几何分析(公司)工具,NSST吸收一些公司领域的最新发展和显示令人满意的融合性能如更好的稀疏表示能力和更低的计算成本。此外,NSST也shift-invariance属性圣缺乏的要求。因此,希望进一步研究基于NSST域图像融合领域的承诺和竞争(12]。近年来,基于相的图像融合方法受到越来越多的关注,许多专家、学者与相的字符在生物背景。与其他人工神经网络相比,相有一个其他传统人工神经网络无法比拟的优势。所以相在图像处理领域得到了广泛的应用,显示了非常优越的性能12- - - - - -15]。

在本文中,一个新的multifocus彩色图像融合算法基于NSST和相。本文吸收一些优势NSST和相;它首先将RGB彩色图像转换为HSV彩色图像,然后H组件输入自适应简化相(S-PCNN)模型得到S-PCNN振荡频率图(一些小);一个新的融合H组件是通过比较一些小获得;年代和V组件分解为低频子带和高频子带NSST,这些部分波段融合到不同的方法来获得新的融合年代和V组件。最后,执行HSV逆变换获得一个新的融合RGB彩色图像。实验结果表明,该算法更有效保存源彩色图像的颜色信息比其他常用算法;和融合图像包含更多的边缘、纹理和细节。

本文安排如下。部分2介绍了相关的理论NSST和相模型。部分3解释了该算法,包括框架和工作流程。部分4给出了实验结果和分析。部分5本文总结道。

2。相关的理论

2.1。相

相模型有三个基本部分:接受域,调制磁场,脉冲发生器(13,14]。在接受领域,包括和渠道和描述(1),输入神经元接收到邻近的神经元的耦合和外部刺激输入。在和渠道的神经元,神经元与它的邻居神经元通过突触连接权重和分别;两个渠道积累同时输入和指数衰减的变化;的衰减指数是和分别,而信道振幅和分别为:

在调制领域,连接输入通过添加链接的偏见;然后,它乘以喂养的输入;偏见是统一的,是连接强度,总内部活动是调制的结果,描述的是哪一个

脉冲发生器由阈值调节器,比较器官,和一个脉冲发生器,所描述的(3)。它的功能是生成脉冲输出,调整阈值;是阈值系数。当内部状态大于阈值神经元,即满足条件,一个脉冲产生的神经元;我们称之为一个点火,描述(4): 其中下标和代表神经元;再利用和位置表示当前迭代(离散时间步)变化从1到(是迭代的总数)。特别是,“神经元点火”意味着相的神经元生成一个脉冲。发动机的总次代表对应的代码序列后的图像信息迭代。

用于图像处理;再利用时,一个像素与独特的神经元。网络中神经元的数量等于输入图像的像素数量;即之间存在一一对应的图像和神经元网络,和像素值作为外部输入神经元的刺激通道。神经元输出结果在两种状态,即脉冲(情况1)和nonpulse(状态0),所以输出状态的神经元组成一个二进制图像。将发现更多信息相(12- - - - - -15]。

2.2。S-PCNN

简化相(S-PCNN)模型(15)是由相同的;再利用与原始模型,但输入的频道只有相关图像灰度值和没有关系与外部耦合和指数衰减特征,及其参数小于原始相模型,输入通道的接受域是简单和有效的。在S-PCNN模型中,神经元的变量满足以下几点:

2.3。一些小的相

捕捉人物相神经元将导致类似的亮度周围神经元捕捉点火…捕捉人物可以自动耦合传输信息。在本文中,我们使用相提取图像特征;相也可以提取图像的纹理信息,边缘,和地区分布和对图像处理有很好的效果。迭代相,将通过记录神经元获得二进制图像火灾。二进制图像有效地表达图像的特征如纹理、边缘,和地区分布;二进制映射和一些小数字所示1 (b)和1 (c)。在全球统计数字的二进制图像神经元,我们得到一个振荡频率图(一些小)所示(6)和数字1 (d)和1 (e): 在哪里表示迭代次表示神经元的脉冲输出,是当前迭代。

2.4。Nonsubsampled Shearlet变换

Shearlet变换,提出了基于小波的Labate et al。9,11]。在维仿射系统 在哪里是一家集基函数和满足;代表多尺度各向异性矩阵分区;是一个剪切矩阵进行定向分析。,,分别是规模、方向和改变参数。和都是可逆矩阵和。为和的矩阵和是由 让和,从(8),被进一步修改: 为,基本函数的数学表达式根据[shearlet变换可以给11] 在哪里的傅里叶变换,和都是小波,补充吗,。这意味着和紧支撑。此外,我们假设 对于每个,满足 从条件的支持,,一个人可以获得该函数中列出的频率支持吗

也就是说,每个元素支持两个梯形的区域的大小都近似。频率的瓷砖shearlet和频率大小的支持。

在NSST算法中,为了消除upsampling的影响和二次抽样,nonsubsampled拉普拉斯算子的金字塔的过滤器是用来替代shearlet变换,因此具有优良的性能shift-invariance、多尺度和多方向的属性。NSST的离散化过程有两个阶段:多尺度分解和多向分解。Nonsubsampled拉普拉斯算子金字塔滤波器完成多尺度分解。第一阶段使用类双通道nonsubsampled低频图像和一个过滤器高频图像。多向NSST分解是意识到通过改善shearlet变换。这些过滤器是由避免二次抽样来满足shift-invariance的财产。Shearlet变换允许方向分解阶段高频图像nonsubsampled拉普拉斯算子的金字塔在每个水平和生产定向子图象与源图像大小相同(16,17]。图2显示了两级NSST分解的图像。

3所示。该算法

在本节中,提出multifocus彩色图像融合算法的细节。该算法的框架如图3。在这个算法中,RGB彩色图像转换到HSV颜色空间(18],NSST用于分解图像和相用来提取特征和融合这些特性使用不同的规则。除此之外,重要的是要注意,两种相模型用于算法;自适应S-PCNN用于H分量和原始相融合NSST用于高频系数融合。

3.1。RGB彩色图像转换到HSV

RGB彩色图像包含了几乎所有的基本颜色,可以通过人类的视觉感知;然而,组件之间的相关性很强;这是如图4 (b),4 (c),4 (d);这就很难实现RGB彩色图像处理,图像的颜色将会改变如果一个组件的变化。HSV图像由RGB变换可以获得。的值R, G, B对应于独特的H, S,和V值,值H, S,和V组件的值取决于R, G, B在RGB颜色空间。这个颜色比RGB颜色接近系统的人类经验和感知颜色;这是如图4 (e),4 (f),4 (g)。

H分量的分布集中,其像素值通常很小;参见图4 (h)。所以它的优势是显而易见的,S-PCNN敏感图像的边缘和区域分布。在该算法中,H组件划分为块和输入自适应S-PCNN得到一些小的H分量;我们把组件根据一些小H。S和V分量的分布分散;参见图4(我)和4 (j),它含有大量的细节在不同的灰度图像,所以年代和V组件分解成多尺度和多方向的子带NSST不同图片的详细信息,然后根据新年代的人物和V组件、新年代和V分量采用不同的融合规则。

3.2。使用自适应S-PCNN H分量融合

是S-PCNN的连接强度,S-PCNN的点火行为的关键因素。空间频率(SF)和平均梯度(AG)图像的定义是非常重要的指标,它代表了图像的质量。所以S-PCNN应该自适应调整由科幻和AG)让它工作得很好。在S-PCNN模型中,H组件分为几个街区,然后科幻和AG)的块和连接强度计算S-PCNN,分别,这可以自适应地调整S-PCNN;看到(14)和(15)。块图像输入S-PCNN得到两种些小根据不同,它可以有效地表达图像块的质量。这两种类型的索引将会改变图像的内容和产生一定范围的变化。索引本身及其变化范围适用于调整参数S-PCNN,从而影响S-PCNN一些小的,所以这两种类型的图像可以反映不同的一些小细节。如果只使用一些小的类型之一,对不同质量的一些小的像素的大小是一样的,这个不能选择合适的像素。然而,两种类型的结合一些小可以从不同的角度反映了图像信息;因此,这将减少不同的像素与相同的一些小的可能性。它可以使算法更加有效。

科幻小说和AG)中描述的图像(16)(19): 在哪里调整因素。考虑

科幻小说是由行和列的频率(RF)频率(CF),图像的行,是图像的列,图像的灰度级吗在像素:

3.3。年代和V组件使用NSST和相融合

年代和V分量含有大量图像的细节,和灰色的值(S)和V组件分散,分别。S和V组件是由NSST来分解使它易于提取,然后我们将得到一个低频子带和高频子带多尺度和multidirection。使用高低频系数的值到新的融合低频子带中。高频部分波段包含丰富的年代和V组件的详细信息;这些组件输入原始相模型得到一些小,显示像素的点火时间的统计数据。比一些小的高频部分波段不同年代和V的组件,我们将得到新的融合高频部分波段。最后,逆NSST得到融合和V组件执行根据新的融合低频子带和高频子带。

3.4。算法的步骤

该融合算法流程如图3,步骤如下。

步骤0。给定源图像和。

步骤1。的彩色图像RGB颜色空间转换到HSV颜色空间三个组件H, S,和V。

步骤2。相是用来处理H组件:(一)H分量图像和分为子块,然后计算子块的科幻和AG)使用(16)(19);在链接的优势和使用了(14)和(15);和作为分别S-PCNN价值。(b)子块被输入到S-PCNN模型与不同的两倍得到两个一些小的H组件。(c)得到两个一些小使用的平均值(20.),然后融合的H组件可以决定(21): 在哪里和平均一些小的图片吗和。

步骤3。执行分解的图像源S和V的组件和使用NSST获取低通子带系数和高通方向子带系数;利用不同的规则来处理S和V组件。(一)融合的低通子带系数可以决定 在哪里和低通子带系数的图片吗和。(b)高通方向子带系数输入到相模型得到相应的一些小(,)据统计像素的点火时间;S和H的融合规则组件可以决定的

步骤4。由一个逆NSST重构融合图像HSV。

步骤5。获得融合RGB彩色图像逆HSV。

4所示。实验结果和分析

来验证本文提出的算法的有效性,我们需要几组实验测试彩色图像有不同的焦点位置。彩色图像的第一组是杯子,如图所示5。图像集中在左边和形象关注的是对的,有许多词汇细节。

4.1。评价指标体系

为了验证该方法的有效性,我们考虑融合图像的定量评估。提出了融合方法的评价,我们已经考虑几种常见融合性能指标在本节中定义的。最后融合彩色图像由三个组件如R, G, b和每个组件可以被看作是一个灰度图像,和彩色图像融合质量的强烈依赖于灰度图像质量。在本文中,我们把三个组件的评价指标的平均值作为最终彩色图像评价指标,这是图像融合质量的基本指标。表1和2显示融合图像质量的评价与空间频率(SF)、平均梯度(AG),熵(EN),平均值(MV),标准偏差(SD)和互信息(MI)表示融合图像边缘信息保留在多少(19- - - - - -23]。

空间频率(SF)被定义为(16)(18),平均梯度定义为(19)。

以下4.4.1。熵

图像的熵(EN)的定义 在哪里是灰度的概率的形象和是图像的灰度从0到255。

4.1.2。平均值

图像的平均值(MV)被定义为 在哪里融合图像的像素值在工作。MV代表了整幅图像的平均亮度。

4.1.3。标准偏差

图像的标准差(SD)的定义 在哪里融合图像的像素值在工作和是图像的平均值。SD越大,结果越好。

4.1.4。互信息

的互信息源图像之间的和和融合图像被定义为 在哪里标准化联盟灰度级直方图的图像吗和和,标准化联盟灰度级直方图的图像吗和,是归一化灰度级直方图的,是图像的灰度,代表图像的像素值和和,分别。

4.1.5。基于相似性度量的边缘

的指标评价的总和边缘信息保留值和定义 在哪里,,,边缘强度和方向保护值,分别类似于,和重量测量的重要性吗和,分别。的动态范围是,应尽量接近于1的最佳融合,。此外,代表像素位置,和图像的大小,分别。

4.2。实验一

相比较而言,本文提出算法的融合方案并提出几种常见融合算法;例如,把源图像像素的像素平均(平均),主成分分析(PCA),脉冲耦合神经网络(相),脉冲耦合神经网络和拉普拉斯金字塔变换(相+ LP)、和脉冲耦合神经网络和离散小波变换(相+ WT)。融合图像使用不同方法如图所示6。根据对比实验,本文的融合图像比其它的更好;参见图6。本文的算法在提取源图像的特征,和融合图像更接近自然的色彩,它包含更多的边缘,纹理,和细节,所以这是最接近源图像。本文中我们可以得出结论,该方法是一种有效的方法。

从表1本文的融合图像包含更多的信息。科幻、银、MV和这篇文章的人比其他方法,和MI略优于其他方法,并且只SD小于其它方法。

4.3。两个实验

等其他颜色空间的NTSC、YUV YCbCr,他和实验室,都有类似的直方图分布的分布H, S,和V组件在HSV颜色空间中,所以可以使用彩色图像融合的算法。为了证实的方法效果最好的颜色空间融合下,我们进行以下实验。融合图像在不同的颜色空间如图7;都可以实现图像融合的目标,但对HSV融合的影响,他和LAB颜色空间比其他人更好。

从表2,表明本文在实验室颜色空间的融合图像包含更多的信息,和科幻,AG)、心肌梗死,比其他人更好。HSV的评价指标,总的来说,他和实验室是比别人更好。在实际应用中,我们表明,该算法的彩色图像融合应该关注HSV,他和LAB颜色空间。

4.4。实验三

在HSV颜色空间更多的沿海图像的实验结果如图所示8源图像有不同的焦点位置,有很多源图像的纹理。

图中可以看到8融合图像的边缘清晰,它保留了大部分的源图像的纹理;此外,细节也保存完好。该方法可以提取源图像的主要特征;它还表明,本文的方法取得了有效的成果在这些群体的彩色图像。

在图一样的结论6可以得出的结论。总的来说,本文提出的方法明显优于传统方法。与其他方法相比,该方法反映了更好的性能和视觉效果的定义和细节。

5。结论

我们提出一个有效的基于NSST颜色多传感器图像融合算法和相。相的神经元捕捉性格会导致周围神经元的类似的亮度来捕获点火。这个角色可以自动耦合和传播信息。Nonsubsampled拉普拉斯算子金字塔过滤器是用于NSST移除upsampling和二次抽样的影响。NSST shift-invariance方面具有优良的性能,多尺度和多方向的属性。在该算法中,RGB彩色图像转化为HSV彩色图像。H组件是由自适应S-PCNN融合;年代和V组件分解成不同的频率部分波段根据NSST不同尺度和方向,融合了不同的规则。实验结果表明,该彩色图像融合算法可以融合不同的彩色图像的焦点位置,和融合图像包含更多信息的颜色,质地,和细节。与传统的算法相比,该方法在许多方面体现了更好的融合性能。 The paper also discusses the effect of the proposed algorithm on other color spaces, and the experiments show that the algorithm achieved better effects under HSV, HIS, and LAB color spaces, and we recommend three kinds of color spaces as the practical application color space.

利益冲突

作者宣称没有利益冲突有关的出版。

确认

作者感谢编辑和匿名评论者的认真工作和有价值的建议。作者希望表达他们的感谢王履,杜姗姗,Jingxue徐、张Shujuan提供沿海图像。作者的工作是由中国国家自然科学基金(没有。61365001也没有。61463052),云南省自然科学基金(没有。2012 fd003),云南省科技计划(没有。2014 ab016)。

引用

1. 诉Petrović和诉Dimitrijević集中池图像融合评价。”信息融合22卷,第126 - 119页,2015年。视图:出版商的网站|谷歌学术搜索
2. 瞿y夏和Sh。r .,“彩色图像融合框架基于改进(2 d) 2 pca,”视神经节学报,34卷,不。10篇文章ID 1010001, 2014(中国)。视图:出版商的网站|谷歌学术搜索
3. r·h·苗族j·l·唐,x问:陈,“农田基于颜色特征的图像分类,”《华尔街日报》的视觉通信和图像表示,29卷,第146 - 138页,2015年。视图:谷歌学术搜索
4. 美国Daneshvar和h . Ghassemian MRI和PET图像融合IHS和retina-inspired模型,通过结合”信息融合,11卷,不。2、114 - 123年,2010页。视图:出版商的网站|谷歌学术搜索
5. m . Gonzalez-Audicana j·l·Saleta r . g .加泰罗尼亚和r·加西亚”多光谱和全色图像的融合使用改进的IHS和PCA合并基于小波分解,“IEEE地球科学和遥感,42卷,不。6,1291 - 1299年,2004页。视图:出版商的网站|谷歌学术搜索
6. y鑫和l .邓小平”,一种改进的基于小波变换的遥感图像融合方法,”激光与光电子学进展,50卷,不。2、2013。视图:谷歌学术搜索
7. e . j .萤石和d . l . Donoho”,曲波:令人惊讶的是有效的非适应表示对象的边缘,”曲线和曲面拟合范德比尔特大学出版社,页105 - 120年,纳什维尔,田纳西州,美国,2000年。视图:谷歌学术搜索
8. m . n和m . VetterliContourlets除了小波编辑:g·韦兰诉,学术出版社,2003年。
9. d . Labate W.-Q。Lim g . Kutyniok g . Weiss,“使用shearlets稀疏的多维表示,”小波ξ卷,5914学报学报,页254 - 262,圣地亚哥,加利福尼亚州,美国,2005年9月。视图:出版商的网站|谷歌学术搜索
10. Z.-Y。风扇,Q.-S。太阳,Z.-X。霁,k .胡锦涛,“基于多目标遗传算法和图像滤波器shearlet转换,“数学问题在工程ID 463760条,卷。2013年,7页,2013。视图:出版商的网站|谷歌学术搜索
11. g . - d Labate, W.-Q。Lim:“稀疏的定向使用离散shearlet变换图像表示,“应用和计算谐波分析,25卷,不。1,25-46,2008页。视图:出版商的网站|谷歌学术搜索|MathSciNet
12. w .香港、l . Zhang和y花环,“小说的可见光和红外图像融合方法基于NSST-SF-PCNN,”红外物理与技术卷,65年,第112 - 103页,2014年。视图:出版商的网站|谷歌学术搜索
13. r·c·聂d·m·周m .他x,和j . Yu”面部特征提取使用频率;再利用地图系列,“杂志上的传感器在出版社。视图:谷歌学术搜索
14. m . m . Subashini和s . k . Sahoo”脉冲耦合神经网络及其应用程序。”专家系统与应用程序第41卷。。8,3965 - 3974年,2014页。视图:出版商的网站|谷歌学术搜索
15. c·h·赵g . f .邵l . j . Ma和x张“图像融合算法基于redundant-lifting NSWMDA和适应性相,“Optik,卷125,不。20日,第6255 - 6247页,2014年。视图:出版商的网站|谷歌学术搜索
16. w·w·香港、l . j . Zhang和y Lei,“小说的可见光和红外图像融合方法基于NSST-SF-PCNN,”红外物理与技术卷,65年,第112 - 103页,2014年。视图:出版商的网站|谷歌学术搜索
17. m元,b . x, y . d .妈,j . Zhang r . Zhang和c,从高度undersampled“压缩传感重建核磁共振$k$讨论数据使用nonsubsampled shearlet变换稀疏之前。”数学问题在工程ID 615439条,卷。2015年,18页,2015年。视图:出版商的网站|谷歌学术搜索
18. 肯尼迪。Pekel, c . Vancutsem l·廷et al .,“近实时水面检测方法基于HSV MODIS多光谱转换时间序列数据,”环境遥感卷,140年,第716 - 704页,2014年。视图:出版商的网站|谷歌学术搜索
19. l . m .董问:x, h . y . Wu h·肖和m .徐”高质量的多光谱和全色基于曲波变换的图像融合技术,”Neurocomputing卷,159年,第274 - 268页,2015年。视图:出版商的网站|谷歌学术搜索
20. m·j·金、d·k·汉和h . Ko,”联合补丁clustering-based字典学习的多通道图像融合,“信息融合27卷,第214 - 198页,2016年。视图:出版商的网站|谷歌学术搜索
21. 张平,范c、z . m .彭et al .,“使用biogeography-based优化Multifocus图像融合,”数学问题在工程ID 340675条,卷。2015年,14页,2015。视图:出版商的网站|谷歌学术搜索
22. j . t . s . t . Li郭,y . n .王”与多样化相结合的图像集中使用空间频率,“信息融合,卷2,不。3、169 - 176年,2001页。视图:出版商的网站|谷歌学术搜索
23. t·h·j·j . Cheng Liu Liu f . Wang和h·李,“通过小波变换的遥感图像融合和稀疏表示,“ISPRS《摄影测量与遥感卷,104年,第173 - 158页,2015年。视图:出版商的网站|谷歌学术搜索

版权

版权©2016年鑫金等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。