文摘

我们提出一个新颖的医学图像融合方案基于系数之间的统计相关性nonsubsampled contourlet变换NSCT域,在NSCT系数的概率密度函数是简明地安装使用广义高斯分布(GGD)密度,以及两次能带的相似性度量是两个GGD Jensen-Shannon散度准确计算的。保留更多的有用的信息从源图像,开发新的融合规则结合的部分波段不同的频率。也就是低频部分波段融合利用两个活动措施基于区域标准差和香农熵和高频部分波段合并在一起通过重量地图是由像素的显著值决定的。实验结果表明,该方法明显优于传统的基于NSCT的医学图像融合方法在视觉感知和评价指标。

1。介绍

多模态医学图像融合(MIF)是一个过程来自不同源图像的互补信息提取和整合成一个合成图像。集成的多峰性医学图像可以为医生提供更全面的病理信息,这大大有助于其诊断和治疗。例如,融合计算机断层扫描(CT)和磁共振成像(MRI)可能同时提供密集结构像骨骼和软组织病理信息。相结合的单光子发射计算机断层扫描(SPECT)和核磁共振图像不仅显示解剖信息,而且提供了功能和代谢信息。此外,结合CT和正电子断层扫描(PET)图像可以同时可视化人体的解剖和生理特点,用于视图的结果肿瘤在肿瘤学和辨别肿瘤边界活动器官的诊断。因此,MIF技术可以有效地提供医疗诊断和医疗支持。

如今,基于多分辨率分解(MSD)的MIF已被认为是一个有效的工作,可以从源图像中提取更丰富的信息不同的模式。这种技术经历了一个快速发展和广泛应用在过去的几十年。例如,et al。1)利用小波变换的医学图像融合。阿里等人进行CT和MRI的曲波变换(2)和阳等人提出了一个基于contourlet变换的融合算法对多模态医学图像(CT) (3]。李肇星和王nonsubsampled contourlet变换(NSCT)的结合MRI、SPECT (4]。与其他多尺度分解相比,提出的NSCT da Cunha et al。5是更重要的工具,它已成功地应用于图像去噪(6和图像增强7]。因为其属性的多尺度、multidirection和完整的shift-invariance,当它用于图像分解,可以捕捉边缘和轮廓等高维奇异点,不能有效地由小波和避免在contourlet变换pseudo-Gibbs现象提出了。具体地说,它用于图像融合时,错误配准对融合结果的影响也可以有效地减少(8)和不同部分波段之间的通信很容易发现。因此,NSCT更适合医学图像融合。尽管医学图像融合方法基于NSCT取得了好的结果(9- - - - - -13),大多数现有融合方法忽略了子带系数系数和intrascale之间的依赖关系。然而,分解系数之间的依赖关系普遍存在。更重要的是,显示非高斯分布和重特征跟踪的现象。因此充分利用子带系数之间的统计相关性将有效地提高融合性能。

在本文中,我们提出一个新颖的基于NSCT的统计多通道MIF方案,它利用广义高斯分布(GGD)密度适合高频系数的边际分布的图像相似度度量方法和量化两个部分波段之间的对称Jensen-Shannon散度(JSD) [14,15两个ggd的]。子带系数之间的关系,结合高频系数更新最后融合。总体框架如图1。总结了该方法的主要贡献如下:(1)本研究提出了一种新颖的MIF方法,探讨了在NSCT域子带系数之间的依赖关系。(2)GGD和JSD基于统计模型很好地符合边际NSCT系数的分布。(3)开发新的融合规则融合与低频和高频系数,分别。


图1
提出了医学图像融合的原理图的方法。

本文的其余部分组织如下。节2,相关的研究进行了综述。节3NSCT,我们首先给出一个简短的介绍,然后分析了特征之间的子带系数NSCT域和计算它们的依赖项。这部小说融合规则融合开发的低频子带和高频子带部分4。部分5提供了实验结果和讨论。结论是在上一节。

大量的MIF方法基于NSCT分解部分波段是统计独立的假设系数;也就是说,没有子带系数在尺度和规模之间的依赖关系。因此这种方法通常会导致损失的源图像的一些信息。然而,对于使用NSCT分解图像,确实存在部分波段之间的依赖关系在不同层次和不同方向相同的规模。几个著名的统计模型提出了基于多分辨率分析的跨尺度的子带系数的依赖关系。例如,统计模型将隐马尔可夫树(HMT)与离散小波变换(DWT)或contourlet变换应用在图像去噪16- - - - - -18]。此外,结合HMT和DWT的模型成功地应用在图像分割19]。两个最近的例子,王等人提出了两个统计模型移不变的shearlet变换域,一个结合了HMT [20.)和其他利用GGD (21]。虽然统计模型基于HMT成功的应用程序,它包含一些缺陷如拟合精度低、收敛的高依赖函数,利用结构本身的缺乏灵活性,等等。

在本文中,我们提出一个新颖的统计模型来衡量子带系数的依赖NSCT域。模型的优势是一个父节点可以有任意数量的孩子离开,而不是限制1到4的HMT模型。我们的工作看起来与文献[共享一些主题21,22),每一个分解的概率密度函数(PDF)部分波段建模GGD,以及部分波段之间的相似性度量计算Kullback-Leibler距离两个GGD(逗留一番)。然而,我们的统计模型集中在NSCT系数的统计,我们评估部分波段的相似性JSD跨尺度的而不是逗留一番。此外,不同的融合规则,分别结合组件开发与低频和高频。

3所示。该算法

3.1。NSCT的概述

NSCT contourlet的移不变的版本,是一个overcomplete变换灵活的多尺度、多方向的扩张对图像(5]。NSCT分解过程分为两个阶段,即nonsubsampled金字塔(NSP)和nonsubsampled方向滤波器组(NSDFB)。前进行多尺度分解,分解后提供方向。该规划将图像分为低频子带和高频子带在每个级别。鉴于分解级别 ,规划将生成 子带图像,它包含一个低频图像和 高频图像。随后NSDFB分解的高频部分波段NSP在每个级别。对于一个特定的子带,让分解方向的数量 ;然后 定向部分波段得到的源图像大小都是一样的。低频分量分解迭代后通过同样的方式,一个图像最终分解为一个低频子图象和一系列的高频方向子带图像 ,其中 表示分解方向的数量 规模。图2显示了一个直观的NSCT的例子。图中只列举了前两个分解水平和NSDFB方向设置的数量(2,3从粗到细的规模。


图2
NSCT的说明:分解级别对应于第一和第二NSDFB的级别和数量的方向设置为(2,3),分别。
3.2。NSCT系数的特性

图3情节NSCT系数的条件分布,描述MRI图像的部分波段之间的相关性系数图2,其中的数据3(一个)和3 (b)之间的概率分布是两个在不同尺度的子带系数和数字吗3 (c)和3 (d)是两个不同的方向子带系数之间的概率分布相同的规模。数学上,可以被描述为条件分布 和 ;在这里, 和 给父母和亲戚的系数。如图3子带系数之间的关系,证明了非线性和交错混叠,这说明在NSCT域子带系数之间存在相互依赖关系。同时,大约是独立的或轻微的部分波段之间的相关性系数不同的方向在同一规模(cousin-cousin),虽然有较强的相关性在不同尺度的子带系数(个别)。因此,NSCT系数的关系主要存在于父母和孩子之间。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
图3
子带系数之间的条件分布的核磁共振图像如图2:(a)和(b)之间的分布特征在不同尺度的子带系数;(c)和(d)分布特征与不同方向子带系数相同的规模。

图4对应于四个子图象的直方图,如图3。显然,所有特征图也有类似的特性与一个顶点零振幅和扩展的尾巴在双方的高峰,这表明NSCT系数是稀疏的,大多数的系数接近于零。此外,每个地图的峰度,分别为20.74,8.32,10.44,20.55(对应于(a)、(b)、(c)和(d)第一行的数字4在订单)。显然,这些值远大于正态分布的峰度(峰度大约是3.0)。更重要的是,通过大量的实验中,系数特征(稀疏和重型尾随现象)是相似的其他NSCT部分波段。所以存在一个事实,即NSCT系数是稀疏和高度非高斯。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
图4
四个分布的直方图映射图3(第一行)和曲线装有ggd(第二行)。

如何量化NSCT系数之间的依赖关系的统计模型是一个值得研究的课题。灵感来自于早些时候MSD系数图像的统计模型(23- - - - - -26],pdf文档中的系数在尺度和规模由GGD很好地拟合函数,我们同样的分布特征和计算NSCT系数的依赖关系。图5一起提供了四个pdf的NSCT系数拟合的曲线ggd(紫色曲线所示)。可以看出,这些拟合曲线非常接近实际的情况。因此,统计模型可用于描述NSCT系数的空间分布特征。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
(g)
(g)
(h)
(h)
(我)
(我)
(j)
(j)
图5
不同的融合方法的融合结果第一组CT和MRI图像:(a)、(b)源图像;融合图像,(c) DWT (d)的医生、PCA (e), (f)的女朋友,(g) CT, NSCT-1 (h),(我)NSCT-2,该方法(j)。
3.3。统计的NSCT系数

GGD模型已被广泛应用于描述子带系数的边际密度由于其灵活的参数形式,适应一个大家庭的超高斯和亚高斯分布。因此,边际密度的近似为特定NSCT系数可以通过改变两个参数GGD,这被定义为 在哪里 是伽马函数, 规模参数(PDF)峰值的宽度,然后呢 是音乐的形状参数密度函数的衰减率。通常,参数 和 计算的最大似然(ML)估计,这表明所需的估计量(27]。至于每一次能带,样本的似然函数 被定义为

在这种情况下, 和 是需要估计的参数。我们可以获得独特的根下面的似然方程;在这里 双函数表示:

让 是固定的, ;然后(4)有唯一解,这是真正的和积极的价值:

结合(4)和(5),形状参数 可以通过下面的超越方程来解决:

在(6)的决心 可以有效地解决使用牛顿迭代过程(26,28和描述的算法详细22]。因此,只有两个参数,我们可以精确地描述的边际分布NSCT系数。

3.4。不同NSCT的依赖关系部分波段

的KLD是一种常见的和合理的方式测量两个分布之间的距离。 应用于描述使用一个分布的缺陷 代表真正的分布 ,这是通常用于比较两个分布有关。两个分布之间的逗留一番 , 的pdf文档,分别表示 , ,被定义为 在哪里 和 是一组估计参数。给定两个GGD分布NSCT部分波段,相似性两GGD NSCT部分波段可以定义的参数 和 。替代(1)(7)和一些操作之后,可以表示为两个pdf文件之间的逗留一番

然而,也有一些不足之处逗留一番,这使得它不太理想。首先,KLD是不对称的;也就是说,( 不同于 。第二,如果 和 对于任何 ,然后 是未定义的。第三,KLD并不提供任何漂亮的上界(14]。另一方面,JSD nonnegativity的特点,有限性,对称,有界性15,29日]。所以我们使用对称JSD NSCT相似性测量的部分波段在这项研究中。之间的JSD ggd来源于逗留一番;在数学上,它被定义为

4所示。提出的图像融合技术

4.1。低频系数的融合

低频部分波段表示源图像的近似分量。最简单的方法将子带系数均值法。然而,这种方法容易导致低对比度和模糊的结果。提取更多的有用的信息从源图像,对低频系数,我们采用融合规则基于两个活动水平测量,由区域标准差和香农熵。原则上,当地的一个图像的纹理特征与相关系数的变化在附近。另一方面,熵表示一幅图像包含多少信息。因此,结合两个一起可以提取更多的互补信息出现在源图像。这个过程是列出如下:

计算区域标准差

计算归一化香农熵

计算权重 的标准偏差 和信息熵 分别 的参数 是一个常数,这曲调融合图像的清晰度,通过调整参数的值;这是在我们的实验设置为1.2。

让 表示的低频子带系数的位置 ; 是输入图像 , 。最后,可以得到融合图像

4.2。高频系数的融合

高频部分波段对应于这些地区的详细信息如边缘、线条和角落。因为不同成像模式包含冗余和互补信息,选择定则的目的主要是获取重要信息的源图像尽可能多。最大的选择规则是不适合医学图像融合,因为它适用在这个前提,只有一个原始图像提供了好的像素在每个相应的位置;这样巨大的互补信息用于MIF时将丢失。的融合性能,改善高频部分波段,我们建议融合方案基于重量由凸起地图的地图。根据NSCT系数之间存在依赖关系,高频系数是第一次更新利用之间的关系NSCT部分波段,然后通过使用重量地图结合在一起。这个过程描述如下。

(1)更新的高频子带系数。首先,我们计算水平的依赖 在同一尺度系数之间不同的方向 作为 在哪里 总部分波段的吗 规模。

然后我们计算垂直的依赖 指定的部分波段之间的(例如部分波段 )父母和孩子

此外,水平和垂直依赖组件标准化,分别

最后,高频NSCT系数修正

(2)建设重量地图。体重地图来自卓越地图,描述每个像素的显著水平的重要信息。每个高通次能带我们应用高斯滤波器,往往将高权重值分配给重要的元素,如边缘和角落。凸起的地图是由当地的平均绝对值的滤波器响应 在哪里 是一个高斯低通滤波器,其大小是什么 ,参数 和 设置为5。接下来,体重显著地图(地图是由比较 )

最后,融合子带系数 可以通过加权求和

5。实验结果和讨论

五个不同的数据集使用的人类大脑图像和源图像由两种不同的形式,包括CT / MRI、MRI / PET和MRI / SPECT图像。所有的图像大小为256×256像素,已登记注册的一些方法(30.]。验证的有效性和适用性提出了融合方案,该方法产生的结果,分别与其他先进的计划的结果相比,如离散小波变换(DWT) [1),梯度金字塔(GP) [31日),主成分分析(PCA) (32),强度,色调和饱和度的颜色模型(IHS) [33),引导滤波(GF) [34],contourlet变换(CT) [3,NSCT shearlet变换(ST) (35],nonsubsampled shearlet变换(NSST)为基础的方法。为简单起见,MIF方法(12基于脉冲耦合神经网络和修改空间频率在NSCT域和NSCT-1表示。基于NSCT MIF方法的方案(36)和NSCT-2表示。融合方法(37]基于邻域特征和区域化在NSCT域和基于NSCT MIF方法(10在 , , 颜色空间表示NSCT-3和NSCT-4分别。因此,基于NSST MIF方法使用GGD模型(21)称为NSST-1。基于NSST融合方案的文献(38)和MIF方法(39)利用NSST域的特性称为NSST-2 NSST-3,分别。基于NSST统计MIF方法(20.使用称为NSST-4 HMT模型)。NSCT和NSST方法,我们采用平均最高融合方案;即低频系数融合由相应的系数的平均值和高频系数融合使用绝对最大。对于所有质谱方法,原始图像都分解成4水平方向的数量2,2,3,3。此外,定量比较基于五个图像融合质量指标也用来展示不同的方法的融合性能。

5.1。CT-MRI图像融合实验

图5显示了CT和MRI图像的融合实验。可以看出,基于主成分分析的方法给出了可怜的结果相对于其他算法,原始CT图像的骨骼结构几乎是看不见的。对于基于全科医生的方法,最终的图像暗,对比度较低,尚不清楚一些细节信息。数据的结果5 (c),5 (f),5 (g),5 (h),5(我)有不同程度改善,并且在骨结构产生更好的视觉效果;然而,软组织区域的细节从这些方法仍然保留不明晰。相比之下,该方法可以保持原始图像的详细特性不产生可见的工件。图6CT和MRI图像融合的是另一个例子。从数据看6 (c),6 (d),6 (e),6 (f),他们的结果低对比度和失去很多细节。更糟糕的是,这些最后的边缘上有不良工件图像(见红色椭圆区域标记的图吗6)。因此,基于CT方法,其他基于NSCT的方法,该方法提供更好的视觉效果和良好的对比;源图像的丰富的信息可以被成功地转移到融合图像。这两个测试表明,该方法适用于CT和MRI图像的融合。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
(g)
(g)
(h)
(h)
(我)
(我)
(j)
(j)
图6
不同的融合方法的融合结果的第二组CT和MRI图像:(a)、(b)源图像;融合图像,(c) DWT (d)的医生、PCA (e), (f)的女朋友,(g) CT, NSCT-1 (h),(我)NSCT-2,该方法(j)。
5.2。实验在mri pet和MRI-SPECT图像融合

在本节中,MRI和PET的融合为一个70岁的老人与阿尔茨海默氏症影响。在图7源核磁共振图像显示,半球沟顶叶扩大和更加突出;相应的宠物显示区域脑代谢异常和代谢减退严重发生在前颞叶和后顶叶区域;与此同时,右脑比左稍微受到影响。与其他7相比,该方法是融合方案。很明显,数据的结果7 (d)和7 (e)有缺点严重的颜色失真和低对比度。虽然数据的结果7 (c)和7 (f)提高融合的性能在某种程度上,他们不饱和亮度,所以无法辨认的部分。此外,对比度和色彩保真度,结果数据7 (g),7 (h),7(我)比上面提到的这些方法有更好的融合性能,但MRI图像的结构信息不是成功转移到融合图像。通过这些融合结果的比较,发现该方法可以提取结构和功能信息从源图像和融合更少的信息失真。见这些地区突出红色箭头和椭圆图7,该方法保留了不同模态的医学图像信息互补,达到最好的视觉效果的对比,清晰,色彩保真度。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
(g)
(g)
(h)
(h)
(我)
(我)
(j)
(j)
图7
不同的融合方法的融合结果MRI和PET图像:(a)、(b)源图像;融合图像,(c) DWT (d) PCA (e) IHS, GP (f), (g) CT, NSST (h),(我)NSST-1,该方法(j)。

图8是一个MRI、SPECT图像融合实验。源核磁共振图像表明,肿瘤位于左颞区,见高信号强度区域(白色区域标记的红色箭头在图8(一个))。从数据8 (e),8 (f),8 (h),基于IHS方法产生的结果明显失真病变区域的颜色。结果产生的基于DWT和GP方法不能继承PET图像的功能信息和生产低对比度图像(见图8 (c)和8 (d))。相比之下,数据8 (g)和8(我)获得更好的结果的对比和色彩保真度。然而,对于空间的细节,该方法得到的融合结果更接近于原始核磁共振图像(见左边的区域贴上红色箭头),和光谱特性也自然。图9提供了MRI、SPECT图像融合的另一个例子。在该测试中,该方法是具体而典型的方案20.),它是基于系数之间的统计相关性MIF方法NSST域。融合的结果,它很容易观察到,该方法不仅继承了现有突出信息的原始图像,也很难引起颜色失真的问题。通过上面的例子,可以看出,该方法可以扩展到结合解剖和功能医学图像,达到良好的视觉效果。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
(g)
(g)
(h)
(h)
(我)
(我)
(j)
(j)
图8
不同的融合方法的融合结果第一组核磁共振和SPECT图像:(a)、(b)源图像;融合图像,(c) DWT (d)的医生、IHS (e), (f) NSST-2 (g) NSST-3 NSCT-3 (h),(我)NSCT-4,该方法(j)。
(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
(g)
(g)
(h)
(h)
(我)
(我)
(j)
(j)
图9
不同的融合方法的融合结果的第二组核磁共振和SPECT图像:(a)、(b)源图像;融合图像,(c) DWT (d)的医生、IHS (e), (f)圣(g) CT, NSST-4 (h),(我)NSCT,该方法(j)。
5.3。客观的评价和分析

除了视觉分析、五融合质量指标,即互信息(MI) [40),熵(EN) [41),空间频率(SF), (42),均匀的亮度分布(UID) [43),是用来测试该方法的有效性。他们从清晰反映融合性能、对比度、颜色失真和信息的数量。MI,作为一个信息度量评价图像融合性能,代表获得多少信息从源图像。EN显示了融合图像的高价值的更高的价值更多的信息内容和科幻小说表明最终的图像更清晰。该指数 措施的数量从源图像转移到融合图像的信息,和UID用于描述统一的强度和颜色的分布和更高的UID意味着更好的颜色信息。

在表中列出的定量比较1,2,3。可以看出,所有的指标,该方法具有稳定性能(最值排名第一,只有几个排名第二)。这表明基于这些质量指标的客观结果也符合主观视觉感知。特别是,MI值的测试,该方案所有的得到最大的价值。这是证实了该统计模型能更详细的信息从源图像转换成最终的图像利用NSCT系数之间的依赖关系。因此,可以得出结论,该方法是有效和适用于医学图像融合。

表1
四个不同指标的客观评价结果CT和MRI图像。
表2
五个不同指标的客观评价结果MRI和PET图像。
表3
五个指标的客观评价结果MRI、SPECT图像。
5.4。计算复杂度分析

探讨不同方案的计算复杂度,我们使用不同的融合算法的运行时间记录在图5(见表4)。所有的测试都通过Matlab实现PC与双Intel core i7 2014 - 3770 k的CPU @3.5 GHz, 8 GB RAM。如表所示4所有融合方法中,基于PCA的消费时间算法是最低的,其中的原因是,它不涉及多尺度分解。此外,DWT, GP、GF和基于CT方法也时间消耗低(小于0.08)。然而,他们的表现很差。相对,三种方法基于NSCT更慢,这也是一个常见问题的算法基于NSCT。由于使用NSCT的复杂的神经网络和机制,NSCT-1最需要的时间(约34 s)。该方法和NSCT-2使用类似的时间(17.13和15.29年代)。实际上,分解和反向建设几乎花费的总时间的9/10。没有例外,该方法增加了计算复杂度和成本利用NSCT的工具,但它比先前的方法达到了较好的效果。

表4
计算复杂度比较不同融合方法如图CT-MRI数据集5。

6。结论

在本文中,我们提出一种新颖的基于NSCT的统计多模态医学图像融合方法,它利用GGD无法恰当地高频系数和准确的措施的边际分布的相似性两NSCT两GGD JSD部分波段的。该融合规则充分利用系数之间的依赖关系,并将其转换到最终的图像。实验结果表明,该算法能有效地提取重要信息从源图像和组合它们。注意,基于NSCT缺乏竞争优势的融合方法及时消费,因为多级分解与重建进程。快速图像多尺度变换工具是未来研究的主题。

利益冲突

作者宣称没有利益冲突有关的出版。

确认

作者要感谢所有审阅人员给我们他们建设性的建议和评论。这项工作是支持由重大特殊项目2012 a090300001,集成的企业,大学和研究机构在广东省。