文摘

医学图像融合中发挥着重要作用的诊断和治疗疾病,如图像引导放射治疗和手术。修改后的局部对比度信息提出了多模态医学图像融合。首先,引入自适应多方面的过滤器过滤源图像的低频部分修改本地的对比。其次,采用修改后的源图像的空间频率的高频部分修改本地的对比。最后,选择修改局部对比度较大的像素到融合图像。提出方案优于引导滤波方法在空间域,dual-tree复小波transform-based方法,nonsubsampled contourlet transform-based方法,和四个经典的融合方法在视觉质量。此外,互信息值的方法是平均55%,41%,和62%的三种方法,这些值高于边缘基于相似性度量的方法平均13%,33%和14%高于六对源图像的三种方法。

1。介绍

随着医疗技术的发展,计算机科学和生物医学工程技术、医学影像技术可以为临床诊断提供了各种各样的多模态医学图像如计算机断层扫描(CT)、磁共振成像(MRI),单光子发射计算机断层扫描(SPECT)正电子发射断层扫描(PET),超声图像(1]。不同的医学图像可以显示不同的信息相同的体内脏器。例如,MRI是善于表达软组织与CT的信息。然而,组织钙化的CT图像可以提供更好的信息和骨段比核磁共振成像。在临床应用中,一个单一模态医学图像往往无法为医生提供足够的信息来做出正确的诊断(2,3]。有必要将不同模态图像合并成一个图像与源图像的足够的信息。医学图像融合可以包含来自多个模态图像的重要信息的综合信息病变的组织或器官。与此同时,废除源图像中的冗余信息。因此,医生可以很容易地作出准确的诊断或确定准确的治疗方案。

一般来说,医学图像融合算法分为两大类:空间域方法和多尺度分解域方法(4]。空间域方法结合像素或地区从源图像融合图像的空间域(5]。其他方法采用稀疏变换等传统小波金字塔,contourlet [6],nonsubsampled contourlet变换(6]。域与空间域方法相比,多尺度分解方法的时间复杂度,因为他们的冗余分解,特别是对于nonsubsampled contourlet transform-based融合方法。另一方面,空间域方法引入临床应用和手术过程,因为低复杂性。一般来说,基于空间域的融合方法可以实时执行,为临床医生提供实时诊断的手术。因此,本文侧重于空间域的多模态医学图像融合方法。

在最近几年,许多edge-preserving是活跃的研究课题在双边滤波等图像处理、加权最小二乘(7),引导滤波器(8),域转换滤波器(9],cost-volume过滤器(10]。因为edge-preserving过滤器可以避免响工件和保护边缘结构信息,这些edge-preserving过滤器已被广泛应用于图像匹配,图像dehazing,图像去噪,图像分类(11]。引导滤波器假设过滤图像输出是一个线性变换的指导。由于引导滤波器基于局部线性模型,康(11)首先引导滤波器引入空间域的图像融合领域。域转换滤波器保护之间的测地线距离点在曲线上,自适应地扭曲输入信号,1 d edge-preserving滤波可以有效地在线性时间内完成。域转换滤波器中使用的递归滤波器使本身不有效处理大量的复杂的边缘结构不连续区域。cost-volume过滤器是一种离散光流的方法处理好(小规模)运动结构和大位移。cost-volume导致通用的和快速的框架,它被广泛应用于计算机视觉问题。自适应多方面的过滤器(12),更好的全球扩散和edge-preserving能力的优势,是一个实时的高维度筛选的基础上迭代滤波器。此外,自适应多方面的过滤器可以产生高质量的结果,需要更少的内存。在本文中,自适应多方面的过滤器首先引入图像融合领域,尤其是多模态医学图像融合。

2。方法

2.1。自适应多方面的过滤器

自适应多方面的滤波器是第一个高维滤波器进行高维过滤实时图像和视频的13]。自适应多方面的过滤器是非常灵活的和能产生反应,近似标准高斯过滤器或non-local-means过滤器。自适应多方面的过滤器的过程主要可以分为三个部分:投影部分,模糊的部分,收集部分。

让是将每个点的一个信号维空间域在它的一个值维空间范围。对于灰度图像,和分别是2和1 (14]。

然后,集合管的数量可以生成独立的筛选维度和由以下功能: 在哪里被定义为一个线性校正计算标准差和范围定义了空间的高度计算标准偏差。让的设置抽样得到的样本使用常规电网。我们将每一个作为一个像素。th维自适应歧管可以被描述为一个图(),多方面的价值与像素被定义为一个函数的评价在(15]。当输入信号进行低通滤波,第一个廖可以生成: 在哪里卷积运算,与协方差矩阵是一个低通滤波器。基于第一个歧管,高斯distance-weighted投影图像的像素值进行多方面的。投影过程可以表示为 在哪里是对角协方差矩阵的大小控制高斯核的衰变。高斯滤波在执行每一个歧管混合的值从所有采样点。数学上,模糊值可以表示为 在哪里和是高斯滤波维空间。最后的滤波器响应为每个像素是由插值模糊值收集来自所有自适应阀组: 在哪里自适应阀组的总数,将用于过滤信号和相对应的重量吗。

2.2。修改的地方对比

图像的对比特征可以评估的差异在某个像素周围的邻居像素强度值。人类的视觉系统是高度敏感的强度对比而不是强度值本身。一般来说,相同的强度值看起来像一个不同的强度值取决于相邻像素的强度值。根据(16),当地的亮度对比可以定义如下: 在哪里是当地的图像亮度和是当地背景的亮度。一般来说,被视为本地图像的低频信息,被视为本地图像的高频信息。因此,高频和低频信息选择一个合适的方法是必要的,以确保更好的信息解释。修改后的空间频率(MSF) (17)根据行频率,计算列频率,对角图像的频率。较大的改进空间频率导致的显著特征,如边缘、线条,和区域边界。因此,修改后的图像的空间频率可以作为图像的高频信息。另一方面,图像的自适应多方面的过滤器的过滤结果可以作为图像的低频信息。在数学上,修改后的局部对比度在空间域是由 在哪里修改后的图像的空间频率吗在行和列。另一方面,图像的过滤结果吗通过自适应多方面的过滤器。修改后的空间频率能够捕获图像中的细节呈现,因为将对角线频率,行频率,频率和列。修改后的空间频率可以作为计算 那里的空间频率可以计算如下(18,19]: 在哪里和表示图像的行和列的数量,分别。对角线的频率可以表示为

2.3。融合方法的总结

图1展示提出了融合算法的原理图。本文提出的融合方法的步骤可以简要概括为以下五个步骤:(1)源医学图像和分别注册。(2)源医学图像和由自适应多方面的过滤器来过滤获得吗和低频部分的修改局部对比度信息: (3)修改后的空间频率源采用医学图像的高频信息修改局部对比度信息根据(7)。修改后的源图像的局部对比度和可以分别被定义为和这是表示为 在哪里和等于和,代表的高频信息修改局部对比度信息,分别。(4)决定地图可以表达如下源多模态医学图像融合: (5)最后,医学图像融合可以合并决策地图:

3所示。结果

3.1。实验装置

评估该融合方法的性能,实验已经进行六双图像如图2,分别。这些图像特征在四个不同的类别:(1)CT和MRI, (2) t1加权磁共振成像(T1-MRI)和t2加权MRI (T2-MRI),(3)磁共振成像和磁共振血管造影(MRA)的图像,和(4)Gadolinium-Diethylenetriamine五乙酸MRI (GD-MRI)和t1加权磁共振成像。组(a)和(b)在图2CT图像和MRI而组(e)和(f)在图吗2分别是T1-MRI T2-MRI。组(c)图2分别是T1-MRI GD-MRI图像。组(d)在图2分别是T1-MRI和MRA。相应的两个输入图像像素已经完全匹配。所有图片都有相同的大小为256×256像素,与256级灰度。一方面,该方法相对于一些经典的图像融合方法,如主成分分析(PCA)、拉普拉斯金字塔、梯度金字塔,移不变的离散小波变换(SIDWT)相比,在许多作品(4,20.]。另一方面,该方法的性能相比,修改后的空间频率的NSCT系数动机相Sudeb提出的方法(17)和dual-tree复杂的小波变换方法结合nonsubsampled方向滤波器组(NSDFB)刘(21]。Sudeb方案基于NSCT的金字塔滤波器和方向滤波器将分别“pyrexc”和“vk、”。NSCT分解水平设置为(1,2,4)符合(17]。dual-tree复杂的三层小波变换采用分解NSDFB系数的方法。滤光片方向设置为“cd。“此外,引导在空间域滤波方法提出的康(11)相比,该方法因为该融合方法是spatial-based域融合方法的一部分。康的方法,源图像分解为一个基本层和一个细节层平均滤波。采用引导filtering-based加权平均技术来充分利用空间一致性和细节层融合的基础。使用的参数(11直接采用这种比较。过滤空间标准差和过滤器标准偏差范围设置为14和0.10自适应多方面的滤波器,分别。

3.2。评价指标

3.2.1之上。互信息

Piella提出的互信息(MI), (22),可以显示多少信息融合图像传达的参考图像。MI定义为,在那里可以通过计算 在哪里和表示源图像(或)和融合图像,分别。联合灰度直方图吗和,和是归一化灰度直方图的和,是箱子的数量。因此,较大的MI值表示融合图像从图像中获得更多的信息和图像。

3.2.2。基于边缘的相似性度量

基于边缘的相似性度量(23]给出了边缘融合过程中转移之间的相似性。数学上,被定义为 在哪里和分别代表输入图像。是融合图像。的定义和是一样的,是吗 在哪里和边缘强度和方向保护值位置分别的图像。代表形象或图像,分别。的动态范围是它应该尽可能接近1更好的融合。

3.3。主观评价分析

评价该方法的性能在多模态医学图像融合,广泛的实验,如图3- - - - - -8,分别进行图像的六组。第一行的融合图像数据3- - - - - -8融合结果与经典的方法包括主成分分析、拉普拉斯金字塔、梯度金字塔,SIDWT。第二行数据的融合图像3- - - - - -8该方法与最新的三种方法和合并。它可以清楚地看到最新的图像融合三种方法和该方法达到一个更高对比度比经典方法在大多数情况下。然而,该方法非常不同的最新方法。具体而言,可以看出,提出的图像融合方法的对比是高于另一最新通过三种方法认真观察数据3 (e)- - - - - -3 (h)和7 (e)- - - - - -7 (h)。数据4 (e)- - - - - -4 (h)表明,其他三种方法不能保留边缘信息所示蓝色标记区域的数据4 (e)- - - - - -4 (g)。数据5 (e)- - - - - -5 (h)说明康的方法和Sudeb的方法介绍了许多工件到融合图像和刘的方法丢失有用信息的蓝色区域,如图所示5 (e)。的对比图6 (g)康的方法中最低的数据6 (e)- - - - - -6 (h)。作者在图的标注区域6 (h)比中相应的部分数据更清晰吗6 (e)和6 (f)。从数据8 (e)- - - - - -8 (h),可以得出的结论是,刘翔的方法不是有效融合的图像组(f)图2和该方法融合更多的信息从源图像比康的方法和Sudeb的方法。总之,该算法能更准确和必要的信息转换成比其他几种方法融合图像。同时,减少无用的块效应和工件等图像信息引入到融合图像的方案。

3.4。客观评价分析

除了主观绩效评估,客观评价指标是必要的说明融合图像之间的差异。表1,2,3展示MI和融合图像的不同的方法。大胆的值表明最好的结果表1- - - - - -3。MI值和值的算法除了最大的八个方法康的方法(引导过滤器)值最大的融合结果组(b)和组(f),客观评价结果意味着有用的信息转化为该算法的融合结果最大的八个方法除了特殊情况。此外,客观评价的客观评价结果与视觉效果评价很好小例外。这些例外,相比该方法更好的视觉效果和更好的客观评价性能的方法。从上面主观表现和客观指标的比较,可以得出结论,该算法能更好的将CT与MRI相结合,结合核磁共振成像和GD-MRI,结合MRI和MRA,结合t2加权MRI的t1加权磁共振成像。该方案比一些先进的作品更有效和四个经典方法。

4所示。结论

为了提高多模态医学图像融合方法的效果,提高诊断的准确性,小说在空间域和有效的医学图像融合算法提出了。修改后的局部对比度信息提出了地图融合多模态医学图像的决定。考虑到更好的全球扩散和edge-preserving能力自适应多方面的过滤器,过滤后的结果介绍了源图像的自适应多方面的过滤器的低频部分。另一方面,采用修改后的源图像的空间频率的高频部分。实验结果清楚地说明,提出方案比许多其他融合方法指导滤波器等方法在空间域,NSCT-based在变换域方法,dual-tree复小波结合NSDFB方法和几种经典的图像融合方法在主观表现和客观评价。

利益冲突

作者宣称没有利益冲突有关的出版。

确认

一些图像采用这些实验从网站下载http://www.med.harvard.edu/AANLIB/home.html。这项工作的部分支持由国家自然科学基金资助下61572063和61572063下的河北省自然科学基金拨款F2013210094 F2013210109, Z9904427,河北大学自然科学基金批准号下2014 - 303。