文摘
多通道图像融合技术可以集成不同的医学图像的信息得到一个有用的形象更适合联合诊断、术前规划、术中指导和介入治疗。先生CT融合图像和不同模式进行了研究。首先,CT和MR图像都转化为nonsubsampled shearlet变换(NSST)域。所以低频分量和高频分量。然后使用绝对最大高频组件合并规则,而低频组件合并基于稀疏表示- - - - - - (SR)的方法。和动态组稀疏恢复(DGSR)算法来提高SR-based方法的性能。最后,得到的融合图像上执行逆NSST合并后的组件。该融合方法是测试的临床CT及图像先生和几种流行的图像融合方法。实验结果表明,该融合方法可以提供更好的融合结果的主观和客观质量评估。
1。介绍
图像融合技术将多个输入同一场景的图像或对象得到的合成图像,将更多的信息和适合人类视觉感知或进一步图像处理相比,任何的输入图像(1- - - - - -3]。多模态医学图像融合,一个主要的图像融合应用,吸引了越来越多的关注从医学学术4,5),已被用于联合诊断,术前规划、术中指导、介入治疗等(6,7]。CT和MRI技术已经广泛应用于临床诊断和治疗;然而准确区别病变、骨头和瘤旁软组织有时很难通过单一CT或MR图像(7]。尽管CT图像提供所需电子密度图精确的辐射剂量估算和优越的皮质骨之下,他们在软组织对比度是有限的。MRI提供良好的软组织对比,允许更好的可视化肿瘤或组织异常。但是,它缺乏信号从皮质骨和图像强度值与电子密度无关(8]。因此,对于精确的联合诊断和有效的治疗过程,优越的方法融合CT和图像应该探索先生迫切。
多尺度变换(MST)理论是最广泛使用的工具在各种图像融合的情况下(2,3]。拉普拉斯算子等古典MST工具包括金字塔的金字塔(LP) [9)和梯度金字塔(GP) [10等)和小波的离散小波变换(DWT) [11)和dual-tree复小波变换(DTCWT) [12]。自从金字塔和小波工具最初提出处理一维信号,即使他们的改进版本不能很好地捕捉图像的几何结构信息。当前的MST工具多尺度几何分析(公司)。首先工具能够提取几何结构信息包括边缘,曲线,和纹理图像更有效,因为他们是“真正”的二维变换。曲波变换(CVT) [13),contourlet变换(COT) [14),nonsubsampled contourlet变换(NSCT) [15],shearlet变换(ST) [16(NSST) [], nonsubsampled shearlet变换17)是最具代表性的公司的工具。CVT代表提出了曲线的叠加基地各种长度和宽度服从标度律。NSCT的移不变的版本是床从本质上讲,这是建立在nonsubsampled多尺度金字塔和nonsubsampled方向滤波器。圣比床计算消费更有效。除此之外,没有任何限制的数量对剪切方向和大小的支持(17]。NSST圣本质上的移不变的版本。
不同尺度的几何结构信息,能够有效地提取影像的这些公司的工具。上面的工具被广泛研究了通用多通道图像融合(8,18- - - - - -21]。
稀疏表示(SR)是另一种流行的和强大的理论用于解决图像融合问题。老地址自然稀疏的信号通过模拟人类视觉系统的稀疏编码机制(22]。杨和李第一次SR理论应用于multifocus图像融合,他们使用正交匹配追踪(OMP)来实现稀疏编码(23]。他们也学习词典的影响和同时OMP算法在多通道图像的融合24]。
尽管MST-based和SR-based图像融合方法取得了巨大的成功,他们有自己特殊的缺陷,分别。我们将讨论部分4。为了结合MST的优点和SR,避免其缺陷,王等人提出一种融合方法,该方法结合了NSCT和SR和OMP算法计算方法SR系数的低频成分25]。一般的图像融合框架结合MST(不包括NSST)和SR提出并详细讨论了刘等人在26]。他们进行比较,发现该方法结合的NSCT和SR利用OMP算法稀疏编码获得优秀的融合性能。
在本文中,我们提出一种新的融合方法融合的临床CT和图像结合NSST先生和老首先,源图像都转化为NSST域。然后绝对最大的高频组件合并规则,而低频分量与SR-based合并的方法。王等人,刘等人利用OMP算法实现稀疏编码,而动态组稀疏恢复(DGSR)算法是第一个探索我们提出SR-based方法的方法来提高性能。最后,得到的融合图像进行逆NSST合并后的低频和高频分量。
我们提出了融合方法是测试40对临床脑CT和MR解剖图像和与七个流行的图像融合方法。MR成像技术可以提供四种解剖图像都被认为是在我们的研究中。实验结果表明,该融合方法可以提供优越的融合结果的主观和客观质量评估。
本文的其余部分组织如下。相关工作包括NSST和SR提出了部分2。该融合方法中描述的部分3。实验和讨论部分所示4。最后,我们得出的结论和描述一些未来的工作部分5。
2。相关工作
2.1。Nonsubsampled Shearlet变换(NSST)
Shearlet一直被视为最好的稀疏定向MST理论之间的帧图像表示到目前为止(5]。在维 具有复合相呼应的,仿射系统描述如下: 在哪里 ,是指各向异性与规模相关的转换矩阵,和指剪切与保面积几何变换矩阵,如旋转和剪切。 , ,和分别是规模、方向和改变参数。为每一个 和 的矩阵和在圣的过程中扮演极其重要的角色给出如下(17]: 假设 和 ;然后我们获得 让 和 ,对于任何 和 ;也让和是由 在哪里 , , 。
的每个元素支持一对梯形,近似的尺寸吗 ,面向沿着线的斜率 。
然后获得圣函数: 在哪里 , , 。
圣有以下属性:空间和频繁的本地化,强烈的各向异性方向选择性,抛物线缩放,大约稀疏表示。然而,圣吉布斯现象产生,因为缺乏变化的不变性。NSST移不变的版本的圣它利用nonsubsampled拉普拉斯算子的金字塔(NSLP)过滤器的替代品LP过滤器用于圣机制。多尺度分解由NSLP实现。一个低频分量和高频分量可以产生在每个NSLP分解水平。第二NSLP分解执行最后一个(以前)低频组件捕获源图像迭代的奇点。当分解级别设置 ,源图像分解成 组件使用相同的源图像的大小,一个是低频分量。
剪切滤波器(SF)在高频组件上执行的每个NSLP分解级别没有达到多向分解的二次抽样,这保证了移不变性NSST的属性。假设科幻执行方向分解高频组件由NSLP来分解阶段;然后定向部分波段与源图像大小相同的生产(17]。两级分解NSST如图1。这个原理图说明了科幻NLSP分解和相应的方向分解。
2.2。稀疏表示(SR)
SR理论是基于假设自然信号可以表示或近似表示为一个线性组合的“几”从字典原子22]。信号 ,老理论表明一个字典的存在 ,其中包含原型信号称为原子。然后,对任何信号 ,有一个原子的线性组合可以近似很好。信号可以表示为 ,在那里 是未知的稀疏系数向量。它通常假定 ,这意味着是overcompleted和冗余字典。所以有许多可行的欠定的系统的解决方案 。找到稀疏包含最少的非零项需要解决如下优化问题: 在哪里表示非零项的数量 ; 宽容是一种错误。
上面的优化是一个np难问题。为了解决这一问题的主要思想是得到一个近似解,而不是稀疏。OMP是代表算法获得近似解。
3所示。提出了融合方法
拟议的CT和MR图像的融合方法主要包含四个阶段:NSST分解,高频融合,低频融合,NSST重建。该方法的原理图如图2。
3.1。NSST分解
NSST分解进行CT和MR图像获得被指示为高频组件和低频分量表示 。
3.2。高频融合
高频组件在不同层次区域边界包含重要信息,边缘和线特性。系数的绝对值较大的高频组件显示突出的信息更重要。因此,流行的绝对最大规则是适当合并高频组件 。高频分量的系数和和融合图像被表示为和和 ,分别。表达的规则如下:
3.3。低频融合
和在我们的研究与SR-based合并融合方法。图像融合方法总是取决于源图像的局部信息。此外,稀疏编码的稳定和效率应该被考虑。因此,源图像需要分为图像补丁。
采用滑动窗口技术鸿沟和成图像补丁的大小 从左上降低合适的步长,分别为(23]。那么所有的补丁通过词典转换为矢量分类和标准化操作。和所有这些向量构成的矩阵 ,每一列对应一个块 。的大小是 。可以以同样的方式获得的。
为th列向量的 ,其稀疏表示由DGSR计算算法。根据(6),稀疏编码向量为得到如下:
同样,我们可以得到稀疏编码向量为这是th的列向量 。 在哪里离线训练的学习字典吗——奇异值分解奇异值分解算法(27]。
然后和合并的最大模1规则产生融合稀疏向量 。表达的融合规则如下:
的th列向量矩阵的通过计算
然后可以由这些列向量。
最后,低频分量的融合图像重建了 。这个重建的逆过程规范化和滑动窗口技术。
融合应用CT和MR图像,源图像的稀疏非零系数并非随机分布,但自己的。他们往往是集群分成组,虽然集群组织结构是动态的和不可预测的。因此,DGSR错误算法迭代过程中残留的数据根据稀疏和集团集群趋势是适合我们的研究。实验结果(28]证明DGSR算法实现更好的性能比OMP算法。本文主要工作是探索CT的图像融合方法和先生;DGSR算法可以找到的细节在28]。DGSR算法的MATLAB代码和相关的实验可以在下载http://ranger.uta.edu/ ~黄/ Downloads.htm。
3.4。NSST重建
逆NSST执行低频率和高频率重建最终的融合图像 。
4所示。实验和讨论
4.1。CT和MR图像
CT成像技术提供组织或病变的解剖图像。MR-T1W、MR-T2W MR-PDW来自不同设置的纵向弛豫时间T1,横向弛豫时间T2回波脉冲序列,和质子密度的组织。T1W意味着组织的对比先生形象主要取决于T1的重量。T2W和血栓的类似的意思。MR-CE图像获得通过添加gadolinium-containing对比剂,主要用于大脑肿瘤的确诊。他们都是解剖图像先生。
因为纸的有限的空间,只有一个代表性的临床脑CT和MR图像与源图像提出了如图3。图的图片3的12片是尤文氏肉瘤病人22岁。他有权利homonomous偏盲,左象限盲低劣,右下肢反射亢进,伸肌足底的回应。相同的图像块相同的病人,这样我们可以找到不同成像模式的差异很明显。他们可以从下载http://www.med.harvard.edu/aanlib/。
(一)
(b)
(c)
(d)
(e)
4.2。实验设置
上述临床脑CT和MR图像具有相同的大小, 成对,抢注的。所有的实验都是在MATLAB中实现7.14和PC上2.66 GB的CPU, 4 GB内存,和32位操作系统。
评估该方法的性能,GP (10],DTCWT [12],CVT [18],NSCT [19],NSST [20.],SR-OMP [23],NSCT-SR-OMP [25,26基于融合的方法实现比较。
这些MST-based方法的低频融合规则组件都选为“平均”的规则。这些MST-based方法的融合规则高频成分都选为“max-absolute”规则(2]。基于SR-OMP方法,融合规则是选为“max-norm 1”规则(23]。基于NSCT-SR-OMP方法,融合规则对低频和高频分量是一样的该方法的融合规则25,26]。对于这些MST-based方法,基于NSCT-SR-OMP方法,该方法,分解水平都设置为4,这是最合适的根据我们的实验和分析(2,26]。对于DTCWT-based方法,第一级的过滤器和其他水平被选为“5 - 3”和“q_a”,分别。NSCT-based和NSCT-SR-OMP基础方法,锥体过滤器和定向过滤器是选为“pyrexc”和“7号到9号,”。和定向数据形成粗粒度的选择尺度 , , ,和 ,分别。NSST-based方法和该方法选择为“pyrexc NSLP过滤器。“定向数据与上述相同。和迈耶波窗口用于科幻。大小的SFs下令从粗到细尺度选为32,32岁,16日和16个,分别17]。SR-OMP和NSCT-SR-OMP方法和该方法为基础,将图像大小的补丁 ,步长设置为2,错误容忍设置为0.1,和字典大小设置 (2,23]。
4.3。客观评价指标
一般来说,图像融合结果可以在主观和客观方面评价。主观方面难以执行,因为他们是基于psychovisual测试,不能应用于自动系统。除此之外,几乎没有视觉融合结果之间的差异在大多数情况下,主观方面是很难正确评价融合结果。因此,研制了许多客观评价指标(2,3]。在这篇文章中,标准差(STD) [29日),平均结构相似(M-SSIM) [30.),互信息(MI) [31日),和相关性的差异(SCD) [32),(33),(34),(34),(35),和视觉信息保真度融合(突然转向)36)用于评价融合结果客观。这些指标的较大值意味着更好的融合结果。值得注意,如果融合图像用于术前规划、术中指导和介入治疗,这取决于进一步图像处理、客观的评价是非常重要和有价值的优越性。我们也给出简单的主观评估融合的结果。
4.4。结果和讨论
图4显示数据的融合结果3(一个)和3 (b)与不同的融合方法。正确的部分图3 (b)和数字4(一)- - - - - -4 (h),有两个病变箭头所标示。实际上他们是一个损伤。和小大的扩散。右半边的小病变和病变左半部分的数据4(一),4 (b),4 (c),4 (f)在某种程度上是模糊的。虽然数据4 (d)和4 (e)展览小病变在右半边,他们不能展览左半部分的病变有良好的视觉质量。脑骨结构是基本硬化的组织在大脑解剖图像。只有数字4 (g)和4 (h)显示脑骨结构以及预期效果。总的来说,视觉信息的组织和病变的CT和MR-T1W图像是最完美的保存在数据4 (g)和4 (h)。此外,CVT和NSCT-based方法产生的构件沿脑骨结构。虽然基于SR-OMP方法可以捕捉重要信息,不能提取模糊特性(如病变在左半部分)。
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
表1给出了数据融合结果的客观评价指标3(一个)和3 (b)与不同的融合方法。最好的结果为每个指标用粗体标记。第二个最好成绩为每个指标与斜体字体标记。该方法提供了六个指标的最佳效果,第二个最好的结果指标之一。尽管NSCT-SR-OMP的融合结果的基础方法和该方法非常类似的主观质量,该方法优于基于NSCT-SR-OMP方法在所有的客观评价指标。此外,该方法的计算效率远高于NSCT-SR-OMP分解和重建的基础方法,因为NSST比NSCT(要快得多17]。
右下方的放大版本数据的一部分4 (g)和4 (h)如图5。我们可以发现,对比较大的损伤并导致其边缘区域图5 (b)高于相应的部分在图吗5(一个)。这项判决伴随着性病指标评估。此外,图的视觉质量5 (b)高于图吗5(一个),这是与突然转向指标一致。(注意,医学显示系统提供更好的视觉效果比普通显示系统;它区分数据之间的差异5(一个)和5 (b)更清楚)。
(一)
(b)
图6显示数据的融合结果3(一个)和3 (c)与不同的融合方法。的主观分析人物6类似于图的主观评价吗4。该方法提供了最佳视觉质量损伤标记的箭头,沟,骨结构。NSCT-SR-OMP基础方法提供了相似但小更糟糕的主观视觉质量仔细检查。
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
表2给出了数据融合结果的客观评价指标3(一个)和3 (c)与不同的融合方法。该方法提供了六个指标的最佳效果,第二个最好的结果指标之一。
数据7和8显示数据的融合结果3(一个)和3 (d)和数字3(一个)和3 (e)分别用不同的融合方法。该方法提供了最好的视觉融合表现两种情况。
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
表3和4给融合结果的客观评价指标的数据3(一个)和3 (d)和数字3(一个)和3 (e)分别用不同的融合方法。该方法提供了六个指标的最佳效果,第二个最好成绩指标表3。它还提供了最好的五个指标和结果第二最好的结果的一个指标表4。
表5给四十的融合结果的客观评价指标对临床脑CT和不同形式先生不同的融合方法。的手段和不同指标的标准差不同的方法如表所示5。我们可以发现,该方法为六个指标提供了最好的结果。
NSST是最具代表性的MST的工具,它可以更有效地提取源图像的几何结构信息,比NSCT CVT和古典MST工具。重要信息,如边缘、曲线和纹理可以被NSST非常好,可以保存在其高频组件。因此,NSST-based方法获得最好的结果或在某些情况下指标。然而,NSST不能表达稀疏的低频组件。如果普通的融合规则是用来合并低频分量,融合性能可以退化为低频组件包含源图像的大量的能量。
SR理论能代表图像的近似稀疏的意义。它是最好的方法的二维信号的信息理论,所以SR-based MI度量形式表的方法获得最好的结果1- - - - - -5。虽然SR-based融合方法可以表示源图像的底层凸信息非常有效,很难重现小规模源图像的细节和模糊特性。
该方法结合了NSST和SR为了保持他们的优势和避免缺陷。DGSR算法是第一个探索该方法确保满意的性能当SR-based融合方法实现对低频组件。值得注意的是,NSST扮演更重要的角色比老提出融合方法,主要是基于NSST自融合框架。几何结构信息,包括边缘、曲线和纹理的图片保存在高频组件NSST,虽然少数突出的特性和大部分能源保存在NSST的低频成分。SR-based方法用于引信低频组件和DGSR算法探索计算稀疏表示系数的低频分量。我们可以发现该方法的优越性在性病,M-SSIM,谈到 , ,和突然转向指标表。
5。结论和未来的工作
在本文中,我们提出了一种新颖的图像融合方法融合CT和图像,先生老NSST的优点相结合,此外,DGSR算法是利用当SR-based融合方法是进行NSST分解的低频成分。评估该方法的性能,GP, DTCWT, CVT, NSCT, NSST, SR-OMP, NSCT-SR-OMP融合方法实现比较。实验结果表明,该方法提供了更好的融合结果的主观和客观质量评价指标。
然而,融合和低剂量CT图像先生并不认为在我们的论文,因为低剂量CT图像含有大量噪声,是复杂的和不能被建模为高斯分布或Rician分布。我们可以集中精力在未来这种融合的主题。
此外,自动或引导目标描述在放射治疗计划是基于融合CT和图像先生将在未来研究。
的利益冲突
作者宣称没有利益冲突。
确认
作者真诚地感谢龙岩倪博士和红星刘博士从南京脑科医院隶属于南京医科大学(中国)、李教授Shutao从湖南大学(中国),海涛殷博士和来自南京邮电大学(中国)。这项工作由国家重点支持研究和发展项目中国没有。2016 yfc1306600)。