文摘

相结合的医学图像融合过程中的一个或多个成像模式。尽管无数的尝试方向的自动化心室超声心动图的分割和跟踪,由于缺少解剖细节或低质量图像斑点噪声和限制的视野,这个问题是一个具有挑战性的任务。本文提出一种融合方法,特别是打算增加超声心动图的segment-ability心内膜和改善图像对比度等特性。此外,它试图扩大视野,减少噪声的影响和工件,提高回波信噪比的图像。该算法权值的图像信息集成功能之间重叠的图像,利用主成分分析和离散小波变换。评价的结果之间的比较做了一些著名的技术和方法。同时,实现不同的指标来评估算法的性能。已经得出结论,提出了基于像素的方法基于PCA的集成和DWT的最佳结果segment-ability心脏超声图像和更好的性能指标。

1。介绍

图像融合是图像处理的主要研究领域之一。这是一个过程相结合的相关信息从两个或多个图像,成一个单一的形象,没有引入任何失真将更多的信息,包含更多的细节,而更适合视觉感知,它是完成相比,任何输入。图像融合方法可以提高输入数据的质量和增加应用程序(1]。绝大多数医疗为目的的应用,医学图像融合的目的是减少歧义和减少冗余的结果图像时增加相关信息(细节2,3]。最近的快速进步领域的传感技术,多种感觉的在医学成像系统已经成为现实。由于使用这些技术,我们将有一个巨大的数量的增加获得数据。图像融合产生的一种有用的方式减少,体积信息的同时,与此同时,从输入中提取所有的有价值的信息。图像融合的目的,除了减少的数量信息,是建立单一的增强图像更适合于人的视觉感知的目的和下图像处理任务分割和特征检测在医学成像。

融合也提高了其他应用程序的功能互补信息。换句话说,成功融合的主要条件是,“所有”可见信息在输入图像也应该出现可见的融合图像(4]。有一些需要的图像融合(5](我)提取整个所需的信息从输入图像的相关信息,(2)不引入扭曲或将娱乐人类观察员不一致,(3)健壮和可靠的缺陷,(iv)提高可靠性。

本文的组织结构如下:部分2提供了一个背景和评价图像融合的概念和一些相关的工作;部分3概述了该方法对超声心动图融合和解释该算法;该算法的实验结果和评价和讨论研究的结果发表在部分4;本文结束部分的结束语5。

2。背景和相关工作

2.1。分类的图像融合算法

融合的过程将适用的信息从一组图像相同的视图进入一个图像和由此产生的图像可以更有用和有益比任何的输入6]。实际的融合过程可以发生在不同级别的信息表示。

不同类别的图像融合方法通常是按不同的级别:像素,功能和决策水平(见图1)。(1)低级或进行像素级:进行像素级的方法在空间域变换域或工作。他们可以直接处理图像的像素。在进行像素级图像融合试图将底层数据,通常在物理测量像强度4)(见图3)。(2)中层或特性:特征级方法执行了从输入图像特征。他们最初将图像分成连续的地区和领域结合在一起使用它们的属性。使用的特征可能是单独计算每个图像或他们可能会通过同步过程的图像。(3)高层或决策水平:决策级融合使用最初的目标检测和分类的结果作为输入来执行融合作为数据集成7]。

进行像素级图像融合代表同一场景的视觉信息从数据可以使用不同传感器获得的图像(4]。一个简单图系统的使用进行像素级融合是显示在图2。

这里描述的细节,进行像素级技术(6]。(一)简单的最大:在这个技术,结合图像是通过选择的最大强度相关的像素从两个输入: 是输入和是合成的。(b)简单mnimum:简单的最低技术,结合图像是通过选择相关的像素的最小强度从两个输入: 是输入和是合成的。

(c)简单的平均:这里,合并后的图像是通过计算平均强度相关的像素从两个输入: 是输入和是合成的。(d)加权平均:加权平均技术,结合图像是通过计算加权平均数强度相关的像素从两个输入: 是输入和合成图像和吗W是组件的重量。(e)主成分分析(PCA):主成分分析技术是一个子空间,减少了多维数据集到低维度进行分析。该方法确定的权重为每个源图像使用的最大特征值对应的特征向量的协方差矩阵每个源图像(见图4)。(f)离散小波变换(DWT):这些变换图像分解工具,提供多种渠道代表不同的频率部分波段多尺度的图像特征。二维离散小波变换(DWT)将图像从空间域转换为频域(见图6)。(g)Brovey变换(BT):也称为Brovey变换颜色标准化的融合是基于色度变换和强度调制的概念。这是一个简单的方法来合并来自不同传感器的数据,它可以保持每个像素的相对光谱贡献但取代与高空间分辨率图像的整体亮度。(h)强度色相饱和度(IHS)方法:IHS图像融合方法是一个标准的过程,与重要的限制仅包含了三乐队。基本上,它是基于RGB真彩色空间。它提供了独立的优势渠道大纲不同颜色属性,即强度(I),颜色(H)和饱和度(年代)。这种特殊的彩色空间通常是选择,因为人类的视觉认知系统打算将这三个要素作为大致正交的知觉轴。

最后,基于域,图像融合方法通常分为两组。(我)空间域方法:空间域方法,我们专门处理像素的图像。像素值通常改变来获得所需的结果。(2)变换域方法:在图像变换域方法,先转移到频域。

像平均融合方法,Brovey方法,基于主成分分析(PCA)和IHS技术在空间域分类方法。离散小波变换的分类下的频域方法。

2.2。超声心动图图像融合

图像融合已经成为一个受欢迎的词用于医学诊断和治疗(8]。融合图像可能会产生很多类似的图像成像形态(9)或通过合并来自多个模式的细节(10)MRI、CT、PET和SPECT。精确的诊断,放射科医生应该合并来自多个图像格式的信息。融合,在解剖学上一致的图像特别有助于诊断和治疗(11]。图像融合技术的一些应用在医学图像融合CT和MRI图像,计算机辅助手术,和空间注册3 d表面(1]。

超声心动图成像是一种普遍的技术获取心脏图像;然而,它受到工件,高噪音,和有限的视野12]。由一个隐式创建的图像退化变形名叫“斑纹,”来自超声回声的破坏性和建设性的连贯的总和。造成的失真斑纹可以被定义为乘法噪声导致颗粒,降低图像的对比,减少图像中寻找信息的能力。技术处理这些限制是使用一些图像,从每一个图像选择最好的部分提供一个质量更好的结果。

一些重要的需求可以被认为是融合过程:(a)融合过程必须保持整个源图像中包含的相关信息,(b)融合过程不应产生任何失真或不一致,将娱乐人类观察者或后续处理阶段从而导致错误的诊断,和(c)无关的特征和噪声需要掩盖在最大程度上(13]。医学图像融合试图解决的问题是把信息从多个图像内容相同(或不同的成像传感器)的视图实现融合图像包含最好的细节。因此,融合图像会产生优势改善图像相比,任何的原始输入图像。

在这项研究中,介绍了基于像素级的医学图像融合显示融合过程创建一个包含额外的可靠信息的融合图像比单独的输入图像。尽管无数的尝试方向的自动化心室分割和跟踪(14),问题待复杂的低质量研究结果获得图像的特征与失踪的解剖细节,包含散斑噪声,或限制的视野。最简单的医学图像融合是考虑输入图像,灰度的均值像素的像素。然而,使用这种技术在超声心动图图像会产生一些不良影响,减少特征对比。

为了克服这个问题,一种新的基于像素的融合方法集PCA和DWT提出。这种融合是通过加权平均的图像融合。权重对每一个输入图像获得的特征向量和协方差矩阵的最大特征值相关的每一个输入。然后,使用小波变换,提出了定向分解水平的细节,包括独特的信息在不同的决议。性能指标用于评估DWT,主成分分析,该算法的性能13]。

3所示。该方法

融合方法试图提供一个更好的质量形象提出了提高超声心动图segment-ability这里。也能够提高对比度,减少回声构件的影响,扩大视野,提高信噪比,。提出技术重量的细节图像,基于组合特征与DWT的PCA融合所有重叠的图像之间的融合发展。本研究的目的是实现空间融合在多个超声心动图序列并执行临床检查与心脏病专家合作从UiTM河Bulah医院,马来西亚。

散斑应该过滤掉在心脏医学超声波在不影响突出的特征。两种去噪方法:(一)融合,结合超声心动图的同一地区提供一个降低散斑图像;(b)过滤。

本文试图优化和持续发展的图像融合利用集成PCA与DWT,两个著名的图像融合方法。PCA方法可以保持更好的分辨率,但它与不同程度扭曲了光谱特性。然而,DWT分解水平将产生方向性的细节,包括特殊信息在不同的决议。此外,DWT和PCA能保持更多的光谱信息和空间特性,分别。此外,PCA方法可以显著减少冗余特征。提出了一种空间频率(SF)动机的方法集的优点,改善图像质量,以避免扭曲和工件。

最近,融合图像序列介绍了通过获取几个超声心动图与小探头位置的变化,结合他们在一起后对齐。

融合超声心动图序列的特定思想可以让我们增强图像质量以及提高解剖细节导致更好的特征检测。

3.1。主成分分析

PCA包含数学过程中多个相关变量转化为一些不相关的变量命名的主成分。也是一个线性变换,计算数据集的压缩和最佳的解释(13]。第一主成分占的最大方差在数据集是可实现的,每个组件后认为一样的最大数量的剩余方差可用。第一主成分沿方向被认为是最高的方差。第二个主成分是局限于子空间垂直的放在第一位。在这个子空间中,该组件点最大方差的方向。第三主成分被认为是子空间的最大方差方向垂直于前两个等等。PCA有助于减少不必要的信息,强调效果最高的组件来提高信噪比指标。它被称为旅馆式办公变换或Karhunen-Loeve变换(4]。

3.2。小波变换

主成分分析的图像融合技术在空间域进行操作。然而,空间域融合可能产生光谱退化。这尤其重要,如果图像应该如超声心动图融合图像没有获得在同一时间。因此,相比之下,理想的融合的结果,如果单独应用这种方法,它会产生超声心动图贫穷和不受欢迎的结果图像。小波变换是一种多分辨率图像分解工具,提供一系列渠道代表通过各种频率部分波段图像特征。因为它已经发现,小波融合技术比光谱质量标准的融合技术,特别是在减少失真,我们同时使用主成分分析和小波变换他们的优点,减少他们的缺点。

该方法结合PCA方法与小波变换提供了杰出的结果相比,标准主成分分析或小波变换。小波变换通常分为三类;基于连续、离散和多分辨率(4]。在离散小波变换,分解,估计和信息元素可以是不同的。2 d DWT变换频率超声心动图从空间域图像。输入是水平和垂直分离的轮廓和显示了DWT一阶;然后图像分为4地区LL1, LH1, HL1, HH1。当分解执行,L-L乐队提供了典型的图像信息,而其他乐队包括定向信息引起的空间定位。更高的完成高带内小波系数值相关的重要特征包括线或边。结果,在小波变换,图像的大小是一半在空间方向上在每一个分解层次的过程,因此结束一个多分辨率信号表示。组合的主要阶段是金字塔的创建组合。

3.3。该算法

该算法由两个阶段组成。假设输入排序2列向量。在第一阶段,措施项目该数据转换为二维子空间如下。(1)首先,数据应该组织列向量。假设R结果列向量的维度。(2)后将数据划分为列,每列的经验平均尺寸是。(3)减去平均每R列。矩阵的维数结果X是。(4)计算协方差矩阵C从矩阵X。(5)考虑到第一列的特征向量大特征值有关计算归一化组件和作为

在第一阶段,将通过PCA图像融合。信息的主成分分析算法的流程图如图5。输入和要求在2列向量和他们的经验平均减去。结果向量的维度,在这是每个图像向量的长度。计算结果向量特征向量和特征值和特征向量与特征值更大。标准化的组件和使用5获得特征向量的计算。结果图像 没有限制的列表等基本向量小波,FFT和DCT PCA和其基本向量依靠数据集。假设是一个随机维向量,零经验的平均水平。正交投影矩阵就像与随后的限制。的协方差,一个对角线,也是逆的等于它的转置。通过使用矩阵代数,我们 相乘的公式7通过,一个人 通过编写作为和作为 替换7成8给了 它可以写成 在哪里和作为一个特征向量。

在第二个阶段,为了提供更好的结果,我们将应用小波融合图像上得到的第一阶段(见图8和9)。在这个阶段,而分解,估计和信息元素可以是不同的。2 d DWT改变超声心动图图像从空间频率域。首先,图像水平和垂直轮廓分离,然后显示DWT一阶,通过图像LL1分为4个区域,LH1, HL1, HH1(见图6)。某种特定能量投射在一个连续的信号频带家族(或相同的函数空间的子空间)。例如,信号可能会显示在每个频带的形式对于所有建设性的频率。接下来,主要的信号可以由一个适当的集成整体重建生产频率成分(15- - - - - -17]。频段或部分波段扩展版本的子空间范围1。

这个子空间因此在大多数情况下是由一个母函数的变化,母亲小波。例如,对于一个频带规模函数是由 分析一个信号利用小波系数是极其困难和计算不可能的,也许它是足够的选择更高的半平面的一个离散的子集以构造一个信号从相同的小波系数。对于一些实际的变量,。相应的离散半平面的子集包含所有的点与整数。相当于婴儿小波是由 一个可接受的条件建设的任何信号特定的能量方程 这个函数给紧张的形状。

在离散小波变换,有简单的有限数量的小波系数为每一个有界在上半平面矩形区域。然而,每个系数都需要分析一个积分。为了防止这种数学复杂性,需要一个辅助函数,小波的父亲。此外,有限制是一个整数。一个典型的选择是和。父亲和母亲的最受欢迎的两个小波是Daubechies 4利用小波(见图7)[18- - - - - -22]。我们可以构建与母亲和父亲小波子空间(15]: 让输入数据和它的大小;然后小波和扩展的功能 第二阶段的算法提出的技术如下。(1)实现离散小波变换的图像从第一阶段建立获得较低的小波分解。(2)结合每一个分解层次。(3)持有逆离散小波变换分解层次相结合,意义重建图像,图像重建是F时,融合图像。

4所示。结果和讨论

在本部分中,它已经表明,提出的方法可以提供更令人满意的结果,与其他技术和算法相比在视觉效果和定量分析两个方面。评估组织雇佣著名的图像融合方法有四个图像质量测量。实验数据集包含10个主题案例。为每个主题的情况下,两个超声心动图阶段被认为是不同的帧的心脏循环利用飞利浦获得iE33心脏超声扫描装置(飞利浦医疗器械,河Bulah医院,UiTM,马来西亚),心脏外科医生的监督下(见图10)。PCA和DWT的提出了集成融合方法对数据集的两个提到的阶段。此外,PCA和DWT分别采用数据融合技术,然后计算每个方法的性能通过应用四个定量测量。均方根误差(均方根误差)是适当的测量显示图像如何靠的很近。考虑到可能的人为扭曲的结合过程还可以提高熵或空间频率图像相结合的措施;图像质量指数(IQI)是一个相当值得信赖的图像没有参考图像测量,因为IQI得到一个值在0到1的范围如何输入相关的结果。

4.1。数值结果

融合过程的典型要求是保持整个有用的信息从输入图像,同时它不应该产生任何工件生成图像。效率测量是用来计算融合的优势,也有助于使比较结果用不同的技术来实现。四个措施是用来检查图像质量,包括CC(相关系数),IQI(图像质量指数),RMSE(均方根误差),和奥西(综合交叉熵)23- - - - - -25]。整个交叉熵是用来发现两个输入图像和结果之间的差异。小测量好了相关的结果。提出了集成的结果PCA和DWT方法相比之下,两个结果通过应用DWT和PCA。表2展示了实验结果。从测量,可以看出CC和IQI是最大的技术。的RMSE和奥西提出的技术至少在2集。指出了技术融合图像效果最好的结果了。

4.2。实验结果

被认为是评价,两种类型的比较;首先,由于该方法是相对于其他技术的结果,分别。然后,分割方法是用来评估心室轮廓segment-ability融合图像与输入图像。评估该方法的性能,选择两组超声心动图(如图11)。所有超声心动图有相同的大小像素。

4.2.1。准备评估的结果比较

PCA方法提到的两个数据集的结果如图(11日)。可以简单地认为,仅基于主成分分析的图像融合提供了模糊信息的组织特别是心脏心室。图像融合基于DWT单独生成一个结果没有明确边界心室和墙壁(见图11 (b))。因为它可以看到,最好的图像融合的结果是通过采用我们提出的集成PCA和DWT的融合方法,如图11 (c)。

的特点和具体细节显示在结果建议的方法明显比其他融合图像。图像信息,如组织提高明显。额外的有价值的信息如心室形状和边界几乎是完全实现。

4.2.2。评估由Segment-Ability

本节提供实验考试的心室边境segment-ability融合图像的三种方法和输入图像。以下描述的心室segment-ability尤其作为被有效分割图像的能力利用分割方法。水平集分割方法,提出了在26)用于显示在每一个图像分割结果;所以,比较可以有效地完成。这个算法是一个几何约束水平集分割之前不需要培训,甚至形状方法也使用强度信息在特定的图像(26)(见图13和14)。

最终收缩和舒张各序列的帧都公认的专家通过超声心动图,基于美国超声心动图学会指南(27]。然后应用水平集分割阶段和结束收缩和舒张帧结束。首先,图像被分为四个部分,然后分割过程开始通过将某种10像素半径椭圆形状的右底部广场或左底广场。分配的变量值为左、右心室的分割方法中所描述的表3。边缘特征检测的变量,换句话说指标,以及分割,之间保持相同的融合图像和输入,检查图像质量的实际水平的敏感性。

分割过程的有效融合,实现接近左心室心内膜边界,是量化和失败的技术分类视觉由于这些可能的原因:(1)心室腔斑纹;(2)边界损失因为边界信息不足;(3)损失和斑纹。

为了验证测量,融合图像分割专家手动超声心动图。心室心内膜边界是手动跟踪所有飞机的舒张和收缩。左心室乳头肌的小梁形成左心室腔内集成,基于美国超声心动图学会指南(27]。左心室的实际结果被视为来源评估分割,而采用验证测量将在下面解释。

验证方法。心室的心内膜通过几何约束水平集分割技术(26从手工描述)是与轮廓提取。随后的定量方法应用于测量自动化和源轮廓之间的相似性。(1)DSI骰子相似性指数计算的测量轮廓之间的协议()的自动化技术和源轮廓(),提供一个评级值在0和1之间(0:没有协议,1:完整的协议)。DSI是计算 在这2轮廓之间的十字路口。(2)平均地表距离:这种方法被定义为,在表面(来自自动化技术和源表面())描述为 在哪里是每个表面像素之间的距离的平均值和最近的表面像素,而以同样的方式计算。

图12提出了两套主题情况下的图像分割结果可视化的平面图像融合超声心动图和输入图像。这演示了一个有效的左心室和右ventriclesegmentation年底舒张融合图像,输入图像上的失败。在这种情况下,失败是由于缺乏足够的图像数据除了空腔噪声从而导致心内膜表面的损失扩大外部正确的边界。

显示,有一个好的结果的融合图像,因为大量的噪声在左心室腔和一个较小的数量可观测的解剖信息在输入图像融合。

上面解释的分割结果表明融合上的分割技术行为更优越的超声心动图比输入图像。本质上,这可以增强的直接影响超声心动图的完美解剖描述也因为多个图像融合图像质量的改善。最终结果表明,融合图像上都优于心室心内膜分割定性和定量(表1)。

特定数量的分割失败失败对每一个函数计算。表4总结了分割失败的百分比为融合图像和输入超声心动图。输入图像的技术不能在准确的分割在许多情况下结束舒张(87.3%)和超过一半的时间在end-systole (61.7%)。融合图像的分割方法不能准确分割24.6%的次舒张而结束只有一个失败最后收缩(3.1%)。这意味着融合结果在增强图像质量,因此导致心室有效分割。

看到,输入超声心动图具有更大数量的心室腔噪声按照融合图像,如表4显示心室腔噪声是失败的一个重要原因在结束在结束收缩舒张和59%(27.8%)在输入图像相比,绝对没有融合的失败。最后,输入图像更融合损失以及噪声的影响元素(57.8%结束年底收缩舒张和39%)相比,只是一个这样的情形在心脏舒张期结束(14.7%)的融合。

表5提出了自动和手动划定轮廓之间的可比性,收缩和舒张末。评估完成8日端收缩和6端舒张轮廓,基于有效心室分割融合超声心动图的数量,使用验证过程(表之前解释道4)。

意味着DSI措施0.91和0.79的舒张和收缩,分别显示优越的手动划定和分割轮廓之间的重叠。失败之间的距离自动和手动轮廓比较小,指出通过平均距离2.26毫米和1.64毫米的舒张和收缩,分别。图15演示了自动和手动情况下与轮廓叠加在输入超声心动图为了证明它们之间的相似性。

4.3。心内膜的轮廓精度评价

以前,专注于图像质量分析,信息的分割心室,改进的可重复性和成就心内膜融合后分割。不过,一个至关重要的问题应该得到解决:将融合取代心内膜的定位或维持它在任何情况下吗?我们做了一个比较的心内膜表面之间的融合和输入超声心动图。一个子集包含6个科目(每个学科融合和输入超声心动图)和从数据库选择号码1。那些主题选择了高质量的封面上心室和解剖描述单一超声心动图。心内膜边界划定在融合和输入超声心动图,由一位专家基于标准协议的解释。

提取的轮廓从融合图像的描述和输入图像利用轮廓距离验证和DSI方法相比,解释道。并给出了比较结果表6显示高协议0.89 DSI和适度距离失败约0.95毫米。的se outcomes demonstrate that there is high similarity among the endocardials delineated from fused image and input image. Also endocardials are maintained after fusion without obvious displacement in position.

4.4。讨论

评估已经完成利用志愿者和病人数据库包括十个系列超声心动图图像。该方法的结果与输入(nonfused图像)和两个其他技术的结果。实验表明,该技术能够得到输入图像,融合图像退化的工件,并提供一个更好的质量。视觉评估是由心脏病学家和确认好偏爱合并后的图像质量的形象,扩大视野,低腔变形,高心内膜边界描述。融合方法提供显著增强解剖细节包含在图像和图像质量。分析这种增强自动图像分析的结果,这个特殊的研究描述了一个组织的过程评估结果使用几何约束水平集分割算法(26]。本文的影响增加图像信息和在心脏超声图像质量客观、定量解释。结果表明,融合有助于心脏超声图像的自动分析,大大。

5。结论

在这项研究中,一种新的超声心动图图像融合技术提出了基于PCA和DWT的一体化。实验结果表明,提出的方法是有效的融合图像和优于超声心动图先进的开发方法在定量和定性评价。统计和视觉的比较表明,该方法的融合结果包含更多的信息,而工件太小。此外,提出的方法可以产生更多的可接受的结果,与其他技术相比在视觉效果和定量分析两个方面。不同的指标是用来检验算法的性能,结果表明,使用离散小波变换与更高层次的分解将主成分分析更好的性能指标。

本研究主要是评估质量以及信息融合图像和输入图像的分割。分割的几何约束水平集分割算法(26)是用来显示结果。这水平集分割算法在融合图像和输入图像都采用。定性和定量的结果表明,分割方法对融合图像进行优多输入的。

进一步的研究将试图检查心室的跟踪并评估心肌的segment-ability肌肉比心内膜边界更加困难。此外,运动为三维应变近似可以做评估,主要是因为它提供了一个密集的运动领域。这项研究表明融合的结果超声心动图在特定的超声心动图的自动图像分割图像。融合的想法绝对可以放在其他领域的超声波,例如,胎儿超声心动图图像(9]。一般来说,我们预料的发展增强功能自动分析可以发现在其他领域的超声成像。因此,融合有重要组成部分执行在超声波分析提高定量分析。

利益冲突

作者宣称没有利益冲突有关的出版。

承认

这项研究受到了科学、技术和创新,马来西亚,在科学基金。UPM0007353。