CMMM 计算和数学方法在医学 1748 - 6718 1748 - 670 x Hindawi 10.1155 / 2020/3290136 3290136 研究文章 多模态医学图像融合的研究基于Parameter-Adaptive脉冲耦合神经网络和卷积稀疏表示 夏 郭敬明 1 https://orcid.org/0000 - 0002 - 6664 - 2095 陆 易 1 https://orcid.org/0000 - 0002 - 1600 - 9814 棕褐色 凌 2 Konefal 亚当 1 电子与信息工程学院 南京大学信息科学与技术 南京210044 中国 nju.edu.cn 2 学校的计算机和软件 南京大学信息科学与技术 南京210044 中国 nju.edu.cn 2020年 24 1 2020年 2020年 12 09年 2019年 07年 12 2019年 02 01 2020年 24 1 2020年 2020年 版权©2020年郭敬明夏》等。 这是一个开放的文章在知识共享归属许可下发布的,它允许无限制的使用,分布和繁殖在任何媒介,提供最初的工作是正确的引用。

医学图像的视觉效果有很大的影响临床辅助诊断。目前,医学图像融合已经成为临床应用的一个强有力的手段。传统的医学图像融合方法融合结果差的问题,由于缺乏详细的特征信息融合。处理,本文提出了一种新的多模态医学图像融合方法基于医学图像的成像特点。在该方法中,non-subsampled shearlet变换(NSST)分解是在源图像上执行第一名获得高频和低频系数。高频系数融合,一个参数的自适应脉冲耦合神经网络(PAPCNN)模型。该方法是基于参数自适应和优化的连接强度 β 采用促进性能。低频系数合并的卷积的稀疏表示模型(CSR)。实验结果表明,该方法可以解决困难问题的参数设置和可怜的细节保护稀疏表示;再利用在传统图像融合算法,它有显著的优势相比,视觉效果和客观指标与现有主流融合算法。

 1。介绍

图像捕获机制的多样性使得不同模式的医学图像,以反映不同的器官和组织的信息类别。例如,计算机断层扫描(CT)是对血管和骨骼非常敏感,因此其成像更清晰。磁共振成像(MRI)图像提供更丰富的软组织的信息但缺乏边界信息和模糊的骨骼成像( 1]。发射计算机断层扫描(ECT),其中包括正电子发射断层扫描(PET)和单光子发射计算机断层扫描(SPECT),获取投影数据和断层图象重构与高灵敏度但低分辨率。进行像素级医学图像融合技术的目的是获得更有用、准确的医学信息为同一目标结合多模态医学图像的互补信息通过合成图像。

近年来,医学图像融合算法大大发展。然而,大多数医学图像融合方法采用多尺度变换(MST)的框架来实现更好的结果。图像变换方法和高频系数和低频系数的融合战略的两个关键问题是MST-based融合方法。大量的研究表明,MST-based融合方法的性能可以显著改善通过选择合适的图像变换方法和设计有效的融合策略。辛格et al。 2]提出增加脉冲耦合神经网络(相)应承担NSST框架下的融合规则有效地提取梯度特性和保留图像的边缘和细节信息来源,但许多相的参数设置也一个重大的挑战。刘等人。 3提出了卷积稀疏表示算法,妥善解决这两个问题产生的稀疏表示的图像融合,即。能力有限,保留细节和高灵敏度登记错误( 4, 5),完成了图像融合实现整个图像的稀疏表示。陈等人。 6)提出了一个基于一个简化的图像分割方法相模型(SPCNN)。这个模型可以自动设置PCNN-free大小的参数来实现更高的分割精度。明等。 7)提高了SPCNN模型,获得了一种改进的参数自适应相模型(PAPCNN)和应用到图像融合。实验表明,PAPCNN模型具有更快的收敛速度和更好的效果,当应用于图像融合实验。

针对存在的问题在当前;再利用和NSST方法,NSST-PAPCNN-CSR算法结合NSST, CSR和PAPCNN模型提出了。本文的创新概述如下:

我们采用参数自适应相(PAPCNN)保险丝;再利用高频系数的参数自适应地计算基于输入乐队,可以克服的困难设置自由参数的传统相模型。此外,我们提出一种改进的隐式参数 β PAPCNN,同步点火特性PAPCNN模型协调达到更好的融合效果。

我们介绍了卷积的稀疏表示(CSR)模型到低频系数的融合。CSR模型克服了稀疏表示的两个关键问题出现在图像融合,即。能力有限,保留细节和高灵敏度登记错误。此外,CSR有望解决稀疏问题的低频系数NSST域。

本文的其余部分组织如下。节 2、材料和方法用于本文简要介绍。部分 3给出了实验和分析。最后,本文的结论部分 4。

 2。材料和方法 2.1。相关材料 2.1.1。Non-Subsampled Shearlet变换(NSST)

通过non-subsampled NSST分解源图像金字塔滤波器(NSPF)和移不变的剪切滤波器组(SFB)。NSPF可以保证shift-invariance和抑制pseudo-Gibbs现象,及定向定位所能达到的水平。图 1是一个NSST分解的示意图。NSST被认为是一个非常可靠的图像融合方法具有良好的局部时域特性,multidirectionality、平移不变性。它可以有效地提取源图像的边缘和细节信息( 2, 8]。在此帐户,NSST被选为MST的图像融合方法。

NSST分解的示意图。

 2.1.2。Parameter-Adaptive脉冲耦合神经网络(PAPCNN)和改进的参数< inline-formula > < mml:数学xmlns: mml = " http://www.w3.org/1998/Math/MathML " id =“M3”> < mml: mi >β< / mml: mi > < / mml:数学> < / inline-formula >

传统的相模型的关键挑战是如何释放连接强度等参数,不同振幅、衰减系数。为了避免手动设置自由参数的困难,在这篇文章中,一个parameter-adaptive相(PAPCNN)模型( 7)提出了融合NSST分解得到的高频系数。

PAPCNN模型描述如下: (1) F 我 j n = 年代 我 j , (2) l 我 j n = V l ∑ k l W 我 j k l Y k l n − 1 , (3) U 我 j n = e − α f U 我 j n − 1 + F 我 j n 1 + β l 我 j n , (4) Y 我 j n = 1 , 如果 U 我 j n > E 我 j n − 1 , 0 , 否则, (5) E 我 j n = e − α e E 我 j n − 1 + V E Y 我 j n 。

PAPCNN模型上面提到的, F 我 j n 和 l 我 j n 代表神经元的输入和连接位置的迭代 n,分别。图 2显示了PAPCNN模型的结构。

PAPCNN结构模型。

PAPCNN模型中有五个参数:衰减系数 α f 的动态阈值 E ,连接强度 β ,振幅 V l 连接输入的衰减系数 α e 的内部活动 U ,振幅 V E 的动态阈值 E 。此外,它可以观察到从( 1)( 5), β 或 V l 只有作为的重量 ∑ k l W 我 j k l Y k l n − 1 ,这样他们就可以被视为一个整体 β V l 在PAPCNN模型中。假设 λ = β V l 代表了加权连接强度,我们分析参数的值 V l 根据文献[ 6)和假设 V l = 1 不影响最终的实验结果;因此,有四个参数: α f , α e , V E , λ 。

在这篇文章中,我们已经调整了参数 β ,即,the connection strength between neurons. Because the value of V l 是固定的,更大的价值 β 越大,神经元受到相邻的神经元和更强烈的波动内部活动 U 我 j n 。一般来说,更大的价值 β 往往会导致光线暗神经元点燃;相反,价值越小 β 可以减少捕获邻近神经元的能力。协调同步点火PAPCNN模型的特点,介绍了一种优化方法搜索的价值 β ( 9]: (6) 最小值 β ∑ c = 1 2 λ c ∑ x ∈ X c 我 x − 米 c n 2 , 年代 。 t 。 X 1 = y U y n ≤ E y n − 1 ∩ X , X 2 = X X 1 , 0 ≤ β ≤ 1 , 在哪里 λ 1 和 λ 2 权重系数,设置为1, X 表示一组相邻神经元和一般计算 (7) X = 我 j l 我 j n > 0 ∩ 我 j Y 我 j n = 0 , 在哪里 米 1 n 和 米 2 n 分别显示对应的平均值未燃烧的点火区域,见以下方程: (8) 米 c n = ∑ 我 j ∈ Ω c F 我 j ∑ 我 j ∈ Ω c 1 , c = 1、2 , 在哪里 Ω 1 = 我 j Y 我 j n − 1 = 0 和 Ω 2 = 我 j Y 我 j n − 1 = 0 。它可以看到从方程( 6), β 作为一个隐式参数,改变目标函数的最优值。它调节内部点火的活动 U 邻近的神经元,之后,通过与阈值进行比较 E 邻近的神经元分为两类: X 1 和 X 2 。为此,其相应的灰度值信息和均值的离散程度方程( 8)被认为是确定最优连接系数 β 。为了便于计算,增加步长搜索方法 Δ β 被采用。

 2.1.3。卷积的稀疏表示(CSR)

卷积的稀疏表示是一种卷积的稀疏表示,也就是说,滤波器的卷积和词典和特征反应是用来代替冗余字典和稀疏系数的乘积,因此图像稀疏编码的单位”。“卷积的稀疏表示模型可以表示为 (9) 参数 最小值 x 米 1 2 ∑ 米 d 米 ⊗ x 米 − 年代 2 2 + λ ∑ 米 x 米 1 , 在哪里 d 米 代表了m维卷积字典; ⊗ 代表卷积运算的象征; x 米 代表特征反应; 年代 表示源图像;乘数的交替方向方法(小组admm)是一个双凸优化算法,可以解决分离结构的凸规划问题,解决时而几个子问题。在[ 10),考虑到小组ADMM算法可能有魅力地解决基础问题的追求去噪(BPDN),傅里叶域中小组ADMM算法解决解决问题的卷积稀疏模型。其中,字典学习被定义为的优化问题 (10) 参数 最小值 d 米 , x 米 1 2 ∑ 米 − 1 米 d 米 ⊗ x 米 − 年代 2 2 + λ ∑ 米 − 1 米 x 米 1 , 年代 。 t 。 d 米 2 = 1。

第一个应用程序描述的卷积稀疏表示图像融合是在文献[ 5),将企业社会责任视为另一种形式的SR,为了实现整个图像的稀疏表示,而不是部分图像补丁。卷积稀疏表示算法克服了传统稀疏表示能力有限的缺点,保留细节和高灵敏度登记错误。我们相信,这也是有效的低频融合系数。特别是,CSR模型的应用是非常有效的融合低频系数通过MST。NSST分解后的低频系数获得代表图像的近似描述,还有大量的近似0,可稀疏表示图像的低频信息。基于上述考虑,CSR模型引入MST低频系数的融合。

 2.2。实现NSST-PAPCNN-CSR

图 3显示了图像融合的具体步骤。抢注的多通道融合源图像,和详细的融合方法包括四个步骤:NSST分解,高频系数融合,融合的低频系数,和NSST重建。

步骤1。NSST分解。

的l能级NSST A和B用于将源图像分解来获得他们的系数 H 一个 l , k , l 一个 和 H B l , k , l B 分别在哪里 H 一个 l , k 是图像的高频系数的分解订单吗 l 和分解方向 k 和 l 一个 是图像的低频系数图像a B, H B l , k 和 l B 有相同的意义。

步骤2。融合高频系数。

PAPCNN模型提出了部分 2.1.2应用于高频系数的融合 11]。基于部分的讨论 2.1.2,高频系数的绝对值图作为网络输入,即输入提要 F 我 j n = H 年代 l , k , 年代 ∈ 一个 , B 。高频系数的活动水平是衡量整个迭代总发射时间。根据公式(PAPCNN模型描述 1)- ( 5),触发时间积累通过添加以下步骤在每个迭代结束时:

 (11) T 我 j n = T 我 j n − 1 + Y 我 j n 。

每个神经元的激发时间 T 我 j n 和 N迭代的总数,对应于高频系数 H 一个 l , k 和 H B l , k 。PAPCNN时间可以计算并表示为 T 一个 , 我 j l , k n 和 T B , 我 j l , k n 。融合系数得到了以下方法:

 (12) H F l , k 我 , j = H 一个 l , k 我 , j , 如果 T 一个 , 我 j l , k N ≥ T B , 我 j l , k N , H B l , k 我 , j , 否则 。

上述公式表明,更多的发动机的系数是最后的高频融合系数。目标函数的最优值是通过调整隐式参数的大小 β ,以获得最佳的高频融合系数。

步骤3。低频融合系数。

低频系数的融合策略也有很大的影响在最后融合质量。卷积稀疏表示方法用于低频融合系数( 12]。假设有分解后的低频系数 k 源图像和设置 l k , k ∈ 1 , … , K 假设一组字典过滤器 d 米 , 米 ∈ 1 , … , 米 。的具体实现步骤低频系数融合基于CSR如图 3。

步骤4。NSST重建。

NSST-PAPCNN-CSR算法流程图。

最后,逆NSST重建进行融合 H F l , k , l F 获得融合图像 F。

 3所示。实验和分析 3.1。实验设置 3.1.1。源图像

来验证该算法的有效性,70对源图片被用于实验。从数据库中收集所有这些源图像整个脑图谱的哈佛医学院的 13)和癌症成像存档(TCIA) ( 14]。50对源图像数据库的整个大脑图集包括10双的CT和MR图像,10对t1 (MR-T1)和t2加权图像(MR-T2) 15双先生和宠物图片,和15双先生和SPECT图像。20对源图像的数据库TCIA包括10对CT图像先生和10对t1 (MR-T1)和t2加权(MR-T2)图像。所有的源图像具有相同的空间分辨率为256×256像素。在每对源图像准确地登记。

 3.1.2。客观评价指标

图像融合质量的评价分为主观视觉评价和客观指标评估。客观评价指标是选择相关指标衡量人类视觉系统对图像质量的影响感知。定量评价不同方法的性能,六接受目标融合评价指标选择的实验,即。,熵(EN) [ 15),边缘信息保留 问 AB / F )[ 16),互信息(MI)、平均梯度(AG)、空间频率(SF)和标准差(SD) [ 17]。熵特征信息的数量在源图像和融合图像;边缘信息保留特征传输的源图像中的边缘细节信息注入到融合图像;互信息是用来测量信息的融合图像包含在使用图像;平均梯度可以用来表示图像的清晰度,值越大,图像越清晰;空间频率反映了图像在空间域的整体活动,和它的大小正比于图像融合效果;标准差反映了像素值的离散程度和图像的中值,偏差越大,图像质量越好。一般来说,上述六个指标,更大的分数显示出更好的性能。

 3.1.3。方法比较

提出的融合方法相比,现有的五个代表性的方法:基于参数检测的多通道图像融合自适应脉冲耦合神经网络(NSST-PAPCNN)[应承担的 7),基于卷积稀疏表示的多通道图像融合(CSR) ( 5),基于多尺度变换的多通道图像融合和稀疏表示(MST-SR) [ 18),基于稀疏表示的多通道图像融合和脉冲耦合神经网络(SR-PCNN) [ 19),多通道图像融合基于non-subsampled contourlet变换和稀疏表示和脉冲耦合神经网络(NSCT-SR-PCNN) [ 10]。

 3.1.4。临床意义

医学图像融合的四种类型有不同的临床应用价值。例如,CT和MR图像的融合可以清楚地显示病变的位置图像和显著降低手术风险的可视化颅脑手术和放疗的副作用为颅脑损伤;先生和SPECT图像的融合可以确定癫痫病灶在大脑皮层的基于局部脑血流量的变化。因此,医学图像融合可以结合各种成像技术的优势,在疾病的诊断和治疗具有重要意义。

 3.2。比较与其他图像融合方法

在本节中,该方法与其他方法相比(NSST-PAPCNN-CSR)是对视觉质量和客观的评估。

3.2.1之上。源图像来自哈佛医学院的整个脑图谱

哈佛医学院的整个脑图谱是由约翰逊基斯和来自哈佛医学院。它包括大脑正常的样本、脑血管疾病、脑部肿瘤、退行性疾病和其他脑部疾病。相同的片相同的大脑是配备注册CT, MR或MR-T1 MR-T2或宠物,SPECT图像。每对源图像在这一节中使用了不同的成像方法相同的块(片厚度通常是3毫米和5毫米)在同一个大脑在同一角度。

在这个实验中,50对大脑选择融合源图像在不同的州,包括10对CT / MR图像,10双MR-T1 / MR-T2图片,15对先生/宠物图片,和15双MR-SPECT图像。我们将展示一些源图像的融合结果。融合图像数据所示 4- - - - - - 11,他们的客观质量评价指标表中列出 1。

CT医学图像融合结果先生。(一)CT原始图像。原始图像先生(b)。(c) NSST-PAPCNN。(d) CSR。MST-SR (e)。NSCT-SR-PCNN (f)。(g) SR-PCNN。(h)。

CT医学图像融合结果先生。(一)CT原始图像。原始图像先生(b)。(c) NSST-PAPCNN。(d) CSR。MST-SR (e)。NSCT-SR-PCNN (f)。(g) SR-PCNN。(h)。

MR-T1和MR-T2医学图像融合的结果。(一)MR-T1原始图像。(b) MR-T2原始图像。(c) NSST-PAPCNN。(d) CSR。MST-SR (e)。NSCT-SR-PCNN (f)。(g) SR-PCNN (h)。

MR-T1和MR-T2医学图像融合的结果。(一)MR-T1原始图像。(b) MR-T2原始图像。(c) NSST-PAPCNN。(d) CSR。MST-SR (e)。NSCT-SR-PCNN (f)。(g) SR-PCNN (h)。

先生和宠物医学图像融合的结果。(一)原始图像。(b)宠物原始图像。(c) NSST-PAPCNN。(d) CSR。MST-SR (e)。NSCT-SR-PCNN (f)。(g) SR-PCNN。(h)。

先生和宠物医学图像融合的结果。(一)原始图像。(b)宠物原始图像。(c) NSST-PAPCNN。(d) CSR。MST-SR (e)。NSCT-SR-PCNN (f)。(g) SR-PCNN。(h)。

先生和SPECT医学图像融合的结果。(一)原始图像。(b) SPECT原始图像。(c) NSST-PAPCNN。(d) CSR。MST-SR (e)。NSCT-SR-PCNN (f)。(g) SR-PCNN。(h)。

先生和SPECT医学图像融合的结果。(一)原始图像。(b) SPECT原始图像。(c) NSST-PAPCNN。(d) CSR。MST-SR (e)。NSCT-SR-PCNN (f)。(g) SR-PCNN。(h)。

客观评估不同的医学图像融合方法。

数据库 图片 指标 NSST-PAPCNN 企业社会责任 MST-SR NSCT-SR-PCNN SR-PCNN 提出了 RMSE(提议)
哈佛医学院的整个脑图谱 CT /先生 在 3.1249 (1) 2.9919 2.8641 3.0749 2.7759 3.0767 (2) 0.0262
问 AB / F 0.4587 0.4427 0.4325 0.4801 (2) 0.4408 0.4839 (1) 0.0304
心肌梗死 0.8093 0.8079 0.7779 0.8333 (2) 0.7396 0.8599 (1) 0.0156
科幻小说 27.8907 28.4779 (2) 27.6372 27.9712 27.4416 29.3626 (1) 0.6256
AG) 6.9390 7.1364 (2) 7.1117 6.9873 6.5669 7.1671 (1) 0.0392
SD 110.4631 110.6766 (2) 109.7036 109.4976 108.0036 111.0203 (1) 0.3939
MR-T1 / MR-T2 在 3.0751 3.0954 3.1193 3.1564 (2) 2.9382 3.2436 (1) 0.0593
问 AB / F 0.4223 0.4428 0.5345 (1) 0.4327 0.4241 0.4926 (2) 0.0587
心肌梗死 1.0879 1.0932 1.1119 1.1247 (2) 1.0830 1.1675 (1) 0.1132
科幻小说 26.8878 27.8143 (1) 27.4827 27.3243 22.6816 27.6630 (2) 0.7533
AG) 4.4525 4.9000 (2) 4.8198 4.7360 3.1408 4.9541 (1) 0.3882
SD 109.2559 109.3714 109.2907 109.0063 110.1740 (2) 111.4005 (1) 0.2773
先生/宠物 在 3.2575 3.1860 3.2732 (2) 3.1620 3.1728 3.3962 (1) 0.3524
问 AB / F 0.5213 0.5783 0.6148 (2) 0.5216 0.6125 0.6621 (1) 0.2436
心肌梗死 1.6716 (2) 1.6604 1.6708 1.5385 1.6688 1.7078 (1) 0.3849
科幻小说 27.0508 29.2171 31.8184 (1) 28.1990 29.5717 30.0488 (2) 0.0968
AG) 5.1704 6.3783 6.8126 (2) 5.8611 6.5209 7.8436 (1) 0.7054
SD 112.5116 112.5743 (2) 111.8941 110.2727 111.9179 114.7089 (1) 0.8578
先生/ SPECT 在 3.5580 3.5357 3.8857 (1) 3.6305 3.4818 3.6897 (2) 0.5361
问 AB / F 0.4561 0.5465 0.7211 (2) 0.5564 0.5521 0.7426 (1) 0.0389
心肌梗死 1.3484 1.3491 1.3511 1.3663 (2) 1.3658 1.4261 (1) 0.4157
科幻小说 23.9815 25.2731 27.7746 (1) 25.1314 24.6361 25.4938 (2) 0.3981
AG) 4.1747 4.7093 4.7542 4.8058 (2) 4.5293 4.9342 (1) 0.6432
SD 109.8246 (1) 108.6124 109.4126 109.3390 108.6478 109.5151 (2) 0.8745
癌症成像存档 CT /先生 在 2.3873 2.5588 (1) 2.4780 2.5250 2.4138 2.5412 (2) 0.0348
问 AB / F 0.2823 0.3242 0.3400 (2) 0.3022 0.3083 0.3461 (1) 0.0452
心肌梗死 0.4202 0.4998 0.5359 (2) 0.5328 0.5302 0.5680 (1) 0.0799
科幻小说 23.5399 27.1924 (1) 25.3864 24.4104 23.8955 25.5036 (2) 0.5346
AG) 5.5653 5.0692 5.5261 5.6596 (2) 5.5149 5.6693 (1) 0.0569
SD 101.6034 111.2382 (2) 103.4071 102.6671 103.8596 112.3046 (1) 0.4832
MR-T1 / MR-T2 在 3.0059 3.0495 3.0649 (2) 2.9463 2.9340 3.1736 (1) 0.6203
问 AB / F 0.3183 0.4462 0.4928 (2) 0.4385 0.4061 0.5103 (1) 0.1108
心肌梗死 0.8798 1.0100 1.1441 (1) 1.0069 0.9576 1.1064 (2) 0.7673
科幻小说 22.3876 26.9720 (2) 26.0597 26.9641 26.1218 27.4718 (1) 0.8564
AG) 3.4087 5.0089 (2) 4.9964 5.0070 5.0174 5.1650 (1) 0.1694
SD 106.2062 108.2755 107.4503 109.2019 (2) 108.0475 109.3821 (1) 0.8521

当源图像来自哈佛医学院的整个大脑图集,该方法执行比其他能源保存五对比方法,细节提取、保存和颜色,如图 4- - - - - - 11。表 1列出了四类不同的融合方法的客观评价医学图像融合问题。每个方法的平均分数中的每一个测试图像融合问题是报道。对于每一个指数,它的最大价值是用粗体和斜体表示,第二个最大的价值是强调。摘要RMSE(均方根误差)的各项指标的均值算法计算来验证数据的有效性的每个索引算法的均值。从表可以看出 1当源图像来自哈佛医学院的整个脑图谱的RMSE每个索引的算法不波动,具有强大的数据的有效性。众所周知从客观指标列在表中 1该算法有更好的性能在MI和SD指数比其他五对比算法。其中,MI高出8.6%和SD高出17.5%的平均五对比算法。NSST-PAPCNN-CSR并不总是最好的五个对比算法中每个评价指标,但它永远排不到前两名。

总的来说,各种源图像从哈佛医学院的整个脑图谱,NSST-PAPCNN-CSR算法不仅实现了更好的融合性能可视化在边缘锐度,强度变化和对比,但在目标融合指标也表现优异。

 3.2.2。源图像的癌症成像存档(TCIA)

癌症成像存档(TCIA)是一个开放的癌症研究医学图像数据库。通常是由常见疾病(如肺癌和脑癌)。图像形态学包括CT、MR,等等。它还提供了图像相关的支持数据,如脑片的数量和日期。每对源图像在这一节中使用了不同的成像方法相同的部分在同一个大脑在同一角度。

在这个实验中,因为TCIA几乎没有合适的PET和SPECT图像融合实验,对CT / MR和10对10 MR-T1 / MR-T2大脑融合源图像在不同的州被选中。我们将展示一些源图像的融合结果。融合图像数据所示 12- - - - - - 15,他们的客观质量评价指标表中列出 1。

CT医学图像融合结果先生。(一)CT原始图像。原始图像先生(b)。(c) NSST-PAPCNN。(d) CSR。MST-SR (e)。NSCT-SR-PCNN (f)。(g) SR-PCNN。(h)。

CT医学图像融合结果先生。(一)CT原始图像。原始图像先生(b)。(c) NSST-PAPCNN。(d) CSR。MST-SR (e)。NSCT-SR-PCNN (f)。(g) SR-PCNN。(h)。

MR-T1和MR-T2医学图像融合的结果。(一)MR-T1原始图像。(b) MR-T2原始图像。(c) NSST-PAPCNN。(d) CSR。MST-SR (e)。NSCT-SR-PCNN (f)。(g) SR-PCNN。(h)。

MR-T1和MR-T2医学图像融合的结果。(一)MR-T1原始图像。(b) MR-T2原始图像。(c) NSST-PAPCNN。(d) CSR。MST-SR (e)。NSCT-SR-PCNN (f)。(g) SR-PCNN。(h)。

当源图像来自癌症成像存档(TCIA),该方法性能优于其他五对比方法在能源保护和细节提取和颜色保存,如图 12- - - - - - 15。的客观评估不同的融合方法在医学图像融合两类表中列出的问题 1。每个方法的平均分数中的每一个测试图像融合问题是报道。摘要RMSE(均方根误差)的各项指标的均值算法计算来验证数据的有效性的每个索引算法的均值。从表可以看出 1当源图像来自癌症成像存档(TCIA),该算法的每个索引的RMSE波动不超过1,具有强大的数据的有效性。众所周知从客观指标列在表中 1该算法有更好的性能 问 AB / F 和AG)和SD指数比其他五对比算法。其中, 问 AB / F 高出17.9%,公司股价上涨8.8%,SD高出7.7%的平均五对比算法。NSST-PAPCNN-CSR并不总是最好的五个对比算法中每个评价指标,但它永远排不到前两名。

总之,各种源图像在整个脑图谱的哈佛医学院和癌症成像存档(TCIA) NSST-PAPCNN-CSR算法不仅实现了良好的融合效果视觉边缘锐度、强度变化和对比,但在目标融合指标也表现优异。

 4所示。结论

小说NSST领域提出了医学图像融合方法,主要有两个创新。首先,PAPCNN模型引入高频系数的融合。所有自由参数计算模型中自适应地根据输入的高频系数;此外,参数 β 被调整的最优值和同步点火特性PAPCNN模型协调更好。第二,回旋的稀疏表示应用于低频系数融合。它解决了稀疏表示存在的两个问题,即有限的细节保护能力和高灵敏度不匹配。因此,它能够更好的低频融合系数。70对多通道源图像和五种对比算法被用来进行实验。结果表明,该方法具有良好的性能的视觉感知和客观效果评估。NSST-PAPCNN-CSR算法仍有潜在的应用在multifocus图像融合,红外/可见光图像融合和其他图像融合问题。

 数据可用性

使用的数据来支持本研究的结果包括在本文中。

 的利益冲突

作者宣称没有利益冲突。

 首歌 B。 苗族 F。 张 Q。 研究多基于MSVD和MPCNN模型的医学图像融合算法 中国数字医学 2007年 14 2 9 12 辛格 年代。 古普塔 D。 阿南德 r S。 库马尔 V。 Nonsubsampled shearlet基于CT医学图像融合先生使用生物灵感不断飙升的神经网络 生物医学信号处理和控制 2015年 18 91年 101年 10.1016 / j.bspc.2014.11.009 2 - s2.0 - 84925657249 刘 Y。 陈 X。 病房 r·K。 王 z . J。 与卷积稀疏表示图像融合 IEEE信号处理信件 2016年 23 12 1882年 1886年 10.1109 / lsp.2016.2618776 2 - s2.0 - 85005999434 杨 B。 李 年代。 Multi-focus与稀疏表示图像融合和恢复 IEEE仪表和测量 2010年 59 4 884年 892年 刘 Y。 王 Z。 同时图像融合去噪和自适应稀疏表示 专业图像处理 2015年 9 5 347年 357年 10.1049 / iet-ipr.2014.0311 2 - s2.0 - 84928618797 陈 Y。 公园 研究。 马 D。 一个新的自动参数设置为图像分割;再利用的一个简化的方法 IEEE神经网络 2011年 22 6 880年 892年 明 Y。 刘 N。 刘 Y。 医疗与parameter-adaptive脉冲耦合神经网络图像融合nonsubsampled shearlet变换域 IEEE仪表和测量 2019年 68年 1 49 64年 斯- G。 Labate D。 Lim W.-Q。 使用离散shearlet变换稀疏定向形象表示 应用和计算谐波分析 2008年 25 1 25 46 10.1016 / j.acha.2007.09.003 2 - s2.0 - 44049100077 周 G。 高 C。 郭 C。 参数自适应简化相图像分割方法 《自动化学报》 2014年 40 6 1191年 1197年 陈 M。 夏 M。 陈 C。 基于稀疏表示的红外和可见光图像融合和NSCT-PCNN 电子光学与控制 2018年 25 6 1 6 香港 W。 王 B。 Lei Y。 红外和可见光图像融合技术基于non-subsampled shearlet变换和皮质飙升模型 红外物理与技术 2015年 71年 87年 98年 10.1016 / j.infrared.2015.02.008 2 - s2.0 - 84925426424 Wohlberg B。 高效的卷积稀疏表示算法 IEEE图像处理 2015年 25 1 301年 315年 整个脑图谱的哈佛医学院,2015年, http://www.med.harvard.edu/AANLIB/ 癌症成像存档(TCIA), https://www.cancerimagingarchive.net/ Wohlberg B。 高效的卷积稀疏表示算法 IEEE图像处理 2016年 25 1 301年 315年 10.1109 / tip.2015.2495260 2 - s2.0 - 85009373801 Piella G。 他 H。 一种新的图像融合质量指标 《IEEE会议出版物在图像处理 2003年8月 美国圣芭芭拉分校CA 173年 176年 徐 l 戴 Z。 李 F。 基于提升小波变换的医学图像融合算法和相 浙江科技大学学报(自然科学版) 2016年 35 6 891年 898年 刘 Y。 刘 年代。 王 Z。 一个通用的框架,基于多尺度变换的图像融合和稀疏表示 信息融合 2014年 14 陈 M。 夏 M。 陈 C。 周 G。 医学图像融合基于稀疏表示和神经网络 河南科技大学学报(自然科学) 2018年 39 2 40 47