PDF
研究文章|开放获取
郭敬明,凌易,棕褐色, ”多模态医学图像融合的研究基于Parameter-Adaptive脉冲耦合神经网络和卷积稀疏表示”,计算和数学方法在医学, 卷。2020年, 文章的ID3290136, 13 页面, 2020年。 https://doi.org/10.1155/2020/3290136
多模态医学图像融合的研究基于Parameter-Adaptive脉冲耦合神经网络和卷积稀疏表示
文摘
医学图像的视觉效果有很大的影响临床辅助诊断。目前,医学图像融合已经成为临床应用的一个强有力的手段。传统的医学图像融合方法融合结果差的问题,由于缺乏详细的特征信息融合。处理,本文提出了一种新的多模态医学图像融合方法基于医学图像的成像特点。在该方法中,non-subsampled shearlet变换(NSST)分解是在源图像上执行第一名获得高频和低频系数。高频系数融合,一个参数的自适应脉冲耦合神经网络(PAPCNN)模型。该方法是基于参数自适应和优化的连接强度采用促进性能。低频系数合并的卷积的稀疏表示模型(CSR)。实验结果表明,该方法可以解决困难问题的参数设置和可怜的细节保护稀疏表示;再利用在传统图像融合算法,它有显著的优势相比,视觉效果和客观指标与现有主流融合算法。
1。介绍
图像捕获机制的多样性使得不同模式的医学图像,以反映不同的器官和组织的信息类别。例如,计算机断层扫描(CT)是对血管和骨骼非常敏感,因此其成像更清晰。磁共振成像(MRI)图像提供更丰富的软组织的信息但缺乏边界信息和模糊的骨骼成像(1]。发射计算机断层扫描(ECT),其中包括正电子发射断层扫描(PET)和单光子发射计算机断层扫描(SPECT),获取投影数据和断层图象重构与高灵敏度但低分辨率。进行像素级医学图像融合技术的目的是获得更有用、准确的医学信息为同一目标结合多模态医学图像的互补信息通过合成图像。
近年来,医学图像融合算法大大发展。然而,大多数医学图像融合方法采用多尺度变换(MST)的框架来实现更好的结果。图像变换方法和高频系数和低频系数的融合战略的两个关键问题是MST-based融合方法。大量的研究表明,MST-based融合方法的性能可以显著改善通过选择合适的图像变换方法和设计有效的融合策略。辛格et al。2]提出增加脉冲耦合神经网络(相)应承担NSST框架下的融合规则有效地提取梯度特性和保留图像的边缘和细节信息来源,但许多相的参数设置也一个重大的挑战。刘等人。3提出了卷积稀疏表示算法,妥善解决这两个问题产生的稀疏表示的图像融合,即。能力有限,保留细节和高灵敏度登记错误(4,5),完成了图像融合实现整个图像的稀疏表示。陈等人。6)提出了一个基于一个简化的图像分割方法相模型(SPCNN)。这个模型可以自动设置PCNN-free大小的参数来实现更高的分割精度。明等。7)提高了SPCNN模型,获得了一种改进的参数自适应相模型(PAPCNN)和应用到图像融合。实验表明,PAPCNN模型具有更快的收敛速度和更好的效果,当应用于图像融合实验。
针对存在的问题在当前;再利用和NSST方法,NSST-PAPCNN-CSR算法结合NSST, CSR和PAPCNN模型提出了。本文的创新概述如下:(1)我们采用参数自适应相(PAPCNN)保险丝;再利用高频系数的参数自适应地计算基于输入乐队,可以克服的困难设置自由参数的传统相模型。此外,我们提出一种改进的隐式参数PAPCNN,同步点火特性PAPCNN模型协调达到更好的融合效果。(2)我们介绍了卷积的稀疏表示(CSR)模型到低频系数的融合。CSR模型克服了稀疏表示的两个关键问题出现在图像融合,即。能力有限,保留细节和高灵敏度登记错误。此外,CSR有望解决稀疏问题的低频系数NSST域。
本文的其余部分组织如下。节2、材料和方法用于本文简要介绍。部分3给出了实验和分析。最后,本文的结论部分4。
2。材料和方法
2.1。相关材料
2.1.1。Non-Subsampled Shearlet变换(NSST)
通过non-subsampled NSST分解源图像金字塔滤波器(NSPF)和移不变的剪切滤波器组(SFB)。NSPF可以保证shift-invariance和抑制pseudo-Gibbs现象,及定向定位所能达到的水平。图1是一个NSST分解的示意图。NSST被认为是一个非常可靠的图像融合方法具有良好的局部时域特性,multidirectionality、平移不变性。它可以有效地提取源图像的边缘和细节信息(2,8]。在此帐户,NSST被选为MST的图像融合方法。
2.1.2。Parameter-Adaptive脉冲耦合神经网络(PAPCNN)和改进的参数
传统的相模型的关键挑战是如何释放连接强度等参数,不同振幅、衰减系数。为了避免手动设置自由参数的困难,在这篇文章中,一个parameter-adaptive相(PAPCNN)模型(7)提出了融合NSST分解得到的高频系数。
PAPCNN模型描述如下:
PAPCNN模型上面提到的,和代表神经元的输入和连接位置的迭代n,分别。图2显示了PAPCNN模型的结构。
PAPCNN模型中有五个参数:衰减系数的动态阈值 ,连接强度 ,振幅连接输入的衰减系数的内部活动 ,和振幅的动态阈值 。此外,它可以观察到从(1)(5),或只有作为的重量 ,这样他们就可以被视为一个整体在PAPCNN模型中。假设代表了加权连接强度,我们分析参数的值根据文献[6)和假设不影响最终的实验结果;因此,有四个参数: , , ,和 。
在这篇文章中,我们已经调整了参数 ,即。,连接强度between neurons. Because the value of是固定的,更大的价值越大,神经元受到相邻的神经元和更强烈的波动内部活动 。一般来说,更大的价值往往会导致光线暗神经元点燃;相反,价值越小可以减少捕获邻近神经元的能力。协调同步点火PAPCNN模型的特点,介绍了一种优化方法搜索的价值(9]: 在哪里和权重系数,设置为1,表示一组相邻神经元和一般计算 在哪里和分别显示对应的平均值未燃烧的点火区域,见以下方程: 在哪里 和 。它可以看到从方程(6), ,作为一个隐式参数,改变目标函数的最优值。它调节内部点火的活动邻近的神经元,之后,通过与阈值进行比较 ,邻近的神经元分为两类:和 。为此,其相应的灰度值信息和均值的离散程度方程(8)被认为是确定最优连接系数 。为了便于计算,增加步长搜索方法被采用。
2.1.3。卷积的稀疏表示(CSR)
卷积的稀疏表示是一种卷积的稀疏表示,也就是说,滤波器的卷积和词典和特征反应是用来代替冗余字典和稀疏系数的乘积,因此图像稀疏编码的单位”。“卷积的稀疏表示模型可以表示为 在哪里代表了m维卷积字典;代表卷积运算的象征;代表特征反应;表示源图像;乘数的交替方向方法(小组admm)是一个双凸优化算法,可以解决分离结构的凸规划问题,解决时而几个子问题。在[10),考虑到小组ADMM算法可能有魅力地解决基础问题的追求去噪(BPDN),傅里叶域中小组ADMM算法解决解决问题的卷积稀疏模型。其中,字典学习被定义为的优化问题
第一个应用程序描述的卷积稀疏表示图像融合是在文献[5),将企业社会责任视为另一种形式的SR,为了实现整个图像的稀疏表示,而不是部分图像补丁。卷积稀疏表示算法克服了传统稀疏表示能力有限的缺点,保留细节和高灵敏度登记错误。我们相信,这也是有效的低频融合系数。特别是,CSR模型的应用是非常有效的融合低频系数通过MST。NSST分解后的低频系数获得代表图像的近似描述,还有大量的近似0,可稀疏表示图像的低频信息。基于上述考虑,CSR模型引入MST低频系数的融合。
2.2。实现NSST-PAPCNN-CSR
图3显示了图像融合的具体步骤。抢注的多通道融合源图像,和详细的融合方法包括四个步骤:NSST分解,高频系数融合,融合的低频系数,和NSST重建。
步骤1。NSST分解。的l能级NSST A和B用于将源图像分解来获得他们的系数 和 ,分别在哪里是图像的高频系数的分解订单吗和分解方向和是图像的低频系数图像a B,和有相同的意义。步骤2。融合高频系数。PAPCNN模型提出了部分2.1.2应用于高频系数的融合11]。基于部分的讨论2.1.2,高频系数的绝对值图作为网络输入,即输入提要 。高频系数的活动水平是衡量整个迭代总发射时间。根据公式(PAPCNN模型描述1)- (5),触发时间积累通过添加以下步骤在每个迭代结束时: 每个神经元的激发时间和N迭代的总数,对应于高频系数和 。PAPCNN时间可以计算并表示为和 。融合系数得到了以下方法: 上述公式表明,更多的发动机的系数是最后的高频融合系数。目标函数的最优值是通过调整隐式参数的大小 ,获得最优的高频融合系数。步骤3。低频融合系数。低频系数的融合策略也有很大的影响在最后融合质量。卷积稀疏表示方法用于低频融合系数(12]。假设有分解后的低频系数源图像和设置 , 假设一组字典过滤器 , 。的具体实现步骤低频系数融合基于CSR如图3。步骤4。NSST重建。
最后,逆NSST重建进行融合 获得融合图像F。
3所示。实验和分析
3.1。实验设置
3.1.1。源图像
来验证该算法的有效性,70对源图片被用于实验。从数据库中收集所有这些源图像整个脑图谱的哈佛医学院的13)和癌症成像存档(TCIA) (14]。50对源图像数据库的整个大脑图集包括10双的CT和MR图像,10对t1 (MR-T1)和t2加权图像(MR-T2) 15双先生和宠物图片,和15双先生和SPECT图像。20对源图像的数据库TCIA包括10对CT图像先生和10对t1 (MR-T1)和t2加权(MR-T2)图像。所有的源图像具有相同的空间分辨率为256×256像素。在每对源图像准确地登记。
3.1.2。客观评价指标
图像融合质量的评价分为主观视觉评价和客观指标评估。客观评价指标是选择相关指标衡量人类视觉系统对图像质量的影响感知。定量评价不同方法的性能,六接受目标融合评价指标选择的实验,即。,熵(EN) [15),边缘信息保留 )(16),互信息(MI)、平均梯度(AG)、空间频率(SF)和标准差(SD) [17]。熵特征信息的数量在源图像和融合图像;边缘信息保留特征传输的源图像中的边缘细节信息注入到融合图像;互信息是用来测量信息的融合图像包含在使用图像;平均梯度可以用来表示图像的清晰度,值越大,图像越清晰;空间频率反映了图像在空间域的整体活动,和它的大小正比于图像融合效果;标准差反映了像素值的离散程度和图像的中值,偏差越大,图像质量越好。一般来说,上述六个指标,更大的分数显示出更好的性能。
3.1.3。方法比较
提出的融合方法相比,现有的五个代表性的方法:基于参数检测的多通道图像融合自适应脉冲耦合神经网络(NSST-PAPCNN)[应承担的7),基于卷积稀疏表示的多通道图像融合(CSR) (5),基于多尺度变换的多通道图像融合和稀疏表示(MST-SR) [18),基于稀疏表示的多通道图像融合和脉冲耦合神经网络(SR-PCNN) [19),多通道图像融合基于non-subsampled contourlet变换和稀疏表示和脉冲耦合神经网络(NSCT-SR-PCNN) [10]。
3.1.4。临床意义
医学图像融合的四种类型有不同的临床应用价值。例如,CT和MR图像的融合可以清楚地显示病变的位置图像和显著降低手术风险的可视化颅脑手术和放疗的副作用为颅脑损伤;先生和SPECT图像的融合可以确定癫痫病灶在大脑皮层的基于局部脑血流量的变化。因此,医学图像融合可以结合各种成像技术的优势,在疾病的诊断和治疗具有重要意义。
3.2。比较与其他图像融合方法
在本节中,该方法与其他方法相比(NSST-PAPCNN-CSR)是对视觉质量和客观的评估。
3.2.1之上。源图像来自哈佛医学院的整个脑图谱
哈佛医学院的整个脑图谱是由约翰逊基斯和来自哈佛医学院。它包括大脑正常的样本、脑血管疾病、脑部肿瘤、退行性疾病和其他脑部疾病。相同的片相同的大脑是配备注册CT, MR或MR-T1 MR-T2或宠物,SPECT图像。每对源图像在这一节中使用了不同的成像方法相同的块(片厚度通常是3毫米和5毫米)在同一个大脑在同一角度。
在这个实验中,50对大脑选择融合源图像在不同的州,包括10对CT / MR图像,10双MR-T1 / MR-T2图片,15对先生/宠物图片,和15双MR-SPECT图像。我们将展示一些源图像的融合结果。融合图像数据所示4- - - - - -11,他们的客观质量评价指标表中列出1。
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
当源图像来自哈佛医学院的整个大脑图集,该方法执行比其他能源保存五对比方法,细节提取、保存和颜色,如图4- - - - - -11。表1列出了四类不同的融合方法的客观评价医学图像融合问题。每个方法的平均分数中的每一个测试图像融合问题是报道。对于每一个指数,它的最大价值是用粗体和斜体表示,第二个最大的价值是强调。摘要RMSE(均方根误差)的各项指标的均值算法计算来验证数据的有效性的每个索引算法的均值。从表可以看出1当源图像来自哈佛医学院的整个脑图谱的RMSE每个索引的算法不波动,具有强大的数据的有效性。众所周知从客观指标列在表中1该算法有更好的性能在MI和SD指数比其他五对比算法。其中,MI高出8.6%和SD高出17.5%的平均五对比算法。NSST-PAPCNN-CSR并不总是最好的五个对比算法中每个评价指标,但它永远排不到前两名。
总的来说,各种源图像从哈佛医学院的整个脑图谱,NSST-PAPCNN-CSR算法不仅实现了更好的融合性能可视化在边缘锐度,强度变化和对比,但在目标融合指标也表现优异。
3.2.2。源图像的癌症成像存档(TCIA)
癌症成像存档(TCIA)是一个开放的癌症研究医学图像数据库。通常是由常见疾病(如肺癌和脑癌)。图像形态学包括CT、MR,等等。它还提供了图像相关的支持数据,如脑片的数量和日期。每对源图像在这一节中使用了不同的成像方法相同的部分在同一个大脑在同一角度。
在这个实验中,因为TCIA几乎没有合适的PET和SPECT图像融合实验,对CT / MR和10对10 MR-T1 / MR-T2大脑融合源图像在不同的州被选中。我们将展示一些源图像的融合结果。融合图像数据所示12- - - - - -15,他们的客观质量评价指标表中列出1。
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
当源图像来自癌症成像存档(TCIA),该方法性能优于其他五对比方法在能源保护和细节提取和颜色保存,如图12- - - - - -15。的客观评估不同的融合方法在医学图像融合两类表中列出的问题1。每个方法的平均分数中的每一个测试图像融合问题是报道。摘要RMSE(均方根误差)的各项指标的均值算法计算来验证数据的有效性的每个索引算法的均值。从表可以看出1当源图像来自癌症成像存档(TCIA),该算法的每个索引的RMSE波动不超过1,具有强大的数据的有效性。众所周知从客观指标列在表中1该算法有更好的性能和AG)和SD指数比其他五对比算法。其中,高出17.9%,公司股价上涨8.8%,SD高出7.7%的平均五对比算法。NSST-PAPCNN-CSR并不总是最好的五个对比算法中每个评价指标,但它永远排不到前两名。
总之,各种源图像在整个脑图谱的哈佛医学院和癌症成像存档(TCIA) NSST-PAPCNN-CSR算法不仅实现了良好的融合效果视觉边缘锐度、强度变化和对比,但在目标融合指标也表现优异。
4所示。结论
小说NSST领域提出了医学图像融合方法,主要有两个创新。首先,PAPCNN模型引入高频系数的融合。所有自由参数计算模型中自适应地根据输入的高频系数;此外,参数被调整的最优值和同步点火特性PAPCNN模型协调更好。第二,回旋的稀疏表示应用于低频系数融合。它解决了稀疏表示存在的两个问题,即有限的细节保护能力和高灵敏度不匹配。因此,它能够更好的低频融合系数。70对多通道源图像和五种对比算法被用来进行实验。结果表明,该方法具有良好的性能的视觉感知和客观效果评估。NSST-PAPCNN-CSR算法仍有潜在的应用在multifocus图像融合,红外/可见光图像融合和其他图像融合问题。
数据可用性
使用的数据来支持本研究的结果包括在本文中。
的利益冲突
作者宣称没有利益冲突。
引用
- b的歌,f .苗族,张问:“研究多基于MSVD和MPCNN模型的医学图像融合算法,”中国数字医学,14卷,不。2、9 - 12,2007页。视图:谷歌学术搜索
- 辛格,d·古普塔r . s . Anand Kumar诉,“Nonsubsampled shearlet基于CT医学图像融合先生使用生物强化神经网络的启发,“生物医学信号处理和控制18卷,第101 - 91页,2015年。视图:出版商的网站|谷歌学术搜索
- 陈x y . Liu, r·k·沃德,和z . j . Wang”与卷积稀疏表示图像融合,”IEEE信号处理信件,23卷,不。12日,第1886 - 1882页,2016年。视图:出版商的网站|谷歌学术搜索
- b·杨和李,“Multi-focus与稀疏表示图像融合和恢复,”IEEE仪表和测量卷,59号4、884 - 892年,2010页。视图:谷歌学术搜索
- 刘y和z王”,同时图像融合去噪和自适应稀疏表示,“专业图像处理,9卷,不。5,347 - 357年,2015页。视图:出版商的网站|谷歌学术搜索
- 陈y,研究。公园,和d·马”,一个新的自动参数设置为图像分割;再利用的一个简化方法,”IEEE神经网络,22卷,不。6,880 - 892年,2011页。视图:谷歌学术搜索
- y明:刘,刘y“医疗与parameter-adaptive脉冲耦合神经网络图像融合nonsubsampled shearlet变换域,“IEEE仪表和测量,卷68,不。1,49 - 64年,2019页。视图:谷歌学术搜索
- g . - d Labate, W.-Q。Lim:“稀疏的定向使用离散shearlet变换图像表示,“应用和计算谐波分析,25卷,不。1,25-46,2008页。视图:出版商的网站|谷歌学术搜索
- g .周高c, c .郭”;再利用参数自适应简化图像分割方法,”《自动化学报》,40卷,不。6,1191 - 1197年,2014页。视图:谷歌学术搜索
- m . m . Chen夏和c·陈,“红外和可见光图像融合基于稀疏表示和NSCT-PCNN,”电子光学与控制,25卷,不。6、1 - 6,2018页。视图:谷歌学术搜索
- w .香港、b . Wang和y Lei“红外和可见光图像融合技术基于non-subsampled shearlet变换和皮质飙升模型,”红外物理与技术卷,71年,第98 - 87页,2015年。视图:出版商的网站|谷歌学术搜索
- b . Wohlberg高效算法为卷积稀疏表示,“IEEE图像处理,25卷,不。1,第315 - 301页,2015。视图:谷歌学术搜索
- 整个脑图谱的哈佛医学院,2015年,http://www.med.harvard.edu/AANLIB/。
- 癌症成像存档(TCIA),https://www.cancerimagingarchive.net/。
- b . Wohlberg高效算法为卷积稀疏表示,“IEEE图像处理,25卷,不。1,第315 - 301页,2016。视图:出版商的网站|谷歌学术搜索
- g . Piella和h .他《IEEE会议出版物在图像处理圣芭芭拉分校,页173 - 176年,CA,美国,2003年8月。
- l .徐z戴,f·李,“基于提升小波变换的医学图像融合算法和相,“浙江科技大学学报(自然科学版),35卷,不。6,891 - 898年,2016页。视图:谷歌学术搜索
- y刘,刘,和z王”的总体框架基于多尺度变换的图像融合和稀疏表示,“信息融合,14卷,2014年。视图:谷歌学术搜索
- m . m . Chen夏、陈c和g .周”医学基于稀疏表示的图像融合和神经网络”河南科技大学学报(自然科学),39卷,不。2,40-47,2018页。视图:谷歌学术搜索
版权
版权©2020年夏郭敬明等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。
