文摘
提出了一种感性的医学图像融合框架基于形态成分分析结合卷积稀疏和脉冲耦合神经网络,叫做MCA-CS-PCNN。源图像首先被分解成卡通形态成分分析组件和结构组件,和卡通的卷积稀疏表示层和结构层是由prelearned字典。然后,卷积稀疏作为刺激激励相处理卡通层和结构层。最后,通过结合医学图像融合计算融合卡通层和结构层。实验结果验证该MCA-CS-PCNN模型优于最先进的融合策略。
1。介绍
在临床应用,医学图像包括解剖图像和功能图像。致密结构的解剖图像提供的信息(1),例如,x射线计算机断层扫描(CT)和磁共振成像(MRI)。功能图像反映血流量和血液活动的信息(2),例如,正电子发射断层(PET)和单光子发射CT (SPECT)。医学图像与单一形态不提供足够的信息在诊断疾病;医学图像融合(MIF)通过医学图像融合技术提供了一种有效的方法以不同形式进入全面MIF形象帮助放射科医生更好的诊断(3- - - - - -5]。
许多MIF算法解决了在过去的十年。这些方法包括基于多尺度分解——(MSD)的融合策略6- - - - - -10(),稀疏表示)- SR -基于融合策略11)和脉冲耦合神经网络——基于(相)的融合策略12,13]。追求满意的融合性能,试图使用基于MST相(14- - - - - -16]。相是一只猫视觉皮层生物激励神经网络,用于医学图像融合。黄等。17)综合non-subsampled contourlet变换(NSCT);再利用SPECT和CT图像融合。Non-subsampled shearlet变换(NSST)结合相融合医学图像(18]。然而,NSCT——或者NSST-based融合策略具有较高的计算复杂度由于适当的轮廓,这可能会限制融合性能。此外,标准化系数值是用来刺激相,这可能会导致在融合图像细节丢失和模糊效果。电生理实验证明复杂刺激的神经元表现猫的视觉皮层由稀疏编码(19- - - - - -21]。形态成分分析(MCA)已被广泛研究为有效的图像分解。结合MCA和SR可以获得图像的卡通和纹理组件的SR (22,23]。解决补丁编码产生的缺点,回旋的稀疏表示(CSR)已被证明是更有效的比稀疏表示在提取特征24]。实现对整个图像而不是当地的图像补丁。基于上述考虑,本文提出一种医学图像融合算法使用卷积稀疏刺激;再利用基于形态成分分析(MCA-CS-PCNN)。源图像首先被分解成卡通MCA组件和结构组件,和CSR的卡通层和结构层通过prelearned字典。然后,卷积稀疏被用来刺激相处理卡通层和结构层。MIF通过结合融合卡通图像计算层和结构层。我们测试的性能提出MCA-CS-PCNN融合方法,以及实验结果验证我们的融合策略的优势。
2。相关工作
2.1。卷积基于形态学的稀疏成分分析(CSMCA)
卷积稀疏是一个稀疏表示模型应用卷积形式(24),这是基于整个图像而不是重叠的补丁。企业社会责任的定义是 在哪里表示一个图像,和表示全球地图和字典稀疏系数滤波器,分别代表卷积算子,是正则化参数。
图像的形态成分分析被认为是一个线性组合不同的组件,它被定义为(23] 在哪里和分别表示卡通组件和结构组件。根据企业社会责任理论,模型基于形态学的卷积稀疏成分分析(CSMCA)表示为 在哪里和表示对应的字典和卷积稀疏系数 ,分别。和代表了词典和卷积稀疏系数对应 ,分别。图像计算和用
2.2。脉冲耦合神经网络
简化的图解图相图所示1。有三个模块简化相模型(12),其中包括树突,连接调制、脉冲发生器,在喂养和链接输入到树突,用 和 。 和 分别表示连接调制和脉冲发生器。用简化的相模型 在哪里 , 表示像素的位置, , 代表了在对称位错附近一个像素左右,和表示突触权重矩阵和外部刺激,分别和常量正常化,不同的重量将字段,表示连接参数。级阈值系数和衰减系数表示和 ,分别。
3所示。提出了MIF融合框架
3.1。MCA-CS-PCNN
的流程图如图MCA-CS-PCNN框架2。图片一个和B表示不同的源图像,分解成卡通组件 和结构组件 分别采用MCA。根据方程(1)- (4),卡通的CSR计算组件和结构组件 在哪里代表功能,部分中描述2。1,和表示卷积稀疏系数的地图 ,分别为,和表示卷积稀疏系数的地图 。
接下来,回旋的稀疏表示是用来刺激相因为复杂的刺激猫视觉皮层是基于稀疏编码。 和 是用来刺激相进行处理 和 ,分别。 在哪里表示相函数;点火时间矩阵 的 和 的 给出了根据方程(5)- (9),直到迭代数 ,在哪里表示最大迭代次数,然后迭代停止。
然后,融合系数卷积的稀疏系数映射在卡通组件计算
卷积的融合系数稀疏系数在纹理映射组件计算
融合图像的卡通组件和融合图像的纹理分量计算和用吗 在哪里和是字典。
最后,医学融合图像获取和表示
3.2。扩展基于MCA-CS-PCNN解剖和功能图像融合
拟议中的MCA-CS-PCNN扩展进行解剖和功能图像融合。考虑到功能图像伪色彩图像,YUV颜色空间变换表明可有效处理假色影像(10,16]。具体来说,功能与RGB图像首先变成了Y频道,U频道,V通道。然后,新Y通道是通过融合的产生Y基于MCA-CS-PCNN通道和灰度图像,和新YUV通过合并收购Y,U,V。最后,转换为YUV RGB,医学图像融合与颜色。流程图的解剖和功能图像融合策略基于MCA-CS-PCNN如图3。
4所示。实验
4.1。实验设置
测试和验证MCA-CS-PCNN融合算法的性能,十对医学图像具有相同大小为256×256像素用于进行实验,其中包括5对解剖图像和功能图像融合和五双解剖图像和解剖图像融合(数字4和5)。五个代表医学图像融合算法实验比较选择;他们是卷积稀疏表示(CSR) (24),NSCT-based修改频率和相空间(NSCT-MSF-PCNN) [14),引导滤波(人造石铺地面)25上),跨系数选择(二者)[26金字塔,稀疏表示基于拉普拉斯算子(LP-SR) [11]。客观质量评价对图像质量(很重要27- - - - - -31日]。现有的融合质量指标包括人类感知质量指标(32),功能互信息质量指标(33),空间频率质量指标(34),标准偏差质量指标(11),非线性关联信息熵度量(35),和互信息度量(36]。在上面的质量指标,值越高 , , , , ,和 ,融合性能越高。
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(我)
(j)
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(我)
(j)
4.2。实验结果分析
在解剖和解剖图像融合的例子,我们可以看到,骨或软组织的解剖信息融合图像中包含的六个算法;不过,融合图像之间的差异可以明显区分,如模糊焦点区域(数据6(一),6 (c),6 (d))、软组织区域丢失的信息(数据6 (b)和6 (e))。我们的方法比其他方法获得更好的性能。解剖和功能图像融合的例子表明,人造石铺地面,二者导致得到的融合图像颜色信息(数据的损失7(一),7 (c),7 (d)),和NSCT-MSF-PCNN LP-SR算法导致可怜的视觉效果,例如,解剖图像的细节丢失(数字7 (b)和7 (e))。从比较,我们的算法演示了比现有算法的优势。
(一)
(b)
(c)
(d)
(e)
(f)
(一)
(b)
(c)
(d)
(e)
(f)
表1和2给的客观评价结果提出MCA-CS-PCNN融合算法和五个融合方法通过使用目标融合质量指标。我们最好的结果采用黑体在每一行。表1显示了一个客观评价的融合图像对解剖图像和功能形象。我们值仅略低于LP-SR第二条图的图像4。我们的方法达到了显著的优势。从表2,它可以看到值仅略低于人造石铺地面在第二条图的图像5和的值和在我们的算法演示的优势。
5。结论
提出了一种感性的医学图像融合框架基于形态成分分析结合卷积稀疏和脉冲耦合神经网络,叫做MCA-CS-PCNN。它基本上是基于视觉系统特性,猫视觉皮层可以产生复杂的刺激,和神经元表示复杂的刺激可以利用稀疏编码来表示。为此,我们首先源图像分解成卡通形态成分分析组件和结构组件,和卡通的卷积稀疏表示层和结构层通过prelearned字典。然后,卷积稀疏被用来刺激相处理卡通层和结构层。最后,通过结合医学图像融合计算融合卡通层和结构层。实验结果验证该模型可以产生高绩效,这是优于最先进的融合策略。
数据可用性
使用的数据来支持本研究的发现可以从下载http://www.med.harvard.edu/AANLIB/home.html。
的利益冲突
作者宣称没有利益冲突。
确认
这项工作是由中国国家自然科学基金(没有。82001912),项目由中国博士后科学基金会(2018 m642325),和徐周科技项目,中国(KC19146)。