文摘

磁共振(MR)图像经常受到随机噪声污染图像采集和传输过程中,会损害疾病诊断的医生或自动化系统。近年来,许多噪声去除算法提出了令人印象深刻的表演。在这个工作中,受深度学习的想法,我们提出一种去噪方法命名为3 d-parallel-riciannet,将结合去除噪声,图像的局部和全局信息。具体来说,我们引入一个强大的扩张卷积残余(DCR)模块扩展网络的接受域,避免全球的损失特性。然后,提取更多的本地信息,降低了计算复杂度,我们设计切除分离卷积残余(DSCR)模块学习频道和图像中的位置信息,这不仅降低了参数显著但也提高了当地的去噪性能。此外,一个平行的网络是由融合的特性提取每个DCR模块和DSCR模块来提高效率和减少训练去噪模型的复杂性。最后,重建(REC)模块旨在构建清廉形象通过获得噪声偏差和给定的嘈杂的图像。由于缺少真实图像在现实数据集,提出了模型的性能测试定性和定量模拟先生t1加权图像数据集,然后扩展到四个真实数据集。实验结果表明,该3 d-parallel-riciannet网络实现了几种先进的方法的性能优于峰值信噪比、结构相似性指数和熵度量。特别是,我们的方法展示了强大的保护能力在噪声抑制和结构。

1。介绍

医学图像信息在疾病诊断中发挥着日益重要的作用。然而,在图像采集过程中,由于患者或员工的不当行为,强随机噪声将不可避免地产生。这噪声不仅会降低图像的分辨率,也影响临床医生诊断的精度(1,2]。

目前流行的磁共振(MR)成像技术是常用的医学成像技术可视化人体组织和器官。它不构成任何辐射危害,与CT成像(3),它实现了多方向、多参数和high-contrast-resolution图像没有骨头的构件。然而,随机噪声会影响临床诊断检查质量,以及图像处理和分析图像分割等任务,注册,和可视化。因此,图像去噪先生的解决问题是至关重要的。

图像去噪的目的就是去除背景噪声,保留有价值的信息4]。许多传统过滤技术是常用的,如维纳滤波(5),双边滤波(6),和全变差过滤(7]。范和杨提出了一个基于氡变形的多尺度小波去噪方法降噪图像先生(8]。Phophalia等人减轻问题的医学图像去噪,利用粗糙集理论(RST) [9]。Awate和惠特克设计了一个贝叶斯去噪方法验证它并通过MR弥散图像(10]。Satheesh先生等人开发了一个使用contourlet变换图像去噪算法,它比小波变换实现更高的峰值信噪比(11]。张等人使用一种改进的奇异值分解降噪方法模拟和真实的3 d图像。实验结果表明,他们的方法优于现有的去噪方法12]。Leal等人提出了一种基于稀疏表示的方法和奇异值分解(圣)先生非局部去噪图像。这种方法可以防止模糊、工件和残余噪声(13]。此外,通过扩展本地区域外地计划,外地意味着(NLM)策略是用于图像去噪先生(14- - - - - -16]。Gautam先生等人提出了一种新的去噪技术图像基于先进NLM方法non-subsampled shearlet变换(NSST) [17]。Kanoun等人提出了一个提高NLM过滤器使用Kolmogorov-Smirnov (KS)的距离。实验结果提供了优秀的降噪和图像细节保护(18]。

近年来,深度学习的爆炸性发展提出了新的图像去噪方法。它可以使用多个卷积过滤器自动提取功能,接受大字段,来重建高分辨率图像。在[19),作者使用了self-encoder训练不同分辨率的图像特征来实现自适应去噪。张等人利用去噪卷积神经网络(DnCNNs)高斯噪声消除,取得了优秀的性能通过使用剩余的学习策略20.]。Cherukuri等人应用深入学习网络之前,利用了图像来重建高分辨率图像的空间结构21]。Manj n先生等人提出了一种新颖的自动图像去噪方法结合卷积神经网络(CNN)与传统滤波器(22]。

深上优于大地区的去噪方法可以掌握更丰富的上下文信息来提高性能。很深的架构,它可以扩大网络的接受域捕获更多的全球大型图像区域的上下文信息。刘等人利用多尺度融合卷积网络(MFCN)进行超分辨率重建的图像(23]。范教授等人与残余深度三维CNN模型使用学习重建图像(先生24]。他们的模型利用了很深的体系结构有一个很大的接受域获得一个强大的学习能力。江等人描述了一种多通道去噪卷积神经网络(MCDnCNN)直接学会了去噪的过程,进行了实验仿真和实际数据(先生25]。在[26),跑等人提出了一个残余encoder-decoder瓦瑟斯坦先生的网络生成对策(RED-WGAN)图像去噪。香港等人设计了一个空间注意机制来获取图像先生感兴趣的领域,利用多层次的结构,提高了网络的表达能力27]。特里帕西和包先生提出了一个新颖的CNN对图像去噪。该模型由多个旋转拍摄不同的图像特征而分离固有噪声(28]。李等人设计了一个进步的网络学习策略通过拟合进行像素级的分布和特性强度。他们的实验结果证明了该网络的巨大潜力(29日]。Gregory等人创造了HydraNet multibranch深层神经网络架构,学会了降噪图像先生在大量的噪声水平,并证明了网络去噪的优越性复杂噪声分布相比,一些基于深度学习方法(30.]。Aetesam和先生提出了一个神经框架图像去噪中,使用一个ensemble-based剩余的学习策略。度量价值高和高质量的视觉结果合成和真实的噪声数据集(31日]。

在上述报道深度学习去噪任务,网络的深度和宽度通常是增加捕捉更多的上下文信息。然而,这些方法引入了大量的参数,这使得很难训练去噪模型。一些的方法学会了Rician卷积噪声分布完全由叠加层,这很容易被忽视的本地信息,导致在一些关键的局部解剖位置不满意的去噪结果。

解决上述缺点,这项工作提出了一种新颖的网络称为3 d-parallel-riciannet用于删除先生的噪声图像。首先,扩大接受域没有引入更多的参数,我们设计一个扩张卷积残余(DCR)模块,并使用它来构建一个子网(DCRNet)可以通过级联全球信息提取。然后切除分离卷积残余(DSCR)模块设计和用于构造一个子网(DSCRNet)提取本地信息。最后,每个模块的功能DCRNet DSCRNet合并和级联获得全面形象表象和噪声偏差之间的映射。

这项工作的主要贡献总结如下:(1)DCRNet扩大接受域通过级联DCR模块提取丰富的上下文信息,捕捉真实的Rician分布在全球区域(2)DSCRNet使用DSCR模块集中在当地的形象,有效地消除了局部解剖噪音。每个DSCR模块的子网是添加到输出相应的DCRNet每个DCR模块的一部分(3)3 d-parallel-riciannet使用剩余的学习机制来防止消失和梯度爆炸问题

这项工作的其余部分组织如下。节2,我们将描述该去噪网络和损失函数。然后,在第三节,我们的实验测试方法在合成和真实,嘈杂的数据。此外,比较我们的方法与先进的算法。最后,在第四节,我们将讨论我们的结论,给未来的发展方向。

2。材料和方法

2.1。降噪模型

级先生形象是被独立的高斯分布噪声图像的实部和虚部(32- - - - - -34]。先前的研究表明,噪声的概率分布,图像像素强度可以表示成一个Rician分布(35,36]。深度学习可以忽略这个过程腐败的物理过程和模型的学习样本(26]。因此,先生的图像退化模型可以描述为噪声 在哪里 先生是嘈杂的图像, 是无噪声的图像, 之间的偏差 和 受Rician分布的影响。根据方程(1), 可以表示为 ,这是用来训练残余映射 ,我们可以获得 。图1表明,概率密度分布(PDF)的噪声图像先生在全球和本地地区不同。从左上角可以看到图像的噪声降低了质量,图像和模糊了一些组织结构的边界,从而导致增加困难识别图像的细节。刘等人指出pdf Rician噪声不同空间不同的解剖区域的大脑图像先生(37]。因此,图像表象之间的非线性映射和Rician分布在全球和本地地区不同。根据这个结论,我们提出三先生d-parallel-riciannet图像去噪模型,并结合全球和地方对全球区域和地方区域特征信息。


图1
pdf好子窗口的大小不同。每个竖线的高度的比例相应的像素值。安装的线表示像素分布。上面一行从左到右:3 d t1加权图像先生以7% Rician噪音,一个1/2-voxel t1加权图像,先生先生1/4-voxel t1形象,1/8-voxel先生t1加权图像。底下一行pdf文档对应的像素点的强度。如图所示,红色区域内的PDF(1/2像素点)往往是相似的整个图像。然而,pdf文档在小地方绿色区域(1/4像素点)和当地的蓝色区域(1/8像素点)不同于那些在全球地区。
2.2。及全球功能模块表示

众所周知,上下文信息是重要的重建损坏的像素的图像去噪。具体地说,它是一种常见的方式来捕获更多的全局上下文信息通过扩大接受域(38]。在报道深度学习去噪的任务,增加的深度和宽度深度网络可以扩大接受域。然而,width-adding方法可能产生更多的参数,从而导致网络的过度拟合。depth-adding方法可能导致梯度消失时的深度网络是巨大的。

要解决这些问题,扩张已经开发的卷积(39]。卷积的膨胀率可以控制内核获得接受领域的不同尺寸,如图2。接受域的大小, ,表示为 在哪里 过滤器的大小, 是扩张速度, 是图像的维度(2或3)。卷积的接受域操作可以通过设置不同的扩展 。这将创建一个权衡增加cnn的深度和宽度。在[40彭),提出扩张与对称跳过剩余网络连接(DSNet)。实验证明,该模型更可行的图像去噪的任务,尤其是对高斯噪声。张等人提出了一个dual-domain多尺度CNN (DMCNN) JPEG构件基于卷积扩张。这也证明了扩张卷积恢复图像质量有优势(41]。

(一)
(一)
(b)
(b)
(c)
(c)
图2
扩张卷积。(一)接受域卷积核的大小 像素,它涵盖了 通过卷积操作次区域的形象。(b)的接受域卷积内核的 2。(c)的接受域卷积内核的 3。

在这项研究中,我们构建的DCR模块作为一个组件3 d-parallel-riciannet。它利用全球扩张的卷积来提取特性,如图3。DCR模块由扩张卷积、残余学习,批量标准化(BN),和漏水的解决线性单元(LeakReLU)。剩余的学习从根本上打破了对称的网络,从而提高网络的能力表示。通过设置BN层,提高网络的泛化能力。由于使用ReLU激活函数梯度消失的问题,我们使用LeakReLU作为网络的激活函数。输入和输出的两级扩张卷积简要连接构造及模块。


图3
的结构及模块。
2.3。DSCR模块为当地特性表示

是非常重要的恢复当地的细节图像去噪。当一些地方特色不提取,当地的去噪效果会退化。最近,切除分离卷积(DSConv)已经被用在许多先进的神经网络,如Xception [42],MobileNets [43],MobileNets2 [44),以取代标准的卷积层,旨在降低CNN计算成本和提取局部特征(45]。

DSConv由两部分组成:切除卷积和逐点的卷积。如图4,切除卷积作用于每个输入通道分开,精确的本地功能,其次是使用的点态卷积 卷积在每一点重量特性之间的渠道。因此,这将有效地提取局部特征在不同的频道。输入特征映射 。首先,使用切除曲线玲珑 过滤器 ,一个中间结果 生产,然后加工成输出特性地图吗 通过逐点的运算使用 过滤器 。


图4
切除可分离旋转(DSConv)。

DSConv可以提取当地微妙特性的图像分别考虑位置和通道的信息。导演今村昌平等人设计了一个网络高光谱图像去噪使用DSConv和证明它能够实现有效的修复(46]。DSConv的优势是它减少了网络参数的数量和卷积运算的计算复杂度42- - - - - -44]。

设计的模型使用扩张卷积可以恢复图像质量在全球范围内(40,41),但很容易忽略本地信息。为了解决这个问题,受到DSConv启发,我们扩展技术DSCR模块提取的本地信息,图像,如图5。我们利用残余的战略理念,采取切除可分离旋转为主要建设模块。一方面,我们设计两个连续切除可分离旋转与BN层后每个卷积层来提高网络的泛化能力。另一方面,我们使用另一个切除分离卷积快捷模块防止梯度消失。


图5
DSCR模块的结构。
2.4。提出3 d-parallel-riciannet模型

提出3 d-parallel-riciannet框架由一个全球网络DCRNet特征提取,本地特征提取网络DSCRNet和重建(REC)模块。先生在这个框架下,管道图像去噪(参见图由三个主要步骤6)。首先,我们应用DCRNet和DSCRNet提取全局特征和局部特征,分别。然后,我们融合局部和全局特征通过一个额外的层来获得真正的Rician分布特性。最后,我们使用矩形模块获得预测清洁先生的形象 。


图6
图像去噪先生提出的网络体系结构。

DCRNet。拟议中的DCRNet框架是一个级联18 DCR模块不同 。内核大小是 2 d切片/ 3 d的补丁。大扩张卷积 表现为低频噪声去除。当 太大,很难捕捉一些小型的上下文信息,这将导致浪费接受字段。如果 是1,它是一样的传统卷积在每个通道。在DCRNet,确保所有特征图有相同的大小作为输入,我们之前在边界对称垫0应用卷积操作。随着卷积层的增加,接受域的范围将逐渐增加。此外,网格问题是已知存在于扩张卷积(47]。要解决这些问题,考虑输入的大小在我们的实验中,我们应用及模块与不同的膨胀率。因此,每一层的扩张速度设置为1,1,1,1,1,1,2,3,1,2,3,1,2,3,1,2,3,1。最后的接受域是61。全球多尺度特征提取的通过使用多个DCR模块与不同的膨胀率。每个模块有16个过滤器。实现可以避免网格效应的影响和减少不相关的信息。

DSCRNet。DSCRNet进一步用于弥补地方忽略了通过扩大接受域的信息。这是一连串的18 DSCR模块。卷积的大小每个模块的内核 。每个模块也有16个过滤器。

我们从每个模块融合特征提取DCRNet和DSCRNet逐渐意识到全球和本地信息的互补性。这个过程尤其有助于保护关键的全球区域和当地区域的图像特征。因此,建议3 d-parallel-riciannet模型将比其他方法有更好的去噪能力。

矩形模块。一个卷积层后,我们获得的估计偏差 然后使用 获得预测清洁先生的形象。

2.5。损失函数

我们的损失函数使用的均方误差(MSE)如下: 在哪里 是我th无噪声的图像, 是相应的噪声图像,然后呢 表示网络参数。我们减少这个损失函数学习的输出无噪声的图像 。

3所示。实验结果和分析

3.1。数据集描述

验证的性能提出3 d-parallel-riciannet,广泛的实验模拟和临床进行公共数据集。

模拟实验,BrainWeb数据集48,49使用了)。在这项工作中,我们获得了18 t1加权图像先生(T1w)与不同的噪音水平(1%、3%、5%、7%和9%)。图像的大小 ,和它的分辨率 。大脑头骨被骷髅面具。进一步加快培训过程和获得更少的冗余区域,我们裁剪的边缘图像,图像大小为160×192×160。

深度学习方法的一个关键问题是弱泛化的适用性。网络训练在从一个特定的制造商或一个数据集设置可能不执行不同的数据集。假定噪声的仿真数据集来自单个线圈采集系统。然而,临床MR图像噪声分布来自多个线圈,和这些声音非中心气分布的平方和(SoS)重建。实际上,Rician分布是一个特例的非中心气分布50实际图像(先生)和不同空间37]。

为了验证该模型的泛化能力,我们在真实数据集进行实验。团队第一临床实验中,著名的数据集(51),这是来自3种不同的医院。我们随机选择100 T1w大脑图像数据集从哈。图像大小 ,立体像素分辨率 。六十图像被随机选中作为训练集,20个图像进行验证和其他20个图像进行测试。在这个数据集,我们手动添加不同水平的Rician噪声来模拟嘈杂的图像(26]。大脑头骨被VolBrain方法(52]。

另一个实验中,我们随机选择35 T1w图像ADNI [53]。每个样本包含 体素与 立体像素分辨率。的实验中,原始扫描大小尺寸 。大脑头骨VolBrain方法也被剥夺了。由于缺少知识的噪音水平的真实数据,我们使用了variance-stabilization方法估计Rician ADNI数据的噪声水平,大约是3% (54]。因此,我们团队选择模型训练噪声水平测试ADNI数据为3%。

最后一个数据集来自联合健康腹部器官分割(混乱)挑战55,56]。数据集包括40腹部T1w先生图像。平均每个体积大小 ,和噪声水平是未知的。我们调整了图像256×256×64通过补零操作是一致的。来证明该框架的鲁棒性和泛化能力,为我们的实验中,我们使用这个数据集分割成25的子集,5日和10个科目是用于训练、验证和测试。

3.2。培训细节

我们使用两种策略培训的三个数据集BrainWeb, IXI-Hammersmith,和混乱:2 d slice-based培训和3 d patch-based培训。2 d训练,我们从三维数据中提取二维冠状切片BrainWeb数据集。我们获得了2880片旋转 培训和镜像,1920片,384片进行验证,576片进行测试。IXI-Hammersmith数据集,我们裁剪图像256×256×128和测试它在大脑所有临床数据集。我们提取培训7680片,2560片2560片进行验证,测试在矢状面。在混乱的数据集,使用旋转扩张和镜像数据,我们得到6400矢状切片进行训练,1280矢状切片进行验证,640矢状切片进行测试。

BrainWeb patch-based培训,3 d数据集也扩大了旋转和镜像。能减轻记忆的负担,我们使用补丁大小为64×64×64像素点。一个滑动窗口战略的步伐 被用来获得3675补丁训练3 d模型。使用相同的策略作为BrainWeb数据集,4500年培训补丁,1500验证补丁,和1500测试补丁提取IXI-Hammersmith的步长 。我们使用旋转和镜像之前扩大混乱的数据集提取补丁和补丁,最后获得4900年培训980验证补丁,和490测试补丁的步伐 。在训练阶段,自混沌数据集没有干净的图像和噪声水平是未知的,我们使用5%的噪声模型的训练,IXI-Hammersmith估计清洁地面实况图像。在测试阶段,我们训练的网络应用补丁测试集的结果预测平均在重叠区域。

所有培训进行了使用深度学习加速度计算服务,配置了一个2.20 GHz酷睿i7 - 8750 h CPU、NVIDIA GeForce GTX 1070 (8 g) GPU,和16 GB的RAM。所有公开的深度学习模型实现TensorFlow框架和Keras人工神经网络库。在培训过程中,学习速率是设置为1 e - 3。我们用亚当的优化。

3.3。评价方法

六种深度学习模型训练:CNN-DMRI [28],RicianNet [29日),2 d-dcrnet 2 d-parallel-riciannet d-parallel-riciannet 3 d-dcrnet, 3。我们比较这六个深度学习模型有四个传统的去噪方法:NLM, BM3D, ODCT3D [57],PRI-NLM3D [57]。NLM方法,fastNLMMeansDenoising函数被选中时,模板大小的地方 和过滤强度是15。

三个量化指标用来评估这些方法的去噪性能。第一个是峰值信噪比(PSNR)。高PSNR值通常表示良好的去噪性能。第二个结构相似度指数(SSIM),测量真实结构相似性和去噪图像。最后一个是熵,它反映了图像的信息量。我们使用的自然对数熵度量。

3.4。仿真结果

NLM的定量结果,BM3D、ODCT3D PRI-NLM3D, CNN-DMRI, 2 d-dcrnet 2 d-parallel-riciannet 3 d-dcrnet, 3 d-parallel-riciannet T1w图像不同的噪音水平(1%、3%、5%、7%、9%)表中所示1- - - - - -3。

表1
psnr值在不同的噪声水平与10个方法从BrainWeb数据集。
表2
ssim在不同的噪声水平与10个方法从BrainWeb数据集。
表3
熵在不同的噪声水平与10个方法从BrainWeb数据集。

表1和2分别描述了PSNR和SSIM的结果。我们可以观察到3 d-parallel-riciannet的PSNR值明显高于其他方法的噪音水平。在表2,3 d-parallel-riciannet的SSIM值接近1,这是高于其他方法在所有的噪音水平除了PRI-NLM3D 7%的噪音水平。这表明,我们提出的模型具有良好的去噪性能良好的解剖结构保存。

表310显示了熵的结果的方法。我们发现该3 d-parallel-riciannet可以获得最低的熵在所有五个噪音水平。因此,考虑到三个指标在3表,我们发现我们的方法具有更好的降噪性能。除了视觉质量的另一个重要方面,图像去噪方法是时间复杂度。我们给不同的方法在表的运行时间4。很明显,3 d-dcrnet和我们提出3 d-parallel-riciannet比其他方法要快得多。一旦深上优于方法完成训练,向前传播非常快。在表5,我们的方法具有最少的参数,这意味着我们的网络不需要太多的计算能力。从这,我们可以看到,我们的模型竞争优势较小的数据集。

表4
执行时间在不同的噪声水平与10个方法从BrainWeb数据集。
表5
不同网络的参数的数量。

数据7和8提供一个视觉比较T1w图像噪音测试数据在3%和9%使用10个方法。去噪图像的放大区域观察到明显的细节显示。在图7,所有的方法在低噪声情况下可以达到良好的性能。然而,传统的方法受到明显oversmoothing效果和扭曲了一些重要的细节。在深刻的学习方法中,图像处理CNN-DMRI, 2 d-dcrnet 2 d-parallel-riciannet, 3 d-dcrnet有明显Rician噪音。RicianNet增加大脑区域的亮度,很难清楚地观察解剖结构。图7显示3 d-parallel-riciannet去噪方法给出更好的结果和保存图像中的重要信息。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
(g)
(g)
(h)
(h)
(我)
(我)
(j)
(j)
(k)
(k)
(左)
(左)
图7
不同方法的去噪效果与3%的噪音水平。(一)嘈杂的图像;(b)无噪声的图像;(c) NLM;(d) BM3D;(e) ODCT3D;(f) PRI-NLM3D;(g) CNN-DMRI;(h) RicianNet;(我)2 d-dcrnet; (j) 2D-Parallel-RicianNet; (k) 3D-DCRNet; (l) 3D-Parallel-RicianNet.
(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
(g)
(g)
(h)
(h)
(我)
(我)
(j)
(j)
(k)
(k)
(左)
(左)
图8
不同方法的去噪效果与9%的噪音水平。(一)嘈杂的图像;(b)无噪声的图像;(c) NLM;(d) BM3D;(e) ODCT3D;(f) PRI-NLM3D;(g) CNN-DMRI;(h) RicianNet;(我)2 d-dcrnet; (j) 2D-Parallel-RicianNet; (k) 3D-DCRNet; (l) 3D-Parallel-RicianNet.

噪音水平增加时,传统方法oversmoothing受到明显的影响,如图8。CNN-MRI和RicianNet模型仍然有一些噪音和患有轻微oversmoothing纹理的区域。通过使用及模块,2 d-dcrnet和3 d-dcrnet有较强的去噪能力全球slice-based 2 d和3 d patch-based病例。然而,不考虑当地的结构特点,DCRNet模型去噪过程中失去了一些重要的局部细节。因此,结合全球DSCRNet DCRNet和地方特性的特点,提出3 d-parallel-riciannet可以保持更好的详细结构在均匀区域,并获得最一致的结果无噪声的图像。因此,我们3 d-parallel-riciannet方法可以更好地保留关键信息在去噪,图像,它是有用的为提高临床医生诊断的精度。

3.5。临床结果
3.5.1。IXI-Hammersmith数据集的结果

验证的性能提出3 d-parallel-riciannet十去噪方法比较在不同临床数据集。

数据9- - - - - -11总结的三个度量IXI-Hammersmith数据集与10个方法在不同噪声水平。在1%的噪音水平,PRI-NLM算法实现去噪性能与3 d-parallel-riciannet PSNR。在噪音水平高于5%,该模型产生的psnr值高于竞争方法。特别是,在图10,我们可以看到3 d-parallel-riciannet模型始终ssim收益率高于其他九个方法为所有的噪音水平。从熵的角度来看,我们的方法有一个低熵值。这些结果表明,3 d-parallel-riciannet模型有较强的去噪能力。


图9
不同噪声水平下使用10个方法psnr IXI-Hammersmith数据集。

图10
ssim使用10个不同噪声水平下IXI-Hammersmith数据集的方法。

图11
使用10个方法熵在不同噪声水平下IXI-Hammersmith数据集。

图12去噪结果的显示了一个示例使用10 IXI-Hammersmith数据集的方法有3%的噪音。图中可以看出,该3 d-parallel-riciannet模型给出了最佳去噪结果和真实是几乎相同的图像去噪图像。目视检查之后,它可以推断的结果我们提出了3 d-parallel-riciannet改进方面比别人更精细结构保留和边缘。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
(g)
(g)
(h)
(h)
(我)
(我)
(j)
(j)
(k)
(k)
(左)
(左)
图12
IXI-Hammersmith数据集用不同方法的去噪效果在3%噪声水平。(一)嘈杂的图像;(b)无噪声的图像;(c) NLM;(d) BM3D;(e) ODCT3D;(f) PRI-NLM3D;(g) CNN-DMRI;(h) RicianNet;(我)2 d-dcrnet; (j) 2D-Parallel-RicianNet; (k) 3D-DCRNet; (l) 3D-Parallel-RicianNet. Each method below shows the corresponding edge detection image of the enlarged area (green), and the yellow represents the overlapping area with the noise-free image (red).
3.5.2。IXI-Guys数据集的结果

数据13- - - - - -15总结了PSNR, SSIM和熵值使用10 IXI-Guys数据集的方法。我们测试的训练数据集模型与IXI-Hammersmith IXI-Guys数据集,它反映了网络泛化其他nontrained数据集。3 d-parallel-riciannet显示最健壮的PSNR性能的测试方法,SSIM和熵。特别是,我们的模型仍然比其他方法达到更好的去噪能力较高的噪音水平。


图13
不同噪声水平下使用10个方法psnr IXI-Guys数据集。

图14
ssim使用10个不同噪声水平下IXI-Guys数据集的方法。

图15
使用10个方法熵在不同噪声水平下IXI-Guys数据集。

图16显示了一个示例10个方法的去噪结果IXI-Guys数据集的数据在3%的噪音水平。符合IXI-Hammersmith数据集上的去噪性能,提出3 d-parallel-riciannet方法提供最好的去噪结果和去除图像噪声比其他方法更强劲IXI-Guys数据集。尤其是在区域红线所示,3 d-parallel-riciannet模型达到更好的视觉效果。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
(g)
(g)
(h)
(h)
(我)
(我)
(j)
(j)
(k)
(k)
(左)
(左)
图16
IXI-Guys数据集用不同方法的去噪效果在3%噪声水平。(一)嘈杂的图像;(b)无噪声的图像;(c) NLM;(d) BM3D;(e) ODCT3D;(f) PRI-NLM3D;(g) CNN-DMRI;(h) RicianNet;(我)2 d-dcrnet; (j) 2D-Parallel-RicianNet; (k) 3D-DCRNet; (l) 3D-Parallel-RicianNet.
3.5.3。ADNI数据集的结果

本节是用于验证该方法的一致性ADNI数据集。因为无噪声的图像是不可用,熵是衡量和用作定量指标。结果如图17和18。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
(g)
(g)
(h)
(h)
(我)
(我)
(j)
(j)
(k)
(k)
图17
ADNI设定不同的方法的去噪效果在3%噪声水平。(一)嘈杂的图像;(b) NLM;(c) BM3D;(d) ODCT3D;(e) PRI-NLM3D;(f) CNN-DMRI;(g) RicianNet;(h) 2 d-dcrnet;(我)2 d-parallel-riciannet; (j) 3D-DCRNet; (k) 3D-Parallel-RicianNet.

图18
去噪图像的熵ADNI数据库。

如图17,虽然RicianNet和2 d-dcrnet去除噪音,他们oversmoothing受到明显影响,难以识别解剖结构的关键。此外,去噪效果不满意的使用BM3D时,ODCT3D, PRI-NLM3D, CNN-DMRI, d-dcrnet 2 d-parallel-riciannet, 3。这些方法的结果仍然含有大量的噪声和小姐的一些结构细节。它可以指出,3 d-parallel-riciannet保留细节比其他方法更好。

根据图18,去噪,图像的熵结果ADNI数据集使用不同的处理方法进行了比较。我们发现3 d-parallel-riciannet达到熵值最低。结合图17,我们发现我们的方法不仅有效地消除噪声,还保留了更有用的关键信息的图像。因此,我们3 d-parallel-riciannet方法具有较强的泛化能力和强鲁棒性。这些实验结果再次表明我们提出的模型的优点。

3.5.4。去噪的腹部先生的数据

在本节中,我们提出对腹部MR图像进行去噪的网络。我们三种去噪方法相比,实验结果如表所示6。

表6
混乱的PSNR和SSIM在不同的噪声水平与4种方法数据集。

表6表明,PSNR的方法可以达到39.7090,高于BM3D, CNN-DMRI, RicianNet。在SSIM RicianNet低于BM3D CNN-DMRI,表明尽管RicianNet可以去除噪声,它不能保持图像的结构信息。我们的方法仍然可以获得最高的SSIM价值。我们展示的去噪结果在图的四个方法19。从图可以看出,我们的方法不仅可以消除噪音,还保留图像中的关键解剖位置信息。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
图19
混沌集,不同的方法的去噪效果在3%噪声水平。(一)嘈杂的图像;(b)无噪声的图像;(c) BM3D;(d) CNN-DMRI;(e) RicianNet;3 d-parallel-riciannet (f)。
3.6。比较的结果与不同空间分辨率

图像分辨率会影响图像的质量。一般来说,当图像分辨率较小,模型的去噪能力显著降低。在这一部分中,我们使用BrainWeb数据集验证在不同分辨率的图像的去噪效果3%的噪音水平。结果如表所示7。

表7
PSNR(上)和SSIM(底部)比较不同的算法有不同的空间分辨率。

从表7,它可以观察到,该3 d-parallel-riciannet优于其他方法测试了在不同空间分辨率。BM3D RicianNet,他们很难去除噪声较低的空间分辨率。有人指出噪音清洗似乎有一个一致的效果当不同空间分辨率相对较近,如 和 。然而,应该注意的是,一些对比度和空间分辨率的损失是可能的。一旦分辨率之间的差异变大,去噪效果也会改变显著,如 和 。此外,深度学习方法的psnr下降显著降低空间分辨率,而SSIM值相对较近,表明深学习方法恢复大部分的复杂的解剖结构。与其他方法相比,我们的模型有一个更加平衡的去噪能力在不同空间分辨率,和PSNR值的平均值可以达到41.6373。自提出3 d-parallel-riciannet可以提取噪声图像的局部和全局特征和恢复清洁的形象,它仍然可以去噪能力维持在较低的空间分辨率。

3.7。比较的结果与不同的大脑组织

基于MR成像技术、关键大脑灰质(GM)等组织,白质(WM)和脑脊液(CSF)成为可见。这三个组织帮助可视化大脑结构和指导手术,但是噪音会影响脑组织的解释(58]。评价去噪的有效性3 d-parallel-riciannet不同的大脑组织,最先进的方法BM3D CNN-DMRI, RicianNet比较表8。该模型可以实现PSNR和SSIM结果比竞争方法在不同的大脑组织。特别是,在脑脊液中,我们可以看到,3 d-parallel-riciannet可以达到51.9105的PSNR值。我们也显示不同的脑组织四种去噪方法的去噪结果图20.。这些实验结果再一次说明了模型的优点。

表8
PSNR和SSIM比较不同的方法在不同的大脑组织。

图20
脑组织不同方法的去噪效果在3%噪声水平。嘈杂的图像(1圣列);无噪声的图像(2nd列);BM3D (3理查德·道金斯列);CNN-DMRI (4th列);RicianNet (5th列);3 d-parallel-riciannet (6th列)。
3.8。的变体 设置在DCR模块

在我们的模型中,不同的DCR模块 是我们的重要组成部分。PSNR和SSIM记录在表9由不同的 设置在3%的噪音水平BrainWeb数据集。我们进行了三个实验,每个使用相同的膨胀率18 DCR模块。最后接受字段是37岁,73年和109年。结合表1和2和表8,我们可以发现我们的混合膨胀率可以达到最高的PSNR和SSIM。当 3,接受域已经造成浪费。此外,使用相同的膨胀率可以很容易地导致网格的影响。缺乏相关性特征地图以这种方式提取的,和不能获得一个准确的预测结果。因此,我们的模型可以达到更好的去噪性能。

表9
PSNR和SSIM比较在不同 设置。

4所示。讨论和结论

在这项工作中,我们提出一种并行去噪残余网络基于级联DCR和DSCR模块地址先生图像的随机噪声。全球和地方特征提取的设计DCRNet DSCRNet,然后这些功能融合在一起。因此,全球和本地信息捕获驱动脑MR图像的去噪过程监督网络学习。

SSIM的PSNR值和熵计算比较该方法与现有的方法,并验证了该方法的去噪效果BrainWeb仿真数据在不同的噪声水平。为了测试提出了网络的实用性,在实际临床MR图像进行的实验表明该方法优于其他方法IXI-Hammersmith, IXI-Guys, ADNI,混乱的数据集。

在这个工作中,我们的一个限制是,虽然结构信息可以被保留在高噪声水平,仍有少量的本地噪声,如图8。接下来,我们将继续研究之间找到一个平衡噪声去除和结构维护在不同噪声水平。我们的方法的另一个关键的限制是真实的要求高质量的无噪声的图像,这是很难获得在真实的应用程序中。的先验知识对器官的形状和位置是提高图像分析方法的性能的关键。然而,在最近开发的医学图像分析技术,这不是明显的如何将这种先验知识(59]。Oktay等人把解剖先验知识到深学习方法通过一个新的正则化模型,该方法表明,方法可以很容易地适应不同的医学图像分析任务(例如,图像增强和分割)59]。此外,在[60),作者使用形态成分分析(MCA)将噪声图像分解成卡通,纹理,剩余的部分被认为是噪声组件。因此,为了规避我们的方法的局限性,我们将验证它使用多峰性图片和合并其他有意义的先知先觉,如剩余部分,器官的形状和位置,以减轻semisupervised去噪在未来的任务。

总之,本文获得的结果是鼓舞人心的和有效地展示我们的潜力3 d-parallel-riciannet先生的图像去噪方法。这种方法不仅可以有效地去除噪声,图像也保留足够详细的结构信息,从而有助于为临床诊断提供高质量图像先生。

数据可用性

团队,BrainWeb ADNI,混乱的数据集是公开的(BrainWeb,https://brainweb.bic.mni.mcgill.ca/brainweb/;团队,http://brain-development.org/ixi-dataset/;ADNI,http://adni.loni.usc.edu/;和混乱,https://chaos.grand-challenge.org/)。

的利益冲突

作者宣称没有利益冲突。

确认

数据收集和分享这个项目由阿尔茨海默病的神经影像学(ADNI)(美国国立卫生研究院的资助U01 AG024904)和国防部ADNI(国防部奖号码w81xwh - 12 - 2 - 0012)。本研究支持部分由中国国家自然科学基金会拨款61771230下,山东省自然科学基金资助下ZR2016FM40,山东省济南科技项目资助(201816082和201816082),和山东省自然科学基金青年项目的资助下ZR2020QF011。