文摘

计算机断层扫描(CT)的x射线辐射给我们带来潜在的风险。简单地减少剂量CT图像噪声和诊断性能受损。在这里,我们开发一种新的去噪低剂量CT图像的方法。我们的框架是基于一种改进生成对抗网络耦合的混合损失函数,包括敌对的损失、知觉丧失、清晰度损失,和结构相似性的损失。损失函数的条件中,知觉损失和结构相似性损耗是由使用保护结构的细节,和清晰度损失可以使重建图像清晰。敌对的损失可以大幅的边界地区。实验结果显示该方法能有效去除噪声和工件比最先进的视觉效果的方法方面,定量测量和纹理细节。

1。介绍

近年来,计算x射线断层扫描(CT)的一个重要实用的成像方法,已被广泛用于医疗诊断。解剖结构的高时空分辨率可以从CT图像,发现和众多研究者从CT扫描中受益,尤其是在病理诊断和治疗领域。然而,随着医学CT的广泛使用,电离辐射x射线的潜在风险病人已经引起了(公众的关注1,2]。

根据著名的理论,和x射线的最小化成为CT图像领域的研究热点之一。在众多方法,减少辐射的最流行的方法是减少x射线通量通过缩短曝光时间和减少操作x光管电流。不幸的是,x射线通量越低,越嘈杂生成的CT图像。因此,解决这一问题的一个方法是减少图像噪声的算法。常见的方法,以减少噪声过滤。但这是一个不适定的和具有挑战性的问题3- - - - - -5]。最近,深度学习技术显示他们的优势去噪图像6- - - - - -11]。各种去噪模型基于卷积神经网络(cnn)提出了不同的网络架构(LDCT去噪1,12- - - - - -14),其中包括2 d cnn (2,12),3 d CNN (1),剩余encoder-decoder CNN (13),级联CNN (14]。此外,不同的损失函数,如均方误差(MSE) [1,12- - - - - -14),敌对的损失(1,2),和知觉损失(2),提出了在去噪模型中。不同的网络架构和损失函数可能有深远的影响在网络的学习过程。根据文献[8),去噪模型的复杂性是由网络架构,和损失函数与去噪模型可以从图像和数据。

在实践中,我们发现去噪方法生成对抗比cnn网络可以得到更好的结果。然而,这些方法有困难的网络培训和梯度消失(15]。为了解决这个问题,在这里,我们提出一种改进的氮化镓与瓦瑟斯坦距离(SSWGAN),以减少低剂量CT图像的噪声。具体地说,去噪低剂量CT图像可以看作为一个低剂量CT图像转化为正常剂量CT (NDCT)图像。我们提出GAN可以估计的距离分布在低剂量CT和正常剂量CT之间。在这个过程中,知觉损失基于VGG可以保存尽可能多的图像细节当抑制噪声。SSIM损失保留了去噪后的结构和结构细节的过程,和L1损失不断去噪图像的清晰度,特别是在低对比度区域。总之,我们的贡献如下:(我)介绍了一种改进WGAN网络作为去噪模型(2)介绍了一种新颖的混合损失函数提高去噪模型的性能(3)一些最新的网络模型相比,我们发现我们的缺点,提出了Q-AE模型来提高我们的发电机架构

2。相关工作

2.1。LDCT去噪方法

通常,LDCT去噪方法可以分为三类:(一)投影滤波(16- - - - - -18]。他们的优点是计算效率就越高。然而,他们总是导致损失的空间分辨率和图像边缘模糊(b)迭代重建(19- - - - - -25]。他们表现在提高信噪比,但他们需要更多的计算资源和准确性的噪声模型(c)后处理(26- - - - - -28]。他们可以直接在图像上执行,降低计算成本,以便他们已经隐含在CT成像系统和分析系统。有一些剩余的问题处理图像

深度学习技术的快速发展,相关去噪模型取得了令人印象深刻的去噪性能(LDCT图像29日,30.]。学习过程包括两个主要部分:网络架构和损失函数。体系结构的复杂性决定了去噪模型和损失函数控制学习的去噪模型。最近,提出了很多方法。易出版社(31日总结这些方法和综合比较。接下来,我们主要描述方法和新型网络体系结构的改进的损失函数,(1)网络体系结构。陈等人。32)首次提出低剂量CT图像去噪方法基于卷积神经网络(CNN),获得更好的效果在视觉和测量。然后,陈等人。13改善网络结构和他们开发了一种残余编码器CNN (RED-CNN)。结果比原来的CNN。然而,他们的网络是复杂和耗时。为了克服RED-CNN的缺点,Zhang et al。33提出了一个新颖的网络。与RED-CNN相比,有更少的参数在他们的网络和他们的结果更好(2)损失函数。最小MSE基于去噪图像的区别和NDCT容易导致overblurred [1,2),证明关联差的人类感知图像质量(34,35]。根据文献[8),最优MSE估计遭受regression-to-mean问题,使去噪LDCT oversmoothed看,不自然的,难以置信的。敌对的损失(AL)可能导致大幅图像局部的NDCT形象但并不完全对应NDCT形象在全球范围内(36)自AL优化分布之间的距离和NDCT图像去噪结果。之后,许多方法提出了感知损失(PL)去噪图像看起来更类似于高级NDCT图像特征空间(2]。然而,还有其他的特性应用于图像,如锐度和结构相似度指数。这里,我们扩展wise-used混合损失函数包括艾尔和PL。我们提出了混合损失函数包括四个方面:铝、PL,清晰度损失,损失和相似性更有效地提高去噪性能

2.2。瓦瑟斯坦GAN框架

最近,甘(34架构是开发成一个给定数据的分布模型的新方法。但网络训练的困难和梯度消失8]。处理这些限制,瓦瑟斯坦的氮化镓距离(WGAN)被广泛使用37,38),利用瓦瑟斯坦距离之间的差异分布的测量和知觉损失(损失37]。此外,梯度点球是采用常规的加速方法训练网络(WGAN-GP) [39]。很重要,WGAN-VGG (40低剂量CT是一种方法,实现承诺去噪CT图像(41),感知损失是利用VGG [41]pretrained自然图像。WGAN-VGG可以克服overblur形象的问题。此外,SMGAN [42)结合了L1损失和损失的多尺度结构,让它表现WGAN-VGG在收敛精度40]。但有时,重建图像有些模糊。此外,氮化镓的梯度点球术语削弱了表达能力(43]。此外,研究人员发现去噪模型没有deconvolutional层,这是卷积的转置层(44),意味着去噪模型的输入和输出可能有不同的大小。继续去噪CT图像的大小等于输入,U-net架构用于图像去噪LDCT [45- - - - - -51]。山等。8)提出了基于路径输送卷积U-net去噪模型,称为CPCE。风扇等。15改进方法,提出了一种去噪框架,取代了内积在当前人工神经元对输入数据二次操作。他们的方法称为Q-AE。

3所示。去噪的框架

3.1。去噪的原理和模型

一般来说,CT图像的噪声分布视为量子泊松的组合和电子高斯噪声。但重建图像中的噪声是复杂的,它总是不均匀分布。此外,NDCT之间的关系和LDCT不能用精确数学模型描述。所以只有与传统方法,我们几乎不可能获得更好的去噪结果LDCT图像。幸运的是,不确定噪声模型可以估计通过深度学习技术,由于其较强的捕获能力的特性。

图像去噪LDCT可以表示为以下模式。假设 代表了NDCT形象和 代表相应的LDCT,我们的目标是确定一个映射函数G来 :

氮化镓的生成和对抗的能力可以应用于提取特征从深水平与重建图像的空间信息,以便GAN有效识别噪声和图像细节。氮化镓通常包括一对神经网络:一个发电机和一个鉴别器(52,53]。发电机可以学到真正的分布NDCT,鉴别器吗可以做最好的努力区分是真是假样品产生的呢 。这通常对网络的训练或者,所以竞争鼓励生成的样品几乎没有区别真正的。最后,我们可以获得更好的质量的CT图像。

3.2。我们的氮化镓的结构

数学上,和可以形成two-role极大极小游戏: 在哪里代表了期望值,和分别代表真实和噪声分布。在常规GAN Jensen-Shannon (JS)散度是用来计算两种数据分布的相似性(54]。但是,正如上面提到的,JS差异容易导致梯度消失。在这里,我们采用瓦瑟斯坦距离(38),而不是JS散度,确保训练神经网络的稳定性。我们的网络的主要结构如图1。如图,有SSWGAN网络四个部分,即发电机,鉴别器,清晰度检测网络,分别和混合损失函数。

3.2.1之上。我们的发电机的体系结构

如图2,提出了发电机从传统的降噪模型是不同的。这里,我们利用ADNet [55作为我们的发电机)和17层。有四个部分在我们的发电机网络,代表稀疏块(某人),功能增强块(2月),注意块(AB),分别和重建块(RB)。特别是,某人可以减少噪音和扩张和常见的卷积来实现最优性能和效率之间的平衡。2月结合了全球和本地特征信息来提高模型的表示能力。AB通常应用于提取隐含在复杂背景噪声准确。利用2月和AB能提高效率和减少训练网络模型的复杂性。RB生成NDCT获得更高质量的图像噪声地图,鉴于LDCT图像。

3.2.2。我们的鉴频器的体系结构

如图3的输入生成的NDCT鉴别器和真正的NDCT。我们的鉴频器是为了区分真正的从两个NDCT图像。鉴频器包括卷积6层和3层接触。卷积层中,有64个过滤器前两层,128过滤器在中间两层,256过滤器在最后两层。每个卷积操作后,有一个激活函数ReLU [56]。卷积的步长是1和过滤器的大小 。结束的鉴频器是全层,有1024个输出,512输出,分别和1的输出。鉴频器,我们可以获得生成的NDCT和真实NDCT的区别。

3.2.3。清晰度检测网络

无数的降噪方法在模糊边缘。传统非线性优化算法平均相邻像素或利用自相似块。然而,当噪声水平高,这些优化算法并不有效,因为高噪声和边缘之间的相似性。尽管氮化镓的鉴别器能输出更清晰的图像和杰出的候选人的照片,它不是有效的低对比度区域因为损失的对抗中使用甘不能确保能够准确重建图像。

最近,几个提出了更加灵活和复杂的方法,主要利用统计差异之间的特定属性的模糊区域和锋利的地区,如梯度信息(57)和离散余弦系数(58]。其他方法利用稀疏编码的方式分解本地路径被量化并获得更清晰的图像清晰度。还有其他方法可以产生大幅图像,例如,一个基于深度图估计(59]。很难做个记号在医学图像的低对比度区域,所以我们引入清晰度检测网络,为代表 ,易和Eramian提出和使用方法60因为在低对比度地区强烈的敏感性。实现SSWGAN时,我们将NDCT所产生的结果清晰度检测网络和比较结果与图像生成的图像清晰度的问题。因为与灰度显示的清晰度图像,像素值代表当地的清晰度。清晰度的图像,我们可以计算两个图像清晰度之间的均方误差和更新网络根据计算结果的重量。

3.2.4。混合损失函数

训练网络的最主要的挑战是保持尽可能多的纹理细节,减少噪音。培训过程的混合损失函数可以保持SSWGAN在允许范围内。混合损失函数,生成NDCT图像之间的差异和实际NDCT图像可以测量和发电机的重量可以通过反向传播(BP)被更新。为了提高去噪网络,我们的混合损失函数包括四个部分,这是敌对的损失,知觉丧失、清晰度损失,分别和结构相似性的损失。

(1)对抗的损失。所述参考(2),最小化的最小二乘损失可以近似分布LDCT NDCT,最后,我们可以获得更好的去噪图像。然而,它不匹配相应的详细NDCT。在这里,我们介绍了对抗让我们的损失生成运用CT图像尽可能的真实。敌对的损失可以描述如下:

在这里,前两项代表瓦瑟斯坦的距离,最后一项代表了梯度消失一个用于网络规范化。和发电机和鉴频器。是一组数据样本与特定的分布。是NDCT生成图像,是惩罚系数。减少敌对的损失可以保持更多的纹理细节。

(2)知觉的损失。医学图像的最重要的是保持必要的特性用于病理诊断(61年]。均方误差(MSE)总是利用损失函数,从而导致图像混叠和细节丢失。知觉损失可以计算生成的图像和真实图像之间的距离在人类感知的特征空间而不是像素空间的距离。知觉丧失,生成的图像去噪NDCT可以保持原点功能在现实NDCT图片,不与其他损失函数实现。知觉损失可以描述如下: 在哪里是特征提取器,弗罗贝尼乌斯是常态。在这里,我们采用pretrained VGG-19网络(41器), , , 分别代表了宽度、高度和深度。因为VGG-19以彩色图像为输入和CT图像往往在灰度等级,我们将CT图像转换为RGB通道VGG-19作为输入。有16个卷积VGG-19层和3层接触。卷积层、16层的输出是VGG的提取的特征作为损失函数:

(3)清晰度损失。在这里,我们提出一个清晰度损失清晰度检测中使用网络来评估图像的清晰度。发电机不仅要求生成图像尽可能类似于真实,还产生清晰的图像尽可能接近真实的形象。数学形式描述的清晰度损失: 在哪里是距离。

(4)相似的损失。在医学CT图像不同的剂量水平,功能相关性通常是强烈的。结构相似度指数(SSIM)包括三个部分,亮度,对比度,和结构。SSIM是一个更好的评价指标均方误差和峰值信噪比(PSNR)在视觉任务。衡量去噪CT图像之间的相似性和正常剂量的版本,SSIM可以描述: 在哪里 , , , ,和代表意思,标准差,互相关两个图像,分别 , ,和是常数。此外,当和更相似,SSIM的值接近1。因此,我们为SSIM损失函数如下:

值得注意的是,可以back-propagated SSIM损失来更新我们的网络的参数,当给其属性的可微性。这里,我们利用SSIM计算整体NDCT图像和LDCT图像之间的相似性。

总之,我们的总体目标函数适应SSWGAN表示如下: 在哪里 , , ,和是上述四项权重系数。

4所示。结果与讨论

4.1。数据集进行实验

展示我们的能力提出了LDCT图像去噪SSWGAN,四个真正的临床CT图像数据集应用在我们的研究中,以避免过度拟合问题。四个数据集是由梅奥诊所MDLCT数据集授权为“2016 NIH-AAPM-Mayo诊所低剂量CT挑战赛”,肺部CT图像数据集(62年CT图像数据集[],真正的小猪63年),和胸CT图像数据集(64年]。

MDLCT数据集包括2378 NDCT图片和相应的模拟LDCT(季度剂量)从十匿名的病人12]。每个CT图像的矩阵 ,厚度为3.0毫米。受到裁判。57),我们将数据集分为两组。一组包括2168配对图像从九个病人使用的训练过程。另一个包含210个配对图像从最后一个病人利用测试数据集。在训练阶段,我们提取了补丁的大小 。提取完全,我们大约106配对补丁用于捕捉当地的细节,而不是浪费巨大的记忆,提高培训的效率。

肺部CT图像数据集创建从一个病人的方法提出了裁判。64年),包括663片。癌症病人的CT扫描的影像档案(TCIA)。小猪CT图像数据集包含900张图片和100千伏峰值,0.625毫米厚度。胸CT图像数据集包括407对胸CT图像从一个拟人化的幻影。当前管NDCT和LDCT图像是480和60 m,分别与峰值电压120千伏峰值和切片厚度0.75毫米。我们随机选择30%的图片用在测试阶段,和每个图像的大小 。

4.2。参数设置

我们的框架内实现Python的平台,Pytorch, TensorFlow。所有实验运行在个人电脑(英特尔i5 7400 16 G的随机内存)和加速NVDIA RTX 2080 GPU 16 G内存。

SSWGAN的发电机和鉴别器都是优化利用自适应动量估计(亚当)提出了裁判。65年]。我们mini-batch的大小是96。学习速率设置为10³用于训练100时代,设为10⁴用于训练100时代。我们混合损失函数的系数设置 , , , ,和 ,分别。如图4,我们的网络可以收敛训练后100时代。

4.3。图像评估标准

评估质量的生成图像,我们采用三个客观评价标准,PSNR (12],SSIM [35),和特性相似性指数(FSIM) (66年]。PSNR值计算的平均像素之间的差异生成NDCT图像和真实NDCT图像,用于评价不同方法的去噪能力。SSIM计算之间的结构差异生成NDCT图像和真实NDCT图像,用于评估两个图像的相似性。FSIM计算两幅图像之间的特性差异,代表的feature-preserving能力不同的方法。

5。实验结果和讨论

注意,我们描述我们的算法框架的优势在两个方面:(1)与其他广泛使用的传统LDCT去噪方法相比,(2)与最新LDCT基于氮化镓的去噪方法。

5.1。对比我们和传统LDCT去噪算法

为了演示,我们建议的方法在图像去噪LDCT优势,我们比较我们与其他广泛使用的传统LDCT去噪方法包括BM3D [67年],CNN200 [12],WGAN [2],SMGAN [42]。在这些方法中,BM3D是最流行的一种传统方法用于去噪LDCT图像。CNN200、WGAN SMGAN三个代表去噪方法是基于CNN。CNN200采用encoder-decoder卷积神经网络与MSE的损失。WGAN和SMGAN利用瓦瑟斯坦距离和共享类似的网络体系结构。但是他们的损失函数彼此之间是不同的。

图5给MDLCT数据集的可视化结果。如图5LDCT图片,有很多噪音,导致图像模糊,难以区分的结构和细节图像。相应的NDCT图像更清晰,更好的质量相比。第三子图的去噪结果BM3D,哪里有噪音的一小部分。影响重大的块状,一些边缘和小结构过于模糊。CNN200第四子图显示了结果。从第四个图片,可以发现,这种方法在一定程度上抑制噪声;然而,仍然有一些噪音和工件在去噪后的图像。从第五和第六形象形象,基于氮化镓的去噪方法不仅减少大部分噪音和工件还保留结构的细节。与第四形象相比,有更少的噪音在第五。但是一些边缘细节的损失。 The sixth subgraph is the result of SMGAN. It can be seen that SMGAN smoothens the images excessively, and some crucial structures, like the region of porta, are over blurred. From the right image, it can be seen that our framework outperforms in the content details and textural information than the other methods.

如数据所示6- - - - - -8上述方法,所有图像去噪的结果基于肺CT图像数据集,小猪CT图像数据集和胸CT图像数据集。我们可以得到相同的结论从所有方法的比较数据6- - - - - -8作为一个在图5。我们的方法可以有更好的表现在减少工件和噪音。我们更接近真正的NDCT图像去噪图像。

我们计算SSIM、FSIM和PSNR的去噪图像。结果在表中列出1- - - - - -4,分别。在这里,我们评估数据集的平均值。

在表1计算结果为MDLCT的图像数据集。我们的框架SSIM的获得最好的结果方面,PSNR和FSIM。我们的PSNR值是平均2.7287 dB高于其他方法,框架的SSIM平均0.0385高于别人,和我们FSIM结果是平均0.0414高于其他人。的结果表1表明我们的框架获得最好的结果在尊重所有的定量测量。从表2- - - - - -4,我们可以得到相同的结论,也就是说,重要的是要指出,我们的统计值是最近的NDCT图片和获得的最佳匹配结构统计NDCT图像比其他方法。

此外,展示我们的框架的优点融合而言,采取MDLCT数据集的结果作为一个例子,我们评估了定量测量1-SSIM(值越小,图像越好)在培训过程中不同的方法。结果图中可以看到9。

如图9WGAN-VGG和WGAN-MSE收敛点,时代的数量是60。CNN200 SMGAN可以达到收敛点,时代的号码是45。我们的框架可以收敛的时代数量= 30。我们的方法比其他方法的效率,可以看到在图9下我们的图像融合质量更好。

5.2。比较我们和最新LDCT基于氮化镓的去噪算法

与最新LDCT基于氮化镓的去噪算法包括CPCE算法(8)和Q-AE算法(15),我们在MDLCT数据集进行实验。图10显示了结果。

从上面的图中,我们发现这两个算法比我们表现得更好。我们的形象遭受oversmoothed细节和纹理信息的损失(红色箭头和绿色箭头所示)。定量结果表中可以看到5。从结果,我们提出了去噪框架不是最新的算法基于氮化镓。

分析的原因我们的算法是不太好,我们比较我们的网络架构和损失函数的最新算法基于氮化镓。然后,我们发现我们的缺点提出了框架。首先,我们的发电机不涉及deconvolutional层。如文献所述(15),很容易就意味着输入和输出可能有不同的大小。更严重的是,纹理是丢失。然后,卷积层不保留足够的特性。为了克服这些缺点,我们提高我们的框架。受文献[15),我们修改我们的发电机的体系结构,可以看到在图11。

从上面的图中,我们替换原始SSWGAN(网络)。我们保持我们的损失函数不变。改善我们的网络体系结构后,我们比较新的结果和最新的去噪方法。定量结果见表6。从结果,我们改进方法优于更好。

图12和表7节目的质量评价指标对比我们的改善结果和原始结果肺部CT图像数据集和小猪CT图像数据集,包括PSNR, SSIM, FSIM。结果表明,我们的改善比原件。这主要是由于(网络)和Q-AE模式可以给高阶非线性稀疏表示以一个合理的模型的复杂性。

5.3。讨论和分析

在我们的框架中,我们提出了SSWGAN与混合损失函数降噪LDCT图像。然后,灵感来自于最新的算法,我们改善我们的网络体系结构。我们和其他方法之间的主要区别是利用混合损失函数除了网络体系结构。深度学习的方法在图像处理时,我们可以获得更好的结果比最先进的LDCT去噪方法,因为我们可以从训练数据捕获高层抽象的特点。在很大程度上,深度学习影响的损失函数LDCT图像恢复过程。这里,我们比较不同的损失函数性能LDCT图像恢复:(1)只与敌对的损失,(2)只有知觉损失,(3)只有清晰度损失,(4)只与结构相似性的损失,和(5)混合损失。同时,我们把MDLCT数据集作为一个例子。结果如图13。

从图13敌对的损失,使边缘锐利(如图所示13(a))。知觉损失使边缘更加明显(如图13(b)),它很容易导致的工件。清晰度损失可以生成一个清晰的图像(如图13(c)),但是,它损失的部分细节。结构相似的损失可以保留更多的细节和图像结构,同时减少噪音。评价图像的质量,我们适应PSNR, SSIM, FSIM。结果如表所示8。

从表8我们可以发现,尽管任何一个四损失函数的优点,只有一种损失函数,图像的质量低于混合损失函数的图像。另外,随着混合损失函数,我们可以实现梯度点球和加速收敛。

由于我们的(参数)混合损失函数可以对去噪效果的影响。在这里,我们试图找到之间的关系选择参数和去噪图像的质量。为了确定最优加权参数为每个损失物品在我们的混合损失函数,我们常常依赖于我们的实验经验。当我们需要选择最优参数,首先,我们修复 , ,和并选择最优 。然后,我们修复 , ,和并确定最优 。确定最优的过程是确定最优的一样吗 。最后,我们获得的最佳值基于最优 , ,和 。在选择参数的值时,我们用来衡量去噪性能不同的值,如图14。在这里,我们把参数作为一个例子,使用MSE作为指标。

结果表明,所选的参数对去噪性能有影响。

6。结论

在本文中,我们提出一个新颖的框架去噪低剂量CT图像,利用噪声学习和增强SSWGAN混合损失函数,包括敌对的损失、知觉丧失、清晰度损失,和结构相似性的损失。首先,为了获得一个无噪声的CT图像,我们的发电机可以学LDCT的噪声分布图像,然后从输入减少噪音。离线训练后对低剂量和正常剂量CT图像,我们的方法可以减少原始CT图像的噪音比最先进的方法。在未来,我们将改善我们的网络获得无噪声的CT图像去噪质量更好的低剂量CT图像。

数据可用性

没有数据被用来支持本研究。

的利益冲突

没有利益冲突有关的出版。

确认

这项工作是由吉林省科技发展计划,中国(20180201037号科幻,20190201196 jc, 20190302112 gx, 20200404142 yy, 20200403127科幻小说,和20200401078 gx)。