文摘

低剂量计算机断层扫描(LDCT)已经获得了极大的关注,但在临床过程中由于其能够减少病人暴露于x射线辐射的风险。然而,减少x射线剂量增加的量子噪声和工件获得LDCT图像。因此,它产生视觉劣质LDCT图像影响疾病的诊断和治疗计划在临床过程。深度学习(DL)最近成为LDCT去噪的尖端技术由于其高性能和数据驱动执行相比,传统的去噪方法。虽然DL-based LDCT降噪模型表现相当好,一些噪声组件仍保留在去噪LDCT图像。噪声保留的原因之一是地图的直接传输特性通过收缩和提取基于路径DL的跳过连接模式。因此,在这项研究中,我们提出一个生成对抗网络与初始网络模块(InNetGAN)作为过滤噪声传播的解决方案通过跳过连接和保护LDCT图像的纹理和精细结构。该发电机建模基于U-net架构。跳过连接在U-net架构修改与三种不同的初始网络模块中过滤掉噪音特征图谱经过他们。定量和定性实验结果表明InNetGAN模型的性能在降低噪声和保留的细微结构和纹理细节LDCT相比其他先进的图像去噪算法。

1。介绍

计算机断层扫描(CT)是一种广泛使用的医学图像在临床医学模式诊断各种疾病,包括肿瘤、肺结节,内伤,骨折。获得CT在一个较高的x射线剂量产生具有高对比度的图像,需要可靠的诊断决策。然而,接触患者的辐射会导致严重的健康风险,如代谢异常,癌症,和其他遗传疾病(1]。因此,获取低剂量CT (LDCT)基于众所周知的指导原则称为低至合理可行的(和)已成为一个具有挑战性的话题在CT临床程序(2]。

最常见的方法获得较低的辐射剂量是减少x射线通量通过限制x射线管当前的(3]。然而,减少x射线通量总是在嘈杂的重建结果LDCT形象。LDCT产生噪音的主要原因是无法穿透扫描对象由于缺少能源强度的低剂量x射线通量4]。因此,视觉重建LDCT图像质量严重下降了嵌入式噪音和损害的诊断性能。因此,人们提出了各种去噪算法在过去五年提高LDCT图像。总体而言,这些算法可以分为三个类别,如正弦图域滤波迭代重建,图像域处理(5]。

正弦图域filtering-based LDCT去噪算法直接应用CT投影数据在扫描阶段的CT采集过程。因此,这些去噪算法能够准确计算LDCT图像中噪声统计数据。同时,它执行计算效率高。投影数据滤波结合双边滤波(6和sparsity-based过滤(可能性),数据7),结构自适应滤波(8),和惩罚似然方法(9)已经发表的正弦图域过滤应用程序。然而,公开访问投影数据的局限性,边缘模糊,和低对比度是这些应用程序中常见的缺陷。

一般来说,迭代重建算法是由结合成像系统的参数设计,正弦图中的数据域的统计特性,和图像的先验信息域到一个目标函数。因此,在过去的研究提出了不同的图像先验,包括字典学习(10),外地的意思(11),低秩近似(12),和全变差13]。迭代重建算法产生高的CT图像信号噪声比(信噪比)。然而,内容丢失,高计算成本,计算的难度CT图像的统计特性是报道这些算法的局限性。

图像域的操作直接在LDCT图像去噪算法。在一般情况下,这些算法首先估计噪声统计数据基于一个固定噪声模型,然后提出一种去噪的机制来降低噪声统计估计。因此,各种去噪应用程序发表基于噪声模型估计方法的多样性。因此,patch-based [14,15],sparsity-based [16,17],维度约简[18],statistical-based [19)是广泛使用的图像域的去噪方法在最近去噪应用程序使用。然而,噪声在图像域的去噪算法估计步骤是相当具有挑战性的非均匀分布噪声(20.]。它会导致oversmoothed边缘和噪声在图像去噪21]。与此同时,基于深度学习(DL) LDCT去噪已经在最近的研究关注由于其高性能和数据驱动的执行。因此,各种DL模型已经提出了LDCT去噪和减少视觉退化。

与常规LDCT去噪方法相比,数据驱动的执行DL-based LDCT去噪方法有效地抑制了噪声在图像域(22]。第一次卷积神经网络(CNN)的去噪LDCT发表Kang et al。23通过结合小波和深CNN。后来,陈等人。24)提出了一个简单的CNN LDCT去噪模型。之后,他们提高了模型与残余encoder-decoder模型(RED-CNN) [25]。然而,oversmoothing和纹理损失是主要的缺点的DL模型。它的发生由于regression-to-mean错误造成的意味着基于均方误差(MSE)的目标函数。也观察到,通用CNN模型包含一个缺乏体系结构支持改善视觉LDCT去噪性能。作为解决方案,变异的CNN最近提出的模型,如堆放竞争网络(SCN) [26),剩余网络(27- - - - - -32),和密集的网络(DenseNet) [33]。

一般来说,视交叉上核和DenseNet执行结构有效地保存。此外,视交叉上核的竞争块和DensNet稠密的连接增加模型的复杂性和较长的训练时间。同时,提出复杂模型导致消失在DL梯度模型。然而,ResNet模型提出的他等。34)克服了这个问题,将提取的特征与前一层的后续层DL模型通过跳过连接。在ResNet-based LDCT去噪,Gholizadeh et al。29日卷积)使用扩张提出了DL模型。因此,提出ResNet模型允许捕获更多的背景细节LDCT图像使用更少的层。除此之外,江et al。35)提出了一种多尺度并行CNN模型结合扩张卷积与剩余连接肺部CT图像去噪。实验结果表明,这种提出多尺度CNN架构已保存的结构细节,除了降噪。然而,ResNet模型中存在的残余噪声降低了通过生成弱纹理细节(LDCT去噪性能30.]。除此之外,它不能恢复细结构细节(结构的损伤)31日),导致错误的损伤工件(一些噪音低剂量图像中粒子像小病变)(36]。此外,非均匀分布的噪声和纹理的混合和LDCT图像的几何形状使CNN-based LDCT去噪方法低效保存各种结构信息(37]。

最近,生成对抗网络(GAN) (38在LDCT去噪中获得了太多的关注39]。没有明确的数据生成模型的概率密度函数,执行自定义目标函数,敌对的学习机制鼓励GAN申请去噪LDCT图像。第一个GAN模型解决的局限性voxel-wise回归LDCT降噪发表的Wolterink et al。40]。sharpness-aware GAN模型之后,提出了加强临床上重要的边缘结构(41]。此外,富达嵌入式GAN模型提出了(42)对未配对的CT数据训练。因此,它提供了一个解决方案不可用的医学影像数据在训练中DL模型。除此之外,GAN模型(43)利用视觉注意力网络克服MSE-based损失造成的滤波功能。而不是使用训练数据集与Routing-dose CT (RDCT)和LDCT数据,崔et al。44)提出了一个条件GAN模型去噪LDCT图像使用sinogram-based统计LDCT图像细节。甘后出版的概念,瓦瑟斯坦(WGAN) (45,46),提出了几个LDCT去噪应用程序结合WGAN模型与知觉相似性(47)、结构相似度(48),和ResNet模型(4]。除此之外,李et al。37)提出了一个WGAN-based self-attention GAN克服的局限性CNN-based LDCT去噪方法。除了这些应用程序,最近阴et al。49)提出了一个WGAN与未配对的CT数据模型。他们实现了一个multiperceptual损失确定LDCT之间的功能分配和RDCT图像。甘条件模型相比,WGAN执行更好的网络收敛。然而,它仍然需要改进来获得更好的视觉表现LDCT去噪应用程序(48]。毛提出的最小平方GAN (LS-GAN) et al。50)取代了二叉与最小二乘损失损失,减轻GAN模型梯度消失的问题。惩罚LS-GAN模型合成图像根据其边界的距离决定克服梯度消失问题[20.,51,52]。同时,Cycle-GAN模型恢复LDCT图像通过学习未配对的RDCT集合图像的噪声分布已经发表在[53,54]。进一步,与其他GAN架构,Cycle-GAN可以减少由于现有反演模式崩溃路径。

虽然在LDCT GAN-based模型执行重要的视觉性能比其他图像域的去噪算法,LDCT细微结构信息的图像仍然是不匹配的。噪声分布的不均匀性和CT图像的纹理和几何形状的混合物是这种影响的主要原因。因此,噪声和结构变形仍然出现的退化恢复CTs (37]。除此之外,还有一个潜在的噪音从收缩转移路径提取路径通过跳过连接contraction-extraction基于路径发电机。它会导致噪声的去噪LDCT图片和影响仍然生成错误的损伤构件(20.]。同时,DL模型的低稳定性的负面影响纹理保存(LDCT图像中52]。因此,在这项研究中,我们提出一个修改U-Net-based GAN架构与初始网络集成模块来克服现有contraction-extraction基于路径生成器模型的局限性。该模型被称为初始网络GAN (InNetGAN)。它一直在评估各种解剖结构来确定它的去噪性能,精细结构保存,和纹理保存使用标准临床数据集。最后,定量和定性的比较结果表明,该模型对图像质量优于其他先进的方法,保护结构和纹理相似性。

本文的其余部分组织如下。理论在LDCT噪声模型的细节和image-to-image翻译模型的概述介绍部分2。然后,InNetGAN模型中描述的架构部分3。随后,并给出了实验结果4,并讨论结果阐述了部分5。最后,部分6强调了结论和未来的研究方向。

2。理论

2.1。噪声模型

给定一个LDCT形象,我LDϵR ×h获得的,是作为一个函数FRDCT的形象,我理查德·道金斯ϵ ,按照下面公式: 在哪里F: ⟶ 表示退化引起的量子噪声,R表示图像空间, 表示宽度×高度的CT图像。一般来说,LDCT去噪函数(F−1可以制定的逆)F,见 在哪里 表示CT图像去噪(GenCT)最可能, 。

然而,由于复杂的重建进程之后在图像采集过程中,计算RDCT之间的确切联系和LDCT是至关重要的。换句话说,很难确定噪声建模函数(F)及其逆(F−1)。

确定噪声模型,而是DL-based跟随学习神经网络模型的方法米找到LDCT和RDCT图像之间的映射函数,给出了 在哪里θ表示DL模型的最优参数集米。因此,DL-based去噪方法中定义试图解决这个问题 在哪里NDL模型与一个训练有素的参数集吗θ。

2.2。Image-to-Image翻译

氮化镓是一种生殖DL模型合成数据训练通过模仿某一分布。它由两个平行运行cnn称为发电机和鉴频器。发电机 氮化镓学习如何合成真实图像G(z)通过随机选择z点的噪声分布Z。一般来说,合成样品的分布年代分布更接近T真正的训练样本y,在那里T=P数据(y)。鉴频器D是一个简单的分类器和区分真正的训练样本y从合成样品G(z)。因此,发电机的目的是合成样品尽可能接近真实的训练样本。因此,鉴别器面临的挑战区分真正的训练样本和合成样品分开。

然而,传统GAN配方随机噪声分布z在医学成像是无效的,因为合成图像基于噪声分布不准确映射具体细微的结构和纹理。作为解决方案,image-to-image翻译模型提出的伊索拉et al。55甘)可以应用于设计体系结构来克服这个限制。image-to-image翻译的学习过程模型是图像的条件。因此,一种表示的训练图像映射到另一个当训练image-to-image翻译模型所需的图像表示。

3所示。材料和方法

3.1。网络体系结构

图1描述了该InNetGAN模型的总体架构。它由发电机G综合降噪图像(G(我LD从输入LDCT图像())我LD)。鉴频器的D试图区分这些去噪图像和RDCT图像(我理查德·道金斯)分开。


图1
InNetGAN的总体架构。
3.2。发电机

如图2的发电机InNetGAN建模基于U-net架构(56]。发电机由四个卷积和反褶积块的收缩和提取路径,分别。此外,它有一个卷积块瓶颈层。如图2,每个卷积块由两个卷积层和两个ReLU激活功能。卷积块相比,反褶积块的设计有点复杂。反褶积块的结构由一个deconvolutional层、连接层,两个卷积层,两个ReLU激活功能。在图2每一个卷积和反褶积层被贴上标签,有三个参数,n,C,年代,显示过滤器,卷积核的大小,分别和步幅大小(例如,n64年C3年代1代表64过滤器,3×3卷积核,和单步卷积层)。传统的U-net模型由长跳过相应的收缩和萃取层之间的连接。这些跳过连接传输特性的细节从收缩路径提取路径,提高网络性能,减少梯度消失。然而,这直接转移特性的细节通过噪声提取路径和结果在去噪LDCT图像噪声保留。该发电机模型综合初始网络模块(57在跳过连接来克服这个问题。


图2
提出了结构的发电机。
3.3。《盗梦空间》网络

在我们提出InNetGAN模型,初始网络模块(57)已经结合U-net模型在长跳过连接。因此,它通过减少噪声组件可以改善模型性能和反映了多尺度的视觉特性。在这项研究中,提出了三个初始网络模块。图3描述每一个初始网络的结构模块。如发电机模型如图所示2,《盗梦空间》网络模块1与第一和第二跳过连接。同样,《盗梦空间》网络模块2和3连接到第三和第四跳过连接,分别(图2)。卷积过滤器的数量在最后一层每个初始网络模块调整保持兼容U-Net提取路径层模型。此外,这些过滤特征图连接与相应的反褶积层在提取路径。噪声转移通过跳过连接逐渐减少与增加U-Net深度模型。因此,《盗梦空间》的复杂性网络模块应该减少与U-net深度模型。否则,特征图谱在初始网络传输模块oversmoothed和生成模糊输出图像。

(一)
(一)
(b)
(b)
(c)
(c)
图3
《盗梦空间》网络模块,(一)《盗梦空间》网络模块1 (InNet 1), (b)《盗梦空间》网络模块2 (InNet 2),和(c)《盗梦空间》网络模块3 (InNet 3), (F1 = 64或128过滤器,F2 = 256过滤器,F3 = 512过滤器)。
3.4。鉴频器

拟议的鉴别器已经建模基于补丁GAN架构中提到(55]。补丁GAN分类LDCT RDCT和去噪图像的补丁(GenCT))或嘈杂的一样真实。因此,与传统的CNN分类器,补丁GAN模型在每一层在当地多个图像补丁,并确定每个补丁是否真实或吵了。最后,平均中值输出补丁给个人得分。因此,这patch-based执行计数当地合成图像的纹理细节和backpropagates GAN网络。提出了鉴别器的体系结构模型如图4。因此,它由卷积6层。每个卷积层贴上了三个参数,n,C,年代,显示过滤器,卷积核的大小,分别和步幅大小(例如,n64年C4年代2代表64过滤器,4×4卷积核,和双步卷积层)。LeakyReLU激活函数的斜率是初始化到0.2。该提议的鉴别器接受大小256×256的输入特性映射和输出特性的地图大小16×16。同时,模型的有效的接受域的大小是190×190。


图4
拟议的鉴频器的结构。
3.5。目标函数

InNetGAN模型基于image-to-image翻译和执行条件对抗在培训学习。因此,对抗的损失(l阿德)提出InNetGAN模型可以表示为在 在哪里E(。)我LD,我理查德·道金斯期望值,LDCT分别和RDCT图像。Z甘代表噪声分布在传统培训。然而,在image-to-image翻译模型,Z可以忽略以来敌对的学习培训image-to-image翻译过程的输入(LDCT图像55]。在训练阶段,发电机G试图最小化目标函数,鉴别器D试图最大化。此外,对抗训练保持结构和结构的细节LDCT图像。

尽管mean-based损失函数输出oversmoothed结果,实证结果证明,这些可以提高图像质量48]。因此,最小绝对误差(莱城)或l1之间的损失计算去噪LDCT图像(G(我LD))和RDCT (我理查德·道金斯)图像的目标之一提出的去噪方法。它决定了多远接近各自的图像去噪LDCT RDCT形象。计算的公式l1给出了损失

的总体目标函数InNetGAN形成敌对的损失和l1给出了损失 在哪里λ1和λ2是敌对的损失和各自的权重分配吗l1损失平衡训练过程。在这项研究中,λ1和λ2初始化经验,分别为0.05和0.99,。这两个参数的最优值将被定义为本研究的未来的工作。最后,计算损失backpropagated每个训练迭代优化。

3.6。网络参数和实现

亚当(58与学习速率优化器1×10−5和β= 0.5甘被用来训练提出了模型。卷积和反褶积内核初始化随机高斯分布为0的平均值和标准偏差为0.001。200年的网络训练时期的minibatch 10码。同时,该模型是用TensorFlow Keras编程API。所有实验上实现工作站(英特尔酷睿I7 10750 h与32 GB ram) 2.6 GHz和加速了NVIDIA RTX 2070 (8 GB)的图形处理单元。

4所示。结果与讨论

4.1。数据集

临床数据提取“2016 NH-AAPM-Mayo诊所低剂量大挑战”数据集(59]。数据集(AAPM-dataset)由3490对routing-dose和quarter-dose 512×512 CT图像从10匿名的病人。同时,3250对图像选择随机选择从8病人训练,和240对图像选择从剩下的两种情况进行测试。在开始训练和测试之前,所有选定图像样本新256×256和归一化强度[0,1]值范围。

4.2。评价指标

结果定量地评估使用四个评价指标:MSE,峰值信噪比(PSNR),结构相似度指数(SSIM)和统计的措施。MSE用于测量位移的强度去噪LDCT图像对应的真实RDCT形象。MSE越低,图像越好。给出的公式计算均方误差 在哪里我理查德·道金斯,我GenCT分别代表RDCT图像和图像去噪LDCT。我和j站的像素坐标米宽度和n高度的形象。

降噪的性能评估使用PSNR使用给出的公式 在马克斯的最大强度值RDCT形象。初始化参数最大到255年以来在这项研究中使用的测试图像是每个示例使用8位来表示。PSNR值越高,图像越好。

SSIM决定处理图像的感知质量和计算基于亮度,对比,和结构。SSIM给出计算公式 在哪里μ和σ代表当地的均值和标准差我理查德·道金斯和我GenCT。σc代表cross-covariance的我理查德·道金斯和我GenCT。C1= (k1l)2和C2= (k2l)2是稳定的变量弱分母的部门,在哪里k1= 0.01,k2= 0.03,l=动态范围的像素值是255。SSIM越高,图像越好。

平均值和标准偏差(STD)被用作统计措施确定噪声级保留的结果通过PSNR和SSIM指标。

除此之外,熵是用来生成纹理映射的图像去噪LDCT使用以下方程: 在哪里p代表一个像素的直方图统计。

4.3。比较的方法

提出InNetGAN模型与一些先进的图像去噪算法相比,包括RED-CNN [25]和PixToPix GAN [55]。其中,RED-CNN基于残余encoder-decoder跳过连接网络。PixToPix GAN包含U-net-based生成器。它将跳过联系各自的层在提取路径。这些算法的参数设置为原始的文章中提到。

除此之外,我们提出了另一个模型通过略微改变提出InNetGAN模型。这个新模型命名InResGAN执行添加操作而不是连接操作的扩张路径。因此,这个InResGAN模型执行剩余扩张途径学习。这个InResGAN设计的目的是比较InNetGAN串联运行的性能模型。我们训练有素的所有这些DL模型200时代(10 minibatches)在同一部分中提到的硬件和数据集3.6和4.1,分别。

4.4。去噪性能:视觉分析

定性评价去噪性能,两个代表胸部和腹部CT片从显示的测试数据集,选择与比较算法的去噪结果数据5和6,分别。有锐边的不同的结构、组织和低密度病变可以观察到在RDCT图像数据中描述5(一个)和6(一)。然而,同样的功能LDCT图像描绘在图所示5 (b)和6 (b)与视觉退化。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
图5
胸部CT的去噪结果从选中的去噪算法。(一)RDCT, (b) LDCT, (c) RED-CNN, (d) PixToPix, (e) InResGAN, InNetGAN (f)。
(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
图6
80×80的去噪结果ROI标记在图5(一个)。黄色箭头指向低衰减病变,和白色的箭头指向软组织。(一)RDCT, (b) LDCT, (c) RED-CNN, (d) PixToPix, (e) InResGAN, InNetGAN (f)。

RED-CNN LDCT图像去噪的方法5 (c)和6 (c)有oversmoothed由于regression-to-mean MSE-based所造成的误差目标函数。也,RED-CNN遭受损失的纹理和箭头,如图是可见的5 (c)。MSE-based目标函数的主要原因是导致基于像素损失和忽视保护知觉细节在训练。然而,视觉插图清楚显示,GAN-based方法改善了RED-CNN结构和结构的细节。尽管如此,结果从PixToPix GAN获得平滑的边缘部分软组织,和InResGAN引入了裸奔工件在平滑区域。为了更好地可视化的噪声抑制和细节保护选定的样本,感兴趣的两个区域(roi)数据5(一个)和6(一)是放大的数字7和8,分别。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
图7
腹部CT的去噪结果从选中的去噪算法。(一)RDCT, (b) LDCT, (c) RED-CNN, (d) PixToPix, (e) InResGAN, InNetGAN (f)。选择窗口范围是[160−240]。
(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
图8
80×80的去噪结果ROI标记在图5(一个)。黄色箭头指向低衰减病变和白色箭头指向软组织。(一)RDCT, (b) LDCT, (c) RED-CNN, (d) PixToPix, (e) InResGAN, InNetGAN (f)。选中的窗口范围是[160−240]。

胸部CT图中描述的roi6想象一个坚实non-calcified病变,黄色箭头所示。所有DL-based算法已经成功保存这个病变区域。RED-CNN结果如图7 (c)可视化表现轻微改善骨骼结构和病变。然而,边缘的清晰度没有完全恢复。同时,较低的图像可视化纹理保存。相比之下,从GAN-based模型获得的结果如图7 (d)- - - - - -7 (f)妥善保存损伤和其他结构的细节。,InNetGAN已经超过PixToPix和InResGAN结果减少纹理保存和工件。

roi描绘在图8强调腹部转移的CT影像图吗6(箭头)。这种病变不明显的可视化LDCT ROI如图8 (b)由于噪声的影响。即使选择的去噪算法抑制这些子图象的噪声在某种程度上,转移地区oversmoothed RED-CNN结果如图8 (c)。RED-CNN结果,病变区域用模糊边界。此外,平滑区域的InResGAN结果如图8 (e)有退化的裸奔工件。除此之外,我们提出InNetGAN(图8 (f))保存纹理和结构的细节比PixToPix结果如图尖锐8 (d)。

进一步说明噪声抑制的影响在不同的方法,绝对的形象差异(残余图像)是相对于LDCT获得图像。在这个实验中获得的残余图像根据描绘在图的比较方法9。与残余图像描绘在图的引用9(一个),所有剩余的图像测试DL方法保留了各自的残余图像中最小的结构细节。保留剩余图像内的最小结构细节证明了这些测试算法的降噪能力。GAN-based残余图像的方法,它可以观察到,InNetGAN保留剩余的最小结构的细节图像。因此,它可以表示,InNetGAN可以降噪LDCT图片相对比其他测试GAN-based模型。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
(g)
(g)
图9
绝对的形象差异LDCT相关的图片。(a) RDCT、(b) LDCT LDCT-RDCT (c), (d) LDCT-RED-CNN, (e) LDCT-PixToPix LDCT-InResGAN (f), (g) LDCT-InNetGAN。
4.5。去噪Performance-Quantitative分析

240 LDCT片测试使用的测试数据集选择方法定量地分析结果比较。MSE、PSNR和SSIM的10个随机选择的图像样本值表中给出的测试数据集1- - - - - -3。MSE定义测试图像和地面之间的空间谱接近真理(RDCT图像在这个场景中)。根据表中所示的结果1,InNetGAN模型取得的所有测试样本的最小均方误差值除了样本4。有最小均方误差对于大多数测试样本表明,提出的噪声InNetGan模型可以更好的减少。然而,这个判断不符合所有的样品使用PSNR值进行了测试。根据PSNR, RED-CNN也获得了一些测试图像的PSNR得分最高的样本。RED-CNN MSE-based目标函数是实现更高的PSNR值的主要原因对一些样品进行测试。然而,SSIM结果列在表中3强调,GAN-based DL方法可以保持结构细节比CNN-based DL模型。敌对的学习上执行GAN模型保持结构相似性GAN-based去噪模型。

表1
均方误差值选出的10个样品测试数据集。
表2
PSNR值选出的10个样品测试数据集。
表3
从测试数据集SSIM的十个样本值选择。

同时,平均均方误差、PSNR和SSIM整个测试集的值计算和列在表4进行进一步分析。根据表中所示的结果4DL模型之间的平均均方误差值显示,从PixToPix逐渐减少,InResGAN InNetGAN。这种倾向强调减少DL的噪声模型的能力。在氮化镓模型,平均从PixToPix MSE继续下降,InResGAN,显示了InNetGAN中的最小值。它显示了噪声抑制的力量在《盗梦空间》通过旁路连接网络运营U-Net发电机。PSNR证明整个信号无论空间数据质量。根据表中所示的结果1,PSNR LDCT相比改善了的所有方法。平均SSIM代表类似的平均PSNR的趋势。然而,由于工件的平均SSIM InResGAN略小于平均SSIM PixToPix和InNetGAN。此外,InNetGAN高于平均的平均SSIM SSIM PixToPix GAN由于更好的对比。

表4
平均量化结果的测试数据集。

在分析定量结果列在表中1- - - - - -3,它已经意识到这些结果与评价矩阵。因此,需要进一步分析确定去噪过程的一致性。作为一个解决方案,统计分析已经完成所有测试样品。因此,强度分布的平均值和标准偏差计算的所有测试方法使用箱线图中给出的测试数据集和数据所示10 ()和10 (b)。此外,表5列出了意味着平均和平均标准偏差的图像强度的测试方法。离均值分布如图10 (),它可以观察到的平均分布InNetGAN是黄金标准直接意味着RDCT分布。另外,表5强调的意思是平均InNetGAN接近RDCT的平均值。除此之外,在标准偏差分布如图10 (b),InNetGAN分布强度接近RDCT分布的标准偏差。平均标准偏差表所示5也证实了这一事实。总的来说,箱线图如图10揭示了该InNetGAN模型映射的数据分布的能力LDCT图像尽可能接近RDCT数据分布无关的数据分布的矛盾的结果定量分析基于个人样本。此外,附近的LDCT图像映射的数据分布等于RDCT图像的数据分布的主要目标是DL-based去噪应用程序。因此,可以得出结论,提出InNetGAN表现有效降噪相比其他先进的方法。

(一)
(一)
(b)
(b)
图10
统计结果的强度分布测试数据集。(a)分布的强度是指根据选择的测试方法和测试数据集(b)分布的标准偏差的测试数据集根据所选的测试方法。
表5
平均平均和平均强度标准差的测试数据根据所选的测试方法。

强度进行了概要的分析所选样本可视化空间域去噪性能。参考线的强度分布图形获得标记在图(11日)说明在图11 (b)为每个测试方法。样本图像标记的参考线之间的空间坐标(100、170)和(150、170)。它通过软组织区域运行,骨骼结构,骨骼结构的边缘保持变化。配置文件生成强度InNetGAN(图11 (b))表明它优于其他方法,接近RDCT的强度分布。总的来说,这些强度剖面分析结果进一步证实了该InNetGAN模型的降噪能力。

(一)
(一)
(b)
(b)
图11
强度剖面从选中的去噪算法。(一)参考CT图像描绘在图5(一个)。概要分析的线标记点(100、170)和点之间(150、170)。(b)强度的RDCT LDCT,和比较模型。
4.6。细微的结构保护

一些细微的结构提取的三个测试图像和呈现在图12比较结构保留模型的潜力。选中的ROI RDCT标志在一个白色矩形参考图像。子图象描述视觉结果处理后每一个ROI使用选定的测试算法。

(一)
(一)
(b)
(b)
(c)
(c)
图12
扩大roi代表各种微妙的结构增强去噪方法。

在图12(一),ROI显示了一个窄桥连接两个小斑点。这个连接不是大幅可视化LDCT ROI由于噪声的影响。在处理结果中,RED-CNN算法未能重现这连接由于过度平滑。相比RED-CNN ROI,所有GAN-based ROI逐步重新设计了失去了结构连接两个街区。然而,它可以观察到,这座桥由InNetGAN模型恢复了这种结构比PixToPix尖锐和InResGAN模型。因此,这种视觉说明证实了提出的结构修复能力InNetGAN模型。

数据12(b)和图12(c)想象病变中发现胸部CT图像。在这两个ROI, LDCT ROI图12(b)所示轻微破损的箭头指向分支。然而,它可以观察到,这种结构在RED-CNN没有保存成功,PixToPix, InResGAN结果。同时,oversmoothed RED-CNN由于回归平均误差。此外,它已经在PixToPix未能形成完整的结构和InResGAN模型由于噪声的影响。然而,InNetGAN的ROI模型可视化结构鲜明完整的连通性。

图12(c)强调胸部CT图像中的一种损伤。这种病变沉闷的可视化LDCT ROI由于噪音。根据去噪的结果,所有的DL模型保存在某种程度上这病变。然而,RED-CNN所产生的结果和PixToPix模型与模糊可视化结构。因此,病灶的边缘没有出现大幅。这种限制的主要原因是MSE-based目标函数中使用这些模型。此外,同样的错误生成的病变有InResGAN ROI(红色箭头)由于残余学习。然而,它可以观察到,这个假病变不形成的ROI InNetGAN结果。

4.7。纹理保存

一般来说,纹理可以被定义为一个图像功能,提供信息的空间安排强度值。因此,类似的组织在CT图像应该表示相同的纹理。作为一个统计指标,熵可以用于估计图像纹理。它决定了目标图像中包含的信息的随机性。在这个实验中,首先,所有去噪LDCT图像的熵计算测试数据集。这些计算熵值熵可以表示成地图所示的子图象(b), (d)和(f)的数据13和14。熵的地图数据中描述13和14后被派生InNetGAN模型预测的测试数据集。同样,熵地图已经派生其他实验方法遵循相同的过程。定量确定的纹理保存性能测试方法,三个roi选择从三个样本熵图中所示的子图象(b), (d)和(f)的数据13和14。所有选中的roi,除了图中所示13(f)代表肺和肝的软组织。图14(f)显示了ROI与不同纹理的腹部图像。一般来说,这些器官高度报道许多临床显著异常,需要可视化和清晰的对比。因此,为了确保这些区域去噪前后的视觉清晰度,我们选择从这些器官的roi。然后,之间的均方误差计算roi从选定的测试方法和相应的RDCT获得图像。最后,计算均方误差值已经扩大到(0 - 1)和可视化为百分比值。结果如图13(g)和14(g)进行进一步分析。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
(g)
(g)
图13
纹理胸部数据的保存。(a, c, e)三个示例RDCT从测试数据集,提取的图像熵(b, d, f)地图导出测试由InNetGAN图像去噪模型。(g)条形图的归一化均方误差的比例计算的所有测试方法基于三个roi (b, d, f)。
(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
(g)
(g)
图14
纹理腹部数据的保存。(a, c, e)三个示例RDCT图像提取测试数据集,(b), (d)和(f)熵地图导出测试由InNetGAN图像去噪模型。(g)条形图的归一化均方误差的比例计算的所有测试方法基于roi的三个标志(b)、(d)和(f)。

根据这个定量分析,测试算法和最小均方误差代表了最好的纹理保存。因此,InNetGAN模型表示的最小均方误差。

三个roi的熵值为所有地图在样例胸部CT图像中描述数据13(b)和13(f)。一般来说,oversmoothing去噪图像的纹理密度下降。因此,计算大型oversmoothed MSE值区域。这就是为什么在ROI1 RED-CNN和PixToPix模型计算均方误差值高。然而,根据图14(g)、纹理保存我们提出的方法优于其他测试方法在所有三个地图计算熵在腹部CT图像。同时,这个实验进一步证实了缺乏纹理保存RED-CNN算法。

4.8。网络收敛性

甘来确定网络收敛的三个模式,全球损失计算每个激活步骤图如图所示15。PixToPix和InResGAN已经制定的目标函数通过使用二叉叉和L2损失。然而,我们提出的目标函数InNetGAN模型利用L1损失而不是L2损失。如图15甘收敛曲线的三个模式,展示了一种变体在训练过程中第一个9000步,然后执行一个稳定的趋势。


图15
DL模型的收敛曲线。
4.9。运行时间

运行时的各种LDCT去噪算法认为这项研究被列入表中6。为每一个选定的去噪算法,计算去噪的平均时间的测试数据集240 LDCT图像大小为256×256。结果显示,RED-CNN甘比模型。的主要原因这长的执行时间RED-CNN修补和合并操作期间进行预测。这些操作需要更多时间比预测单个图像。同时,在PixToPix GAN-based去噪模型,模型是最快的。这种快速执行PixToPix的主要原因是U-Net-based发电机配备简单跳过连接。因此,InResGAN和InNetGAN相比,PixToPix模型并不执行额外的卷积操作跳过连接。甘两个初始模型,我们提出的模型执行较慢的预测由于参数的数量的增加,当连接的跳过连接提取路径。

表6
平均运行时间的不同LDCT去噪算法。
4.10。盲人读者的研究

盲人读者研究的目的是定性确定接受LDCT根据主观决定的去噪结果临床专家。评估做了十集的图像切片随机选择的测试数据集。每个图像集由RDCT、LDCT和去噪LDCT图像。在这项研究中,RDCT和LDCT图像作为参考图像去噪图像。评估是由三个有经验的(做些年)放射科医生。放射科医生没有考虑到信息的方法应用于降噪LDCT图像。此外,放射科医生被要求给每个评分的去噪图像噪声去除,减少工件,对比保留和病变歧视五分制(1 =不可接受,2 =温和,3 =可以管理,4 =接受,和5 =优秀)。分数由放射科医生被报告为±性病。结果如表所示7。

表7
盲人读者研究结果。

5。讨论

本研究的主要目的是减少量子噪声嵌入LDCT图像和提高视觉质量,保护结构和结构信息。实验结果表明,该InNetGAN模型在降噪效果良好而被认为是在这个研究最先进的方法。因此,所给予的支持建议的体系结构是高度鼓励LDCT降噪中取得成功。

我们使用通用U-net架构发表在56)设计发电机网络。这种U-net架构是基于收缩和采用DL模型。的收缩路径U-net模型增加了特征信息,同时减少了空间信息。因此,有效地抑制了噪声组件和保留的结构细节(LDCT图像60]。之后,扩张路径构造feature-enhanced低噪声图像在upsampling层(61年]。根据这些信息,它可以表示,U-net-based发生器的选择是甘适合拟议的模型。评估的定量和定性实验结果进一步去噪性能保证这个事实。

根据平均均方误差值获得了DL模型(表4),它可以观察到,MSE平均分数为所有小于RED-CNN GAN模型的结果。此外,平均PSNR PixToPix连续也逐渐增多,InResGAN, InNetGAN。因此,这些定量结果显示出更好的降噪性能在GAN RED-CNN模型比encoder-decoder模型。此外,甘符合测试模型,我们提出InNetGAN取得最低的平均均方误差和平均PSNR值最高。它揭示了我们建议的模型的降噪能力比其他测试算法。

也需要过滤掉造成的残留噪声特征图谱通过跳过连接U-net生成器。《盗梦空间》的三个模块连接到U-Net模型执行此残余噪声过滤(57]。这些初始网络模块有效地利用计算机资源,因为他们有一个小数量的参数。过滤掉噪音也,《盗梦空间》模块通过多尺度卷积核和保存特征图的结构细节通过跳过连接。三个DL模型测试在这项研究中也有类似的U-Net模型生成器模型,但是有三个不同的设计为跳过连接。因此,PixToPix一直跳过连接。InResGAN和InNetGAN模型在跳过初始剩余模块和初始模块连接,分别。根据实验结果,最好的定量结果如图10,平均MSE和PSNR值如表所示4,意味着平均和平均标准偏差表所示5属于InNetGAN模型。因此,最好的量化分数InNetGAN模型确认的额外提振降噪的初始网络模块。

Mean-based损失函数计算去噪的像素亲密LDCT和RDCT图像。mean-based损失函数,积分L1损失为目标函数比L2损失,技术上更有利,因为L1损失并不overpenalize大像素差异图像去噪图像和金本位RDCT LDCT [48]。因此,它抑制了模糊工件和保存在图像去噪LDCT灰色的内容。

除了降噪,最高平均SSIM得分表4表明该InNetGAN模型能够较好地保留所有其他测试方法相比的结构细节。此外,视觉数据的比较结果7和8演示InNetGAN保护潜在的软、硬组织。同时,所有的视觉评估完成这项研究已经证实RED-CNN未能保持锋利的边界在微妙的结构由于regression-to-mean错误。甘与RED-CNN算法相比,测试模型去噪LDCT图像的结构信息保存到一个视觉上令人满意的水平。然而,详细说明最佳GAN模型精细结构保存,最好讨论精细结构的分析结果呈现在图12。,数字12(一)和12(b)证据更好InNetGAN的结构保护功能的例子。他们想象InNetGAN如何构造破碎的连接两个微小气泡之间的数字12(一)和12(b)。此外,几何结构的损伤,出现在图12(c)在InResGAN已经改变。这个假损伤工件已经最小化在我们提出InNetGAN模型。总的来说,所有这些讨论实验证据证明我们提出的结构保护能力InNetGAN模型。

表面的纹理表示变化62年,63年]。这是一个重要的属性在电子管学分析。同时,纹理自动疾病诊断系统是一个重要的特性。不正确的纹理分类的准确性降低一些图像处理算法分割和目标检测等应用程序。因此,纹理保存在医学成像应用中是一个重要的预处理操作。根据实验结果如图13和14,InNetGAN模型保存软组织的纹理细节区域较低比例的归一化均方误差。虽然InResGAN模型执行相对较好保护胸部软组织的纹理图像,工件上表面光滑超过了InNetGAN做出一些障碍。

根据盲人读者研究的结果显示在表中7,我们提出InNetGAN模型获得了最高的平均响应每个标准的测试。根据五点量表用来评估结果,提出InNetGAN获得可控的定性评估水平测试标准。此外,它可以观察到,RED-CNN为降噪也获得了一个更高的价值由于其MSE-based目标函数。然而,它不是为病变表现良好歧视由于其纹理保存能力差。尽管InNetGAN执行其他测试方法相比,它需要进一步的改善达到临床可接受的水平。

提出InNetGAN模型抑制残余噪声经过漫长的跳过连接U-net发生器。初始网络实现了U-net模型执行这个剩余噪声过滤。此外,实验结果还强调了InNetGAN能力结构保存,纹理保存和最小化假损伤构件相比,先进的DL-based LDCT去噪模型。然而,它需要做一个消融研究该模型使它对不同的噪声水平和multi-anatomical结构广义。同时,改善硬组织的清晰度和微妙的结构需要做这项研究的未来的工作。此外,在RDCT确定噪声的影响学习的过程也是一个开放的应对未来的挑战。

6。结论

本研究提出了一个GAN-based LDCT去噪方法使用修改后的U-net-based生成器和一个patch-GAN-based鉴别器。初始网络模块实现发电机过滤噪声的特征图谱通过跳过连接。因此,噪声保留在图像去噪LDCT减轻。实验结果表明,InNetGAN有效保存LDCT图像的纹理和临床意义上的微妙的细节,同时抑制噪声。作为本研究的下一步,我们希望继续实验获得的普遍性InNetGAN在不同噪声水平和不同的构造。

数据可用性

RDCT季度剂量LDCT数据集可以从下载https://www.aapm.org/grandchallenge/lowdosect/。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

本研究支持的2020 APT EBC-C(预算外来自中国)项目推进ICT的使用实现可持续发展目标和马来亚大学if015 - 2021和世界银行资助的操作,加快高等教育的发展和扩张斯里兰卡(格兰特号码:前/博士/ R1-PART-2 / ENG&TECH / 105)。