1。介绍gydF4y2Ba
噪音是随机的和不可避免的出现,图像质量评估密切相关。由于医学图像的辐射特性,各种噪音发生在收购过程中,特别是当辐射剂量减少。作为图像处理的一个基本步骤,图像去噪需要去除噪声和保持图像细节。一般来说,图像去噪方法可以分为两类:传统的方法和深度学习方法,包括本地和外地的方法(gydF4y2Ba
1gydF4y2Ba]。gydF4y2Ba
常见的传统方法处理噪音根据各种过滤器。离散小波变换(gydF4y2Ba
2gydF4y2Ba,gydF4y2Ba
3gydF4y2Ba)结构简单和快速的计算是一个流行的基于过滤器的传统去噪算法。对于外地基于过滤器算法(gydF4y2Ba
4gydF4y2Ba- - - - - -gydF4y2Ba
6gydF4y2Ba),张等人采用非局部方法正规化测量噪声文物(gydF4y2Ba
5gydF4y2Ba];Dabov等人提出了一种块匹配和战略3 d变换域协同过滤(BM3D) [gydF4y2Ba
6gydF4y2Ba]。自从提到方法仅限于噪音多样性,参数列表优化选择模型,如内核大小的中值滤波器(gydF4y2Ba
7gydF4y2Ba),搜索窗口定义和外地的重量意味着方法(gydF4y2Ba
8gydF4y2Ba],全变差正则化参数的最小化[gydF4y2Ba
9gydF4y2Ba),和高斯滤波器的参数gydF4y2Ba
10gydF4y2Ba]。事实上,在图像恢复过程中,噪声的相关先验知识是很难获得的。gydF4y2Ba
随着深度学习的发展,一些方法优于传统的图像分析和计算机辅助诊断技术。深度学习方法适合不确定噪声类型强劲出色的高级特性表现的能力。深卷积神经网络在图像去噪领域中取得了很大的成就,如深卷积神经网络(DCNN) [gydF4y2Ba
11gydF4y2Ba]。网络DnCNN [gydF4y2Ba
12gydF4y2Ba)是一个扩展的DCNN残留去除高斯噪声的学习策略。深入学习方法已经应用于医学图像去噪,如卷积神经网络去噪autoencoder (CNN DAE) [gydF4y2Ba
13gydF4y2Ba]。目前,生成对抗网络(GAN)取得很大的进步的图像去噪与min-max双方博弈之间生成网络和鉴别器网络(gydF4y2Ba
14gydF4y2Ba,gydF4y2Ba
15gydF4y2Ba]。然而,作为一个无条件的生成模型,GAN训练过程中所产生的样本无法控制,缺乏多样性gydF4y2Ba
16gydF4y2Ba]。为了迎接这一挑战,提出的条件生成对抗网络(CGAN) Mirza et al。gydF4y2Ba
17gydF4y2Ba),它可以被视为一个扩展基本的氮化镓。具体来说,CGAN feed生成器和鉴频器的附加信息不同的形式和控制生成模型和条件变量。先进的研究方法基于条件生成对抗网络(CGAN) [gydF4y2Ba
18gydF4y2Ba)是用于图像去噪,由于其优势转换的形象特征。金和李gydF4y2Ba
1gydF4y2Ba]CGAN用于低剂量胸部图像去噪。Zhang et al。gydF4y2Ba
19gydF4y2Ba)提出了一种基于卷积神经网络和图像去噪模型结合批处理规范化和残余学习噪声x射线图像。陈等人。gydF4y2Ba
20.gydF4y2Ba)提出了一个两步的框架GAN-CNN去除未知噪声。与无损图像相比,恢复图像有一定程度的损失细节和结构变化。gydF4y2Ba
在本文中,一种新颖的基于CGAN医学图像去噪方法。不同于传统CGAN,该方法有助于保存图像上下文关系和结构信息。众所周知,超分辨率重建可以改善图像的质量和细节中恢复过来。充分利用信息和关系CGAN每一层的一些残余密集街区(rdb)嵌入到发电机,用于超限分辨重建。噪声图像及其相应的梯度图像合并条件信息输入到模型,增强噪声图像中的噪声信息。此外,重建损失和WGAN损失损失函数相结合的目标。gydF4y2Ba
以下是本文的主要贡献:gydF4y2Ba
这项工作引入了一个新颖的基于CGAN医学图像去噪方法,这有助于保留图像上下文关系和结构信息gydF4y2Ba
我们构造一个超分辨率生成器通过嵌入一些残余密集街区(rdb),充分利用信息和CGAN每一层的关系gydF4y2Ba
摘要噪声图像及其相应的梯度图像综合条件信息输入到网络。通过这种方式,增强噪声信息。此外,本文采用一种结构组成的混合损失重建和WGAN损失模型有效地训练gydF4y2Ba
为了验证该方法的性能,消融实验和对比实验是进行JSRT LIDC和数据集。除此之外,剩余图像和两个指标是用来评价去噪图像。仿真结果表明,该模型实现了更高的性能,同时保留更多的结构和对比信息gydF4y2Ba
清晰地描述和演示该方法,本文的组织结构如下:部分gydF4y2Ba
2gydF4y2Ba提供我们的模型的体系结构。节gydF4y2Ba
3gydF4y2Ba,一些相关的实验来验证该模型的性能进行的。最后,部分gydF4y2Ba
4gydF4y2Ba给出本文的结论。gydF4y2Ba
2。方法gydF4y2Ba
2.1。模型的图像去噪gydF4y2Ba
本文对医学图像降噪可以参照如下。让gydF4y2Ba
xgydF4y2Ba
∈gydF4y2Ba
ℝgydF4y2Ba
NgydF4y2Ba
×gydF4y2Ba
NgydF4y2Ba
代表一个噪声图像,gydF4y2Ba
ygydF4y2Ba
∈gydF4y2Ba
ℝgydF4y2Ba
NgydF4y2Ba
×gydF4y2Ba
NgydF4y2Ba
相应的正常形象。通常,之间的关系gydF4y2Ba
xgydF4y2Ba
和gydF4y2Ba
ygydF4y2Ba
可以制定gydF4y2Ba
(1)gydF4y2Ba
xgydF4y2Ba
=gydF4y2Ba
σgydF4y2Ba
ygydF4y2Ba
。gydF4y2Ba
噪声图像去噪的任务是找到一个函数gydF4y2Ba
fgydF4y2Ba
为了满足gydF4y2Ba
(2)gydF4y2Ba
参数gydF4y2Ba
最小值gydF4y2Ba
fgydF4y2Ba
ygydF4y2Ba
−gydF4y2Ba
fgydF4y2Ba
xgydF4y2Ba
2gydF4y2Ba
2gydF4y2Ba
。gydF4y2Ba
去噪过程的目的是找到一个自适应函数gydF4y2Ba
fgydF4y2Ba
并将噪声图像映射到一个正常的形象。这个优化问题可以通过不同的目标函数不同的模型来解决。gydF4y2Ba
2.2。基金会和概述gydF4y2Ba
生成对抗网络(GAN) (gydF4y2Ba
21gydF4y2Ba)作为一个强大的工具生成的模型引入了图像去噪。如图gydF4y2Ba
1(一)gydF4y2Ba甘,基本分为两个部分,发电机网络gydF4y2Ba
GgydF4y2Ba
和鉴别器网络gydF4y2Ba
DgydF4y2Ba
。发电机gydF4y2Ba
GgydF4y2Ba
试图产生一个合成样品根据实际数据分布,通常来自低维随机噪声。鉴频器的gydF4y2Ba
DgydF4y2Ba
与分数的输出之间扮演的角色分类合成样品和实际样品。发电机试图欺骗鉴别器优化方法,在鉴别器合成样本区分真正的训练样本。因此,氮化镓是这样一个游戏过程:如果gydF4y2Ba
GgydF4y2Ba
生成一个样本,得到了高分gydF4y2Ba
DgydF4y2Ba
,这证明gydF4y2Ba
GgydF4y2Ba
训练得很好,如果gydF4y2Ba
DgydF4y2Ba
很容易区分之间的合成和真实样本的效果gydF4y2Ba
GgydF4y2Ba
是不够的。这对网络训练的交替,直到生成的样本gydF4y2Ba
GgydF4y2Ba
几乎与真正的样本。数学上,游戏的过程gydF4y2Ba
GgydF4y2Ba
和gydF4y2Ba
DgydF4y2Ba
可以制定一个双人的极大极小游戏吗gydF4y2Ba
(3)gydF4y2Ba
最小值gydF4y2Ba
GgydF4y2Ba
马克斯gydF4y2Ba
DgydF4y2Ba
EgydF4y2Ba
xgydF4y2Ba
∼gydF4y2Ba
PgydF4y2Ba
数据gydF4y2Ba
日志gydF4y2Ba
DgydF4y2Ba
xgydF4y2Ba
+gydF4y2Ba
EgydF4y2Ba
zgydF4y2Ba
∼gydF4y2Ba
PgydF4y2Ba
zgydF4y2Ba
日志gydF4y2Ba
1gydF4y2Ba
−gydF4y2Ba
DgydF4y2Ba
GgydF4y2Ba
zgydF4y2Ba
,gydF4y2Ba
在哪里gydF4y2Ba
PgydF4y2Ba
数据gydF4y2Ba
和gydF4y2Ba
PgydF4y2Ba
zgydF4y2Ba
是真正的样本的分布和合成样品,分别。gydF4y2Ba
DgydF4y2Ba
xgydF4y2Ba
表示的概率gydF4y2Ba
xgydF4y2Ba
受试者的实际数据,gydF4y2Ba
zgydF4y2Ba
随机噪声是用作输入的gydF4y2Ba
GgydF4y2Ba
。gydF4y2Ba
的架构基本甘GAN和条件。gydF4y2Ba
基本的氮化镓gydF4y2Ba
有条件的氮化镓gydF4y2Ba
为了指导代甘,甘条件(CGAN)介绍gydF4y2Ba
17gydF4y2Ba]。如图gydF4y2Ba
1 (b)gydF4y2Ba甘CGAN是一个扩展的条件信息,集成在发电机和鉴频器。通过这种方式,CGAN可以生成所需的样品。游戏可以制定的过程gydF4y2Ba
(4)gydF4y2Ba
最小值gydF4y2Ba
GgydF4y2Ba
马克斯gydF4y2Ba
DgydF4y2Ba
EgydF4y2Ba
xgydF4y2Ba
∼gydF4y2Ba
PgydF4y2Ba
数据gydF4y2Ba
日志gydF4y2Ba
DgydF4y2Ba
xgydF4y2Ba
ygydF4y2Ba
+gydF4y2Ba
EgydF4y2Ba
zgydF4y2Ba
∼gydF4y2Ba
PgydF4y2Ba
zgydF4y2Ba
日志gydF4y2Ba
1gydF4y2Ba
−gydF4y2Ba
DgydF4y2Ba
GgydF4y2Ba
zgydF4y2Ba
ygydF4y2Ba
,gydF4y2Ba
在哪里gydF4y2Ba
ygydF4y2Ba
状态信息。gydF4y2Ba
基本GAN和CGAN方法可以恢复噪声图像和提高视觉质量,而忽略了保持图像结构。医学图像说明位置、外观、和关系组织和病变,必须准确的诊断和治疗。一般来说,噪声的类型总是未知的图像去噪。尤其是大量的量子噪声和一些其他类型的噪声通常生成的医学图像采集。因此,医学图像去噪要求保持视觉的一致性和内容之间的恢复图像和真实图像。灵感来自于这一点,我们提出了一个新颖的基于CGAN医学图像去噪方法。gydF4y2Ba
提出了网络的整体架构设计如图gydF4y2Ba
2gydF4y2Ba。在整体架构中,gydF4y2Ba
GgydF4y2Ba
有4个褶积层和6残余密集街区(rdb)提取丰富的上下文特征生成合成(去噪)图像接近真实图像。每个卷积层有一个利基ReLU正常化后实例。然后,gydF4y2Ba
DgydF4y2Ba
与完全连接层特征向量映射到一个信心值区分合成图像和真实图像的结构一致性。提出的一些模块框架将在以下部分。gydF4y2Ba
提出模型的总体框架(INorm表示实例正常化;LReLU表示李基ReLU)。gydF4y2Ba
2.3。梯度增强对噪声的图像gydF4y2Ba
不同于传统的算法,该方法采用了梯度信息的一种机制。在这部作品中,噪声图像及其相应的梯度图像合并条件信息输入该模型。在噪声图像中,一个声音总是不同于周围的像素点。因此,梯度信息将比正常的像素。gydF4y2Ba
计算图像梯度,我们需要计算每个像素的梯度图像。图像可以被看作是一个二维离散函数。图像梯度实际上是这个二维离散函数的推导gydF4y2Ba
(5)gydF4y2Ba
米gydF4y2Ba
xgydF4y2Ba
,gydF4y2Ba
ygydF4y2Ba
=gydF4y2Ba
ggydF4y2Ba
xgydF4y2Ba
2gydF4y2Ba
+gydF4y2Ba
ggydF4y2Ba
ygydF4y2Ba
2gydF4y2Ba
,gydF4y2Ba
在哪里gydF4y2Ba
ggydF4y2Ba
xgydF4y2Ba
和gydF4y2Ba
ggydF4y2Ba
ygydF4y2Ba
分别是水平梯度和垂直梯度。gydF4y2Ba
ggydF4y2Ba
xgydF4y2Ba
和gydF4y2Ba
ggydF4y2Ba
ygydF4y2Ba
可以制定为方程(gydF4y2Ba
6gydF4y2Ba)和(gydF4y2Ba
7gydF4y2Ba),分别。gydF4y2Ba
(6)gydF4y2Ba
ggydF4y2Ba
xgydF4y2Ba
=gydF4y2Ba
∂gydF4y2Ba
fgydF4y2Ba
xgydF4y2Ba
,gydF4y2Ba
ygydF4y2Ba
∂gydF4y2Ba
xgydF4y2Ba
=gydF4y2Ba
fgydF4y2Ba
xgydF4y2Ba
+gydF4y2Ba
1gydF4y2Ba
,gydF4y2Ba
ygydF4y2Ba
−gydF4y2Ba
fgydF4y2Ba
xgydF4y2Ba
,gydF4y2Ba
ygydF4y2Ba
,gydF4y2Ba
(7)gydF4y2Ba
ggydF4y2Ba
ygydF4y2Ba
=gydF4y2Ba
∂gydF4y2Ba
fgydF4y2Ba
xgydF4y2Ba
,gydF4y2Ba
ygydF4y2Ba
∂gydF4y2Ba
ygydF4y2Ba
=gydF4y2Ba
fgydF4y2Ba
xgydF4y2Ba
,gydF4y2Ba
ygydF4y2Ba
+gydF4y2Ba
1gydF4y2Ba
−gydF4y2Ba
fgydF4y2Ba
xgydF4y2Ba
,gydF4y2Ba
ygydF4y2Ba
。gydF4y2Ba
通过计算每个像素的梯度,梯度地图获得如图gydF4y2Ba
3gydF4y2Ba。图gydF4y2Ba
4gydF4y2Ba说明了噪声图像梯度增强的过程。绿色框表示不同的操作在前面的形象。首先,相应的渐变映射是通过计算每个像素的梯度图像。与此同时,图像的纹理和边缘信息。其次,考虑到边缘和纹理等信息,阈值方法是用于梯度地图。也就是说,分低于阈值的梯度图像被认为是边缘和纹理结构。在这个研究中,梯度图像的中值设置为阈值。然后,我们将获得一个新的梯度图像。直观地说,这两个梯度地图是由直方图如图表示gydF4y2Ba
4gydF4y2Ba。最后,通过添加的噪声图像增强噪声图像和相应的新的梯度图像。gydF4y2Ba
一些例子的噪声图像和相应的梯度地图。gydF4y2Ba
渐变的过程中增强对噪声的图像。gydF4y2Ba
2.4。剩余密度块gydF4y2Ba
开发高效、自适应去噪模型突出结构保存起着重要的作用在医学成像,这有助于临床医生准确地解释医学图像。此外,它有助于改善医学图像特征识别的能力。一些研究表明,基于ResNet图像恢复方法的应用有助于保护器官和精细结构细节(gydF4y2Ba
22gydF4y2Ba]。gydF4y2Ba
剩余密集网络(RDN)首先由张等人提出了超限分辨图像(gydF4y2Ba
23gydF4y2Ba]。更多以前,林等人采用剩余块建立一个广泛的网络,被称为EDSR [gydF4y2Ba
24gydF4y2Ba]。马等人甘5发电机的残块用于低剂量CT图像去噪(gydF4y2Ba
25gydF4y2Ba]。泰等人使用内存块构造奶妈(gydF4y2Ba
26gydF4y2Ba]。随着网络的深度增加,在每个卷积层分层的特性有不同的接受域(gydF4y2Ba
23gydF4y2Ba]。然而,这些方法堆栈积木连锁的方式,忽略了信息从每个Conv层。针对这一点,张等人提出的剩余密度块(RDB)充分利用每一层的信息和关系(gydF4y2Ba
23gydF4y2Ba]。gydF4y2Ba
在本研究中,超限分辨重建,可以提高图像的质量和细节是恢复。充分利用每个卷积的信息层,发电机的超分辨率方法是使用网络。摘要发电机6残余密集街区(rdb)是利用提取层之间的上下文信息。RDB的结构设计如图gydF4y2Ba
5gydF4y2Ba;连续的机制是实现通过连接前的状态RDB直接电流RDB的每一层。通过这种方式,不仅保留了前馈自然,而且还富有地方特色提取效率。因此,的输出gydF4y2Ba
ngydF4y2Ba
th Conv层gydF4y2Ba
dgydF4y2Ba
RDB是制定gydF4y2Ba
(8)gydF4y2Ba
FgydF4y2Ba
dgydF4y2Ba
,gydF4y2Ba
ngydF4y2Ba
=gydF4y2Ba
线性整流函数(Rectified Linear Unit)gydF4y2Ba
WgydF4y2Ba
dgydF4y2Ba
,gydF4y2Ba
ngydF4y2Ba
FgydF4y2Ba
dgydF4y2Ba
−gydF4y2Ba
1gydF4y2Ba
,gydF4y2Ba
FgydF4y2Ba
dgydF4y2Ba
,gydF4y2Ba
1gydF4y2Ba
,gydF4y2Ba
⋯gydF4y2Ba
,gydF4y2Ba
FgydF4y2Ba
dgydF4y2Ba
,gydF4y2Ba
cgydF4y2Ba
−gydF4y2Ba
1gydF4y2Ba
,gydF4y2Ba
在哪里gydF4y2Ba
FgydF4y2Ba
dgydF4y2Ba
−gydF4y2Ba
1gydF4y2Ba
和gydF4y2Ba
FgydF4y2Ba
dgydF4y2Ba
的输入和输出gydF4y2Ba
dgydF4y2Ba
分别th RDB。gydF4y2Ba
WgydF4y2Ba
dgydF4y2Ba
,gydF4y2Ba
ngydF4y2Ba
的重量吗gydF4y2Ba
ngydF4y2Ba
卷积层。gydF4y2Ba
剩余密度块(RDB)的体系结构。gydF4y2Ba
2.5。损失函数gydF4y2Ba
损失函数的定义是GAN-based图像去噪方法的性能的关键。在很大程度上,深度学习影响的损失函数噪声图像恢复过程(gydF4y2Ba
25gydF4y2Ba]。许多研究人员研究了不同的图像去噪模型采用不同的损失函数。的均方误差(MSE)或L2损失函数是最广泛用于许多GAN-based模型(gydF4y2Ba
14gydF4y2Ba,gydF4y2Ba
15gydF4y2Ba,gydF4y2Ba
24gydF4y2Ba]。然而,它包括regression-to-mean问题,导致oversmoothing和纹理信息的损失。此外,通过引入网络VGG-16和VGG-19 pretrained ImageNet,知觉损失提出了应对MSE(造成的问题gydF4y2Ba
27gydF4y2Ba- - - - - -gydF4y2Ba
29日gydF4y2Ba]。在这篇文章中,我们与知觉损失进行一些实验,和结果的性能很差。有效地处理各种噪声和保持图像结构,结构集成了重建损失和损失WGAN损失和损失函数被定义为最终目标。gydF4y2Ba
2.5.1。重建的损失gydF4y2Ba
一些先前的研究已经发现,它有利于引入一个更传统的损失GAN目标(gydF4y2Ba
18gydF4y2Ba,gydF4y2Ba
29日gydF4y2Ba]。我们都知道,L1和L2距离是最常用的损失函数在回归的任务。此外,据报道,L2损失函数可能会导致模糊(gydF4y2Ba
18gydF4y2Ba]。因此,本研究采用距离L1的重建而不是L2损失,这是由gydF4y2Ba
lgydF4y2Ba
1gydF4y2Ba
规范和制定gydF4y2Ba
(9)gydF4y2Ba
lgydF4y2Ba
侦察gydF4y2Ba
=gydF4y2Ba
我gydF4y2Ba
生gydF4y2Ba
−gydF4y2Ba
GgydF4y2Ba
我gydF4y2Ba
噪音gydF4y2Ba
1gydF4y2Ba
,gydF4y2Ba
在哪里gydF4y2Ba
我gydF4y2Ba
生gydF4y2Ba
最初的原始图像和吗gydF4y2Ba
我gydF4y2Ba
噪音gydF4y2Ba
与人工噪声图像。gydF4y2Ba
2.5.2。WGAN损失gydF4y2Ba
上述重建失去关注结构保存但忽略了图像的细节。征服这个困境,添加一个WGAN损失提供详细的信息。gydF4y2Ba
标准的基础上GAN损失,WGAN损失(gydF4y2Ba
30.gydF4y2Ba]介绍了瓦瑟斯坦距离代替JS散度作为附加条件来衡量合成和真实分布之间的差异。此外,瓦瑟斯坦的使用距离提高更好的测量之间的真实图像去噪的图像,可缓解该问题的有效梯度消失和加速网络收敛。gydF4y2Ba
游戏的过程gydF4y2Ba
GgydF4y2Ba
和gydF4y2Ba
DgydF4y2Ba
也可以作为一个双人的极大极小博弈制定gydF4y2Ba
(10)gydF4y2Ba
最小值gydF4y2Ba
GgydF4y2Ba
马克斯gydF4y2Ba
DgydF4y2Ba
EgydF4y2Ba
xgydF4y2Ba
∼gydF4y2Ba
PgydF4y2Ba
数据gydF4y2Ba
DgydF4y2Ba
xgydF4y2Ba
∣gydF4y2Ba
ygydF4y2Ba
−gydF4y2Ba
EgydF4y2Ba
zgydF4y2Ba
∼gydF4y2Ba
PgydF4y2Ba
zgydF4y2Ba
DgydF4y2Ba
GgydF4y2Ba
zgydF4y2Ba
∣gydF4y2Ba
ygydF4y2Ba
。gydF4y2Ba
瓦瑟斯坦和条件信息距离,WGAN损失可以学习生成模型,该模型可以适应分布的样本,有效防止过度拟合。在方程(gydF4y2Ba
10gydF4y2Ba),本文将噪声图像及其相应的梯度图像尽可能条件的信息gydF4y2Ba
2.3gydF4y2Ba。一旦条件信息进行增强图像,运用图像输出。因此,目标函数方程(gydF4y2Ba
10gydF4y2Ba)可以写成gydF4y2Ba
(11)gydF4y2Ba
lgydF4y2Ba
WgydF4y2Ba
量gydF4y2Ba
氮化镓gydF4y2Ba
=gydF4y2Ba
马克斯gydF4y2Ba
DgydF4y2Ba
EgydF4y2Ba
DgydF4y2Ba
xgydF4y2Ba
−gydF4y2Ba
DgydF4y2Ba
xgydF4y2Ba
′gydF4y2Ba
,gydF4y2Ba
在哪里gydF4y2Ba
xgydF4y2Ba
=gydF4y2Ba
我gydF4y2Ba
研究生gydF4y2Ba
_gydF4y2Ba
8月gydF4y2Ba
,gydF4y2Ba
我gydF4y2Ba
生gydF4y2Ba
,gydF4y2Ba
xgydF4y2Ba
′gydF4y2Ba
=gydF4y2Ba
我gydF4y2Ba
研究生gydF4y2Ba
_gydF4y2Ba
8月gydF4y2Ba
,gydF4y2Ba
我gydF4y2Ba
去噪gydF4y2Ba
,gydF4y2Ba
我gydF4y2Ba
研究生gydF4y2Ba
_gydF4y2Ba
8月gydF4y2Ba
是增强图像,gydF4y2Ba
我gydF4y2Ba
生gydF4y2Ba
最初的原始图像,gydF4y2Ba
我gydF4y2Ba
去噪gydF4y2Ba
发电机产生的gydF4y2Ba
GgydF4y2Ba
表示图像去噪。gydF4y2Ba
2.5.3。最终的损失函数gydF4y2Ba
在模型的训练过程中,总损失之间的正常图像,计算去噪图像,可back-propagated提出模型更新参数。最后提出网络的结构损失函数包括重建的损失gydF4y2Ba
lgydF4y2Ba
侦察gydF4y2Ba
和WGAN损失gydF4y2Ba
lgydF4y2Ba
WgydF4y2Ba
量gydF4y2Ba
氮化镓gydF4y2Ba
,定义为gydF4y2Ba
(12)gydF4y2Ba
最小值gydF4y2Ba
GgydF4y2Ba
马克斯gydF4y2Ba
DgydF4y2Ba
lgydF4y2Ba
WgydF4y2Ba
量gydF4y2Ba
氮化镓gydF4y2Ba
DgydF4y2Ba
,gydF4y2Ba
GgydF4y2Ba
+gydF4y2Ba
λgydF4y2Ba
1gydF4y2Ba
lgydF4y2Ba
侦察gydF4y2Ba
GgydF4y2Ba
,gydF4y2Ba
在哪里gydF4y2Ba
λgydF4y2Ba
1gydF4y2Ba
是一个hyperparameter。gydF4y2Ba
3所示。结果与讨论gydF4y2Ba
3.1。数据集和评价指标gydF4y2Ba
3.1.1。数据集gydF4y2Ba
在实验中,来自日本社会公众的原始x射线图像辐射技术(JSRT)数据集gydF4y2Ba
31日gydF4y2Ba)采用,包括246 PA胸片来自13个日本机构和一个美国机构。此外,我们添加了各种未知的人工噪声包括高斯噪声、椒盐噪声、和一些随机噪声的胸部x光图像生成246对图像的分辨率gydF4y2Ba
256年gydF4y2Ba
∗gydF4y2Ba
256年gydF4y2Ba
。采用了数据集的一些示例图像见图gydF4y2Ba
6gydF4y2Ba。gydF4y2Ba
一些例子在JSRT中选择数据集。gydF4y2Ba
另一个数据集用于本文是肺图像数据库的财团和图像数据库资源计划(LIDC LIDC-IDRI或)[gydF4y2Ba
32gydF4y2Ba]。LIDC的数据集是一个贯穿国际资源,这是通常用于诊断、检测和分类的肺结节。这个数据集包括1018例胸,注释是4放射科医生。每片的分辨率CTgydF4y2Ba
512年gydF4y2Ba
∗gydF4y2Ba
512年gydF4y2Ba
,每个薄片的厚度范围从0.6到5.0毫米。实验中,我们采用了第一个2病人id (lidc lidc - idri - 0001和- idri - 0002) 394年由CT片。此外,我们添加了各种未知的人工噪声包括高斯噪声、椒盐噪声、和一些随机噪声的胸部x光图像生成394对图像的分辨率gydF4y2Ba
256年gydF4y2Ba
∗gydF4y2Ba
256年gydF4y2Ba
。采用了数据集的一些示例图像如图所示gydF4y2Ba
7gydF4y2Ba。gydF4y2Ba
LIDC的一些例子中选择数据集。gydF4y2Ba
3.1.2。评价指标gydF4y2Ba
实验结果进行评估的peak-signal-to-noise比率(PSNR)和结构相似度指数(SSIM)。这两个指标被定义为在方程(gydF4y2Ba
13gydF4y2Ba)和(gydF4y2Ba
14gydF4y2Ba),分别。gydF4y2Ba
(13)gydF4y2Ba
PSNR值gydF4y2Ba
=gydF4y2Ba
10gydF4y2Ba
日志gydF4y2Ba
10gydF4y2Ba
2gydF4y2Ba
ngydF4y2Ba
−gydF4y2Ba
1gydF4y2Ba
2gydF4y2Ba
均方误差gydF4y2Ba
,gydF4y2Ba
(14)gydF4y2Ba
SSIMgydF4y2Ba
XgydF4y2Ba
1gydF4y2Ba
,gydF4y2Ba
XgydF4y2Ba
2gydF4y2Ba
=gydF4y2Ba
2gydF4y2Ba
μgydF4y2Ba
XgydF4y2Ba
1gydF4y2Ba
μgydF4y2Ba
XgydF4y2Ba
2gydF4y2Ba
+gydF4y2Ba
CgydF4y2Ba
1gydF4y2Ba
2gydF4y2Ba
σgydF4y2Ba
XgydF4y2Ba
1gydF4y2Ba
XgydF4y2Ba
2gydF4y2Ba
+gydF4y2Ba
CgydF4y2Ba
2gydF4y2Ba
μgydF4y2Ba
XgydF4y2Ba
1gydF4y2Ba
2gydF4y2Ba
+gydF4y2Ba
μgydF4y2Ba
XgydF4y2Ba
2gydF4y2Ba
2gydF4y2Ba
+gydF4y2Ba
CgydF4y2Ba
1gydF4y2Ba
σgydF4y2Ba
XgydF4y2Ba
1gydF4y2Ba
2gydF4y2Ba
+gydF4y2Ba
σgydF4y2Ba
XgydF4y2Ba
2gydF4y2Ba
2gydF4y2Ba
+gydF4y2Ba
CgydF4y2Ba
2gydF4y2Ba
,gydF4y2Ba
MSE在哪两个图像之间的均方误差补丁。gydF4y2Ba
μgydF4y2Ba
XgydF4y2Ba
1gydF4y2Ba
和gydF4y2Ba
μgydF4y2Ba
XgydF4y2Ba
2gydF4y2Ba
样本均值的补丁吗gydF4y2Ba
XgydF4y2Ba
1gydF4y2Ba
和补丁gydF4y2Ba
XgydF4y2Ba
2gydF4y2Ba
,分别。gydF4y2Ba
σgydF4y2Ba
XgydF4y2Ba
1gydF4y2Ba
2gydF4y2Ba
和gydF4y2Ba
σgydF4y2Ba
XgydF4y2Ba
2gydF4y2Ba
2gydF4y2Ba
表示样本方差的补丁gydF4y2Ba
XgydF4y2Ba
1gydF4y2Ba
和补丁gydF4y2Ba
XgydF4y2Ba
2gydF4y2Ba
,分别。gydF4y2Ba
σgydF4y2Ba
XgydF4y2Ba
1gydF4y2Ba
XgydF4y2Ba
2gydF4y2Ba
两个图像之间的crosscovariance补丁;gydF4y2Ba
CgydF4y2Ba
1gydF4y2Ba
,gydF4y2Ba
CgydF4y2Ba
2gydF4y2Ba
是稳定常数。当gydF4y2Ba
XgydF4y2Ba
1gydF4y2Ba
和gydF4y2Ba
XgydF4y2Ba
2gydF4y2Ba
更相似,SSIM的值接近1。gydF4y2Ba
3.2。参数设置gydF4y2Ba
该方法的基础,图像随机人工噪声被用作CGAN输入网络的状况。超分辨率的发电机6残余(rdb)是嵌入在密集的街区,充分利用信息在每个卷积层和提取卷积层之间的上下文信息。有别于传统的条件着手,提取图像补丁。该方法将输入图像块的大小gydF4y2Ba
70年gydF4y2Ba
∗gydF4y2Ba
70年gydF4y2Ba
在随机的。此外,沃瑟斯坦距离和的集成gydF4y2Ba
lgydF4y2Ba
1gydF4y2Ba
规范采用客观损失函数。hyperparameters设定如下:gydF4y2Ba
λgydF4y2Ba
1gydF4y2Ba
是0.5,批量大小是1,2是学习速率gydF4y2Ba
egydF4y2Ba
3,时代是1500年。gydF4y2Ba
在训练阶段,一副图像训练集的输入生成器和鉴频器,发电机产生的和去噪图像鉴别器将图像映射到价值的信心。与发电机将亚当的方法,优化生产一个更好的结果应贴近地面的真理去噪图像获得的信心鉴别器。最后,经过训练的网络测试了测试噪声图像和输出去噪结果。该算法的整个流程中描述的算法gydF4y2Ba
1gydF4y2Ba。gydF4y2Ba
<大胆>算法1:< /大胆>的培训过程提出了基于条件的医学图像去噪方法生成对抗的网络。gydF4y2Ba
1。gydF4y2Ba
要求:gydF4y2Ba设置hyper-parameters:gydF4y2Ba
λgydF4y2Ba
1gydF4y2Ba
=gydF4y2Ba
0.5gydF4y2Ba
批量大小= 1,gydF4y2Ba
αgydF4y2Ba
=gydF4y2Ba
2gydF4y2Ba
×gydF4y2Ba
10gydF4y2Ba
−gydF4y2Ba
3gydF4y2Ba
,gydF4y2Ba
NgydF4y2Ba
egydF4y2Ba
pgydF4y2Ba
ogydF4y2Ba
cgydF4y2Ba
hgydF4y2Ba
=gydF4y2Ba
1500年gydF4y2Ba
2.获得gydF4y2Ba
我gydF4y2Ba
噪音gydF4y2Ba
通过添加一些人工噪声原始图像gydF4y2Ba
我gydF4y2Ba
rgydF4y2Ba
一个gydF4y2Ba
wgydF4y2Ba
3所示。获得相应的渐变映射gydF4y2Ba
我gydF4y2Ba
研究生gydF4y2Ba
通过计算每个像素的梯度gydF4y2Ba
我gydF4y2Ba
噪音gydF4y2Ba
4所示。The米edian
TgydF4y2Ba的渐变映射设置的阈值gydF4y2Ba
我gydF4y2Ba
研究生gydF4y2Ba
,然后获得gydF4y2Ba
我gydF4y2Ba
新gydF4y2Ba
_gydF4y2Ba
研究生gydF4y2Ba
5。Get the gradient enhancement images
我gydF4y2Ba
研究生gydF4y2Ba
_gydF4y2Ba
8月gydF4y2Ba
通过添加了gydF4y2Ba
我gydF4y2Ba
噪音gydF4y2Ba
和gydF4y2Ba
我gydF4y2Ba
新gydF4y2Ba
_gydF4y2Ba
研究生gydF4y2Ba
6。我nitialize the parameters of generator
θgydF4y2Ba
GgydF4y2Ba
和鉴频器gydF4y2Ba
θgydF4y2Ba
DgydF4y2Ba
7.gydF4y2Ba
ngydF4y2Ba
ugydF4y2Ba
米gydF4y2Ba
_gydF4y2Ba
egydF4y2Ba
pgydF4y2Ba
ogydF4y2Ba
cgydF4y2Ba
hgydF4y2Ba
=gydF4y2Ba
0gydF4y2Ba
,gydF4y2Ba
⋯gydF4y2Ba
,gydF4y2Ba
NgydF4y2Ba
egydF4y2Ba
pgydF4y2Ba
ogydF4y2Ba
cgydF4y2Ba
hgydF4y2Ba
做gydF4y2Ba
8。样品一批原始图像补丁gydF4y2Ba
我gydF4y2Ba
生gydF4y2Ba
和要处理的图像补丁gydF4y2Ba
我gydF4y2Ba
研究生gydF4y2Ba
_gydF4y2Ba
8月gydF4y2Ba
9。gydF4y2Ba
我gydF4y2Ba
去噪gydF4y2Ba
⟵gydF4y2Ba
GgydF4y2Ba
我gydF4y2Ba
研究生gydF4y2Ba
_gydF4y2Ba
8月gydF4y2Ba
10。连接gydF4y2Ba
xgydF4y2Ba
=gydF4y2Ba
我gydF4y2Ba
研究生gydF4y2Ba
_gydF4y2Ba
8月gydF4y2Ba
,gydF4y2Ba
我gydF4y2Ba
生gydF4y2Ba
,gydF4y2Ba
xgydF4y2Ba
′gydF4y2Ba
=gydF4y2Ba
我gydF4y2Ba
研究生gydF4y2Ba
_gydF4y2Ba
8月gydF4y2Ba
,gydF4y2Ba
我gydF4y2Ba
去噪gydF4y2Ba
11。更新的鉴别器D亚当优化器根据原始GAN损失gydF4y2Ba
12。更新的发电机G亚当优化器根据方程(gydF4y2Ba
12gydF4y2Ba)gydF4y2Ba
13。endforgydF4y2Ba
3.3。烧蚀分析gydF4y2Ba
3.3.1。剩余密集的街区gydF4y2Ba
一般来说,基于超分辨率重建的方法能提高图像的质量和恢复细节。6剩余密度块(rdb)被用于超限分辨重建的发电机。为了证明它的优越性,消融实验没有剩余密度块(RDB) JSRT数据集上实现。通过添加一些未知的噪声数据集,每个结果如图的SSIMgydF4y2Ba
8gydF4y2Ba;一些去噪的例子在图所示gydF4y2Ba
9gydF4y2Ba。从数据gydF4y2Ba
8gydF4y2Ba- - - - - -gydF4y2Ba
9gydF4y2Ba,我们可以看到rdb的优势在图像超分辨率重建;rdb的方法可以保持细节和去除噪声很大程度上。gydF4y2Ba
评估和SSIM去噪图像的质量。绿线代表没有rdb。gydF4y2Ba
的例子去噪结果:(一)地面实况;(b)与未知噪声图像噪声;没有rdb (c)去噪结果;(d)与该方法去噪结果。gydF4y2Ba
3.3.2。梯度增强gydF4y2Ba
甘条件、噪声图像和其对应的梯度图像综合条件信息输入网络。在噪声图像中,孤立的噪声不同于周围的像素;因此,其梯度将比正常的像素。此外,采用阈值的方法忽略了边缘和纹理信息梯度地图。因此,添加梯度信息有利于提高噪声在理论上。为了测试我们的想法,本文也做了一个烧蚀实验没有梯度增强。在这个实验中,只有采用噪声图像作为比较的条件信息。superparameter时代被设置为500;重建损失系数为0.5。去噪结果如图gydF4y2Ba
10gydF4y2Ba的评价PSNR和SSIM上市。梯度增强的方法取得了令人满意的结果。gydF4y2Ba
(一)地面真理;(b)是噪声图像;(c)是噪声的方法只形象条件信息;(d)表示方法的结果。gydF4y2Ba
3.3.3。客观的损失函数gydF4y2Ba
先前的研究已经证明,重建损失可以专注于保护结构,但与此同时,它也忽略了图像的细节。此外,WGAN损失试图学习生成模型,旨在拟合实际样本的分布,有效地防止过度拟合。结果,WGAN损失重建添加补充详细信息损失。gydF4y2Ba
从一些烧蚀实验不同的客观损失函数,我们发现感知损失会损害图像的结构信息,这是描述的部分gydF4y2Ba
3.4gydF4y2Ba,该方法优于在视觉和内容。gydF4y2Ba
3.4。比较分析gydF4y2Ba
我们比较了该方法的性能与一些先进的方法和烧蚀实验部分的数据集gydF4y2Ba
3.1。1gydF4y2Ba医学图像去噪。如下所示,图gydF4y2Ba
11gydF4y2Ba给不同的方法的去噪结果。为了量化图的去噪结果gydF4y2Ba
11gydF4y2Ba,本文剩余图像和真实之间的去噪图像。通过计算获得的残余图像噪声图像之间的绝对差和pixel-wisely去噪图像。然后,剩余图像归一化的值区间[0 - 1],最后结果可视化,如图gydF4y2Ba
12gydF4y2Ba。像素的值接近1表明,去噪结果穷人和改变图像的结构信息。为了进一步验证不同方法的去噪效果,PSNR和SSIM采用评估性能。gydF4y2Ba
一些生殖去噪结果由不同方法:(一)噪声图像;(b)地面真理;(c) WGAN +感性;(d)感知+ CGAN;(e) L1 + CGAN;该方法(f)。gydF4y2Ba
残余图像之间的比较试验和地面的真相:(a)表示数据gydF4y2Ba
8gydF4y2Ba(c)和gydF4y2Ba
8gydF4y2Ba(b);(b)代表人物gydF4y2Ba
8gydF4y2Ba(d)和gydF4y2Ba
8gydF4y2Ba(b);(c)表示数据gydF4y2Ba
8gydF4y2Ba(e)和gydF4y2Ba
8gydF4y2Ba(b);(d)显示数据gydF4y2Ba
8gydF4y2Ba(f)和gydF4y2Ba
8gydF4y2Ba(b)。gydF4y2Ba
在图gydF4y2Ba
11gydF4y2Ba,图gydF4y2Ba
(11日)gydF4y2Ba插图与各种未知的人工合成噪声图像噪音。本文实现的方法gydF4y2Ba
27gydF4y2Ba),集成瓦瑟斯坦距离和知觉损失为目标损失函数的基本条件着手。通过比较在相同的实验数据集设置去噪结果如图gydF4y2Ba
11 (c)gydF4y2Ba。在此基础上,我们使用了基本GAN损失而不是瓦瑟斯坦距离并结合知觉损失;结果如图所示gydF4y2Ba
11 (d)gydF4y2Ba。方法通过结合基本GAN损失和重建损失提出了Zhang et al。gydF4y2Ba
33gydF4y2Ba]本文实施;去噪结果如图gydF4y2Ba
11 (e)gydF4y2Ba。图gydF4y2Ba
11 (f)gydF4y2Ba显示了该方法去噪结果使用瓦瑟斯坦距离之和为目标损失和重建的损失函数。gydF4y2Ba
从图的比较实验gydF4y2Ba
11gydF4y2Ba的细节,很明显,(c)和(d)是视觉上比其他的更清晰。然后,我们量化每组实验的去噪结果通过残余图像去噪结果和地面之间的真理。通过计算获得的残余图像噪声之间的绝对差图像和图像去噪。剩余的图像数据gydF4y2Ba
11 (c)gydF4y2Ba和gydF4y2Ba
11 (d)gydF4y2Ba在数据可视化gydF4y2Ba
12gydF4y2Ba(一)和gydF4y2Ba
12gydF4y2Ba分别(b)。数据的去噪图像gydF4y2Ba
11 (c)gydF4y2Ba和gydF4y2Ba
11 (d)gydF4y2Ba严重受损的结构图像。gydF4y2Ba
剩余的图像数据gydF4y2Ba
11 (e)gydF4y2Ba和gydF4y2Ba
11 (f)gydF4y2Ba如数据所示gydF4y2Ba
12gydF4y2Ba(c)和gydF4y2Ba
12gydF4y2Ba分别(d)。数据gydF4y2Ba
11 (f)gydF4y2Ba和gydF4y2Ba
12gydF4y2Ba(d)是该方法的去噪结果。从数据gydF4y2Ba
12gydF4y2Ba(c)和gydF4y2Ba
12gydF4y2Ba(d),可以看出,图的去噪效果gydF4y2Ba
11 (e)gydF4y2Ba低于该方法。此外,我们的方法效果最好的结构和对比保存。gydF4y2Ba
图gydF4y2Ba
11gydF4y2Ba通过各种方法,显示了一些去噪样本和图gydF4y2Ba
12gydF4y2Ba说明了残余和无噪声的图像去噪图像之间的图像。从图gydF4y2Ba
11gydF4y2Ba,所有方法移除大部分的噪音。然而,图gydF4y2Ba
12gydF4y2Ba表明该方法保留更多的结构细节和显示更好的定义的对比。此外,这将是医学图像领域的分析具有重要意义。因此,我们可以推断客观损失函数与知觉损失将影响结构信息在去噪的过程中。和我们的方法比其他比较实验取得了较好的效果。gydF4y2Ba
表gydF4y2Ba
1gydF4y2Ba绩效评估对去噪结果显示基于地面真理有不同的方法。结果的性能是通过PSNR和SSIM指标来衡量的。SSIM评估显示实验结果之间的相似性和地面真理。处理图像的PSNR值说明了质量比较真实。从表gydF4y2Ba
1gydF4y2Ba,很明显,噪声图像的SSIM和PSNR值相对较低,因为他们被一些特定的噪声分布在地面上的真理。自恢复图像有效地去除噪声,SSIM和PSNR值略有改善。Ledig et al。gydF4y2Ba
28gydF4y2Ba]提出一种基于SRGAN模型生成对抗网络通过梳理敌对的损失和知觉损失。第一个三种去噪方法把知觉损失作为他们的目标损失函数的一部分。我们还实现这三种去噪方法LIDC JSRT和数据集。在这个研究中,特征提取器是一个19-layer VGG网络组成的16卷积层,其次是3完全连接层。16卷积的输出层VGG提取特征的知觉损失函数。然而,第一个获得三种去噪方法性能不佳。因此,结合数据的结果gydF4y2Ba
11gydF4y2Ba和gydF4y2Ba
12gydF4y2Ba,我们可以得出结论,与知觉损失的方法破坏了原有的结构引起的图像和更低的平均PSNR值和平均SSIM图像质量。文献[gydF4y2Ba
33gydF4y2Ba)结合GAN损失和L1损失训练模型。钟等。gydF4y2Ba
14gydF4y2Ba]DenseNet CNN用作发电机网络和雇佣WGAN损失和L2损失损失函数作为其目标。从表gydF4y2Ba
1gydF4y2Ba,这些比较医学图像去噪方法不能达到令人满意的性能。该方法实现了最好的性能定量分析在很大程度上也降低了噪声。最后,我们可以得出结论,成功的方法去除噪声,同时保留结构和对比度的图像信息,我们提出的方法是实际应用前景。gydF4y2Ba
平均去噪图像的PSNR和SSIM JSRT数据集不同的去噪模型。gydF4y2Ba
| 方法gydF4y2Ba |
PSNR(平均)gydF4y2Ba |
SSIM(平均)gydF4y2Ba |
| JSRTgydF4y2Ba |
LIDCgydF4y2Ba |
JSRTgydF4y2Ba |
LIDCgydF4y2Ba |
| 噪音gydF4y2Ba |
15.4436gydF4y2Ba |
18.3036gydF4y2Ba |
0.1170gydF4y2Ba |
0.1390gydF4y2Ba |
| WGAN +感性(gydF4y2Ba
27gydF4y2Ba]gydF4y2Ba |
16.3217gydF4y2Ba |
20.1425gydF4y2Ba |
0.7635gydF4y2Ba |
0.7930gydF4y2Ba |
| CGAN +感性gydF4y2Ba |
12.5834gydF4y2Ba |
18.3698gydF4y2Ba |
0.4420gydF4y2Ba |
0.6326gydF4y2Ba |
| SRGAN [gydF4y2Ba
28gydF4y2Ba]gydF4y2Ba |
16.2250gydF4y2Ba |
21.4650gydF4y2Ba |
0.7779gydF4y2Ba |
0.8023gydF4y2Ba |
| CGAN + L1 (gydF4y2Ba
33gydF4y2Ba]gydF4y2Ba |
32.6180gydF4y2Ba |
34.1577gydF4y2Ba |
0.8945gydF4y2Ba |
0.8936gydF4y2Ba |
| 钟等。gydF4y2Ba
14gydF4y2Ba]gydF4y2Ba |
32.9856gydF4y2Ba |
33.0452gydF4y2Ba |
0.8960gydF4y2Ba |
0.8847gydF4y2Ba |
| 该方法gydF4y2Ba |
33.2642gydF4y2Ba |
35.1086gydF4y2Ba |
0.9206gydF4y2Ba |
0.9328gydF4y2Ba |
4所示。结论gydF4y2Ba
我们开发一种新颖的基于条件GAN医学图像去噪模型。而不是专注于复杂的网络结构建设,本文致力于保存图像背景下探索和结构。首先,发电机与超分辨率重建是用来提高对其他去噪图像质量的发电机。其次,不同于传统甘去噪模型,本文结合了噪声图像与相应的梯度图像作为甘条件的条件信息,提高了噪声信息。第三,基于剩余计算模型训练相结合协同损失函数,这样去噪结果尽可能接近地面的真相。最后,剩余图像和评价指标是用来量化LIDC JSRT和去噪结果的数据集。与不同的去噪模型相比,该模型不仅可以提高去噪图像的质量,还维护详细的结构符合无损图像。gydF4y2Ba