文摘

从多模态医学图像获得互补信息组织形态有利于临床疾病诊断,但它不能广泛使用,由于扫描的成本。在这种情况下,医学图像合成已成为一个受欢迎的地区。最近,生成对抗网络(GAN)模型应用于很多医学图像合成任务和显示性能之前,因为他们可以捕捉结构细节清晰。然而,GAN仍然构建的主要框架基于卷积神经网络(CNN)展览一个强大的位置偏差和空间不变性通过使用共享的权重在所有位置。因此,长期依赖被毁在这个处理。为了解决这个问题,我们引入一个double-scale深度学习跨通道医学图像合成的方法。更具体地说,该方法捕获位置特性通过当地鉴别器基于CNN和利用远程学习依赖全球功能通过全球鉴别器基于变压器结构。评估double-scale GAN的有效性,我们进行折叠团队标准基准数据集上的实验,实验结果证明了我们的方法的有效性。

1。介绍

磁共振成像(MRI)是一个多才多艺的和非侵入性成像技术广泛应用于临床应用。定制的核磁共振脉冲序列可以捕获特定的潜在的解剖特征信息。例如,大脑t1加权图像清晰描绘灰质和白质组织,而t2影像描述流体的皮层组织。因此,获得互补信息组织形态学的多通道图像能够提高临床诊断的准确性和信心(1]。不幸的是,获得多通道成像先生常常挑战由于许多因素,如不合作的病人,有限的可用性的扫描时间,和长时间考试的昂贵成本2,3]。为了解决这个问题,跨通道医学图像合成已被广泛使用,因为它使合成未获得的图像在多通道协议子集的可用的图像(4- - - - - -7]。

目前,深上优于合成演示更有前途的性能,比传统方法须就产权证(8,9)和intensity-transformation-based方法(10,11]。对于图像合成任务,卷积神经网络(CNN)的体系结构产生显著的性能通过最小化pixelwise损失之间的合成和真实图像。然而,pixelwise损失忽略训练步骤的高级特性。由于生成对抗网络(GAN)介绍了格拉汉姆·古德费勒et al。12),这个问题逐渐解决了敌对的损失函数,设计了一个培训策略生成器和鉴别器之间网络基于博弈论。在这种情况下,氮化镓能够捕获高频医学图像的纹理信息。因此,GAN-based方法超越许多合成任务基于传统架构(13,14]。具体而言,氮化镓的发电机和鉴别器网络部署紧凑卷积过滤器,而cnn与空间位置对整个插滑动窗口的图像。这使得远程遥远地区失去了之间的依赖关系(15]。

此外,cnn不仅表现出一种强烈的位置偏差也是偏向空间不变性通过使用共享的权重在所有位置(16]。这可以防止网络完全理解输入图像的局部区域。指导网络对关键的图像区域,赵et al。17]提出了注意力机制,加强重要区域的特性通过学习地图和重量乘以特征映射。然而,传统的注意机制仍然不明确模型远程依赖关系。最近,变压器结构已经应用到语言任务和越来越多地采用在其他领域如细分任务(18和分类任务19]。主要视觉架构相比,紧急变压器架构集成学习输入之间的复杂关系,因为它不包含内置感应之前在滑动窗口等位置的交互。因此,我们巩固变压器模型由于捕获更多的全球信息,使全面了解输入(16]。

在本文中,我们提出一个double-scale深度学习跨通道医学图像合成的方法。出于这一事实低级图像结构和高级功能是同样重要的跨通道医学图像合成我们整合变压器有效地寻求远程交互的能力在我们的模型,使捕捉全球功能作为cnn的补充信息。为了达到这个目标,我们精心设计double-scale鉴别器GAN比起具体包括的基于变压器全球鉴别器和CNN-based当地鉴别器。

本文的主要贡献如下。(1)介绍医学图像合成的甘double-scale鉴别器。(2)全球视觉鉴别器的模型设计变压器,利用远程遥远的补丁和捕捉全球特性之间的依赖关系。

2.1。医学图像合成

最近,GAN-based模型已成功应用于类型的任务包括数据增加(20.- - - - - -22)和图像合成的任务(23- - - - - -25]。例如,聂et al。5)利用图像合成计算机断层扫描(CT)图像先生甘的上下文感知模型;Wolterink et al。7)利用氮化镓生成从routine-dose CT低剂量CT图像。然而,随着传统GAN未能满足逐渐更高的应用程序需求,pix2pix [26]最近开始引起研究人员的注意,利用配对数据提高pixel-to-pixel真实和合成图像之间的相似度,然后,Olut et al。27)开发了一种CycleGAN-based方法合成MRA T1-MRI和T2-MRI。这些方法都无法捕捉关键图像区域的特征。因此,赵et al。17)使用的发电机self-attention GAN提高肿瘤的特性和提高肿瘤检测的性能。伊索拉et al。26)用patch-based鉴别器优化特征的提取。然而,这些方法不能解决这个问题之前,强劲的位置信息介绍的滑动窗口卷积操作,破坏了遥远的依存关系的造型,所以当地所有的信息不能更好的捕捉。

2.2。变压器的结构

变压器结构设计来处理复杂的输入不管他们的相对位置之间的相互作用通过建模输入仅仅通过关注机制之间的相互作用。变压器是最初应用于语言任务,Floridi和Chiriatti28]介绍了GPT使用语言模型作为其pretraining任务。最近,这种方法也可以用于计算机视觉。埃塞尔et al。16)提出了一个VQGAN代表图像感知丰富形象的组成成分,从而克服了不可行二次当造型直接在图像像素空间复杂性。然而,VQGAN需要大量数据集的电报密码本,这是医学图像领域的不切实际。同时,变形金刚有表现性的增加增加平方计算成本,因为考虑到所有两两交互。最后,我们的方法是基于一个愿景变压器作物之间的交互输入基于不重叠的缀块。

3所示。方法

3.1。我们的方法的概述

double-scale GAN如图的概述1。我们的方法是由三个主要组件:发电机网络,全球鉴别器网络,本地鉴频器网络。在本节的其余部分,我们将解释每个网络组件的详细成分和损失函数。


图1
原理流程图跨通道算法的医学图像合成,由发电机,比起CNN-based本地鉴别器和的基于变压器全球鉴别器。当地的鉴别器指导学习的发电机结构与感应偏压表示。全球鉴别器指南学习综合特性的发电机利用远程的输入图像之间的依赖关系。
3.2。发电机网络

我们方法的第一个组件是一个深度编码器网络,包含一系列的卷积层捕获源图像的局部特征的层次结构。学习有意义和有效的高层表示,我们采用一个autoencoder结构作为我们的主要框架。为了减少upsampling层的使用,使用反褶积运算。

发电机的细节见图1。将采样过程中,我们的方法使用两个卷积层的内核大小与3和2步。upsampling过程中,我们的方法使用两个deconvolutional层的内核大小与3和2步。除此之外,我们还将介绍实例规范化卷积后层。实例关系正常化后,激活函数ReLU用于编码器和译码器。对于空间和深度特征提取,我们的方法还增加了9 ResNet块将采样和upsampling之间。

3.3。本地鉴频器网络

当地的鉴频器是基于一个条件PatchGAN架构(26]。它接收输入连接的源和目标的对比图片29日),然后获得 重叠的补丁 通过滑动窗口大小预言是真是假。虽然这patch-based判别比图像更健壮的判别局部细节特征的提取,重叠的补丁,它提取之前摧毁远程依赖通过引入强大的位置关系,以便有一个全面的理解输入的图像。

3.4。全球鉴别器网络

为了合成高质量的医学图像,局部和全局特征同样重要。灵感来自于DeblurGAN-v2 [30.),我们使用一个纯变压器方法代替卷积网络获取远程依赖输入图像的全面了解。全球鉴别器网络的细节描绘在图2。


图2
全球鉴别器的详细图表。左边显示了全球的整体计算流鉴别器,和右边显示左边的变压器编码器的细节。

输入图像首先被分成 不重叠的补丁,内核大小等于大步: 在哪里 表示 - - - - - -输入图像的th补丁;我们设置 将输入分成64个补丁。然后,所有补丁都夷为平地D维度可训练的线性投影。类似于伯特[类标记31日),我们也可学的嵌入预先考虑到序列的嵌入补丁。嵌入的位置添加到补丁嵌入保留位置信息。我们的方法使用标准可学的1 d位置嵌入的,因为许多研究表明,使用更先进的2 d-aware位置嵌入不工作32),因此制定如下: 在哪里 表示变压器编码器的输入; 表示嵌入投影映射补丁图像向量;和 表示可学的位置嵌入块的位置信息。

变压器编码器由两部分组成:多线程self-attention (MSA)和多层感知器(MLP)。MSA使学习受益于多线程关注不同层次的特性。此外,层规范(LN)是应用在每个街区,和剩余连接后每一块。这些块结束时,输出被分类输出真/假的预测。的输出 - - - - - -变压器中th层编码器可以制定 在哪里 从上一层代表了特征提取。

3.5。损失函数

第一个组件损失函数的方法是一个pixelwise损失受pix2pix架构(26]: 在哪里x表示源图像和y表示目标图像。

不同的损失函数基于pixelwise差异,感知损失依赖于高等特性表征的差异往往从网络中提取pretrained更通用的任务(33]。常用的网络是VGGNet ImageNet[训练34]数据集对象分类。在这里,后33),我们提取特征图之前第二max-pooling操作VGG16 pretrained ImageNet: 在哪里 表示pretrained VGG16。

当地的鉴频器是基于条件鉴别器;它的损失函数可以作为制定 在哪里z表示的合成图像发生器。

全球鉴别器使用铰链损失优化发电机;铰链可以制定为损失

通过聚合上面所有的损失,我们可以制定我们的总损失函数 在哪里 表示pixelwise损失的重量; 表示知觉的重量损失; 表示当地鉴别器的对抗性的损失的重量;和 表示重量的对抗全球鉴别器的损失。

4所示。实验

在本节中,我们将首先描述中使用的数据集的信息我们的方法,然后介绍实验的实现细节。我们目前的实验结果,与一些先进的方法。

4.1。数据集

中使用的数据集评估团队提供的数据集。我们使用的实验数据集总数40主题,每个主题都有相应的T1-MRI T2-MRI, 30个受试者被用于训练和10是用于测试。采集参数如下:t1影像:TE = 4.603毫秒,TR = 9.813毫秒,空间分辨率= 0.94×0.94×1.2毫米3。t2影像:TE = 100毫秒,TR = 8178.34毫秒,空间分辨率= 0.94×0.94×1.2毫米3。因为multicontrast图片未注册,我们使用目前35)注册T1-MRI T2-MRI。最后,我们用零填充填充所有图片在用于实验轴向截面的大小一致 。

4.2。实现细节

我们的方法是在PyTorch中实现。所有方法都是经过训练和测试1日NVIDIA Tesla V100每个GPU 32 GB的内存。训练阶段的方法,我们设置了纪元100年,学习速率为0.0002,批量大小为1导致训练时间增加到5小时。模型训练是通过亚当优化器与执行β1 = 0.5和β2 = 0.999。在全球鉴别器,我们使用多线程关注4头和设置D在64年。在每一个多线程的注意,我们执行GeLu激活和辍学设置为0.1。有限的小型医学图像数据集,我们利用pretrained模型在全局对象分类鉴别器任务ImageNet数据库。所有重量都初始化使用正态分布为0意味着和0.02性病。我们设置了hyperparameter在总损失函数 , , ,和 。公平的实验中,我们设计了4倍交叉验证通过随机抽样不重叠的训练、验证和测试设置在每一个褶皱。

4.3。比较的方法

验证的有效性提出了合成方法,我们比较了三种先进的交叉模式合成方法:(1)pix2pix [26甘]:这个方法是基于卷积模型和UNet骨干,关注pixelwise综合整个图像的相似性。(2)CycleGAN [27]:这个方法由两个发电机和两个鉴别器,它使用一个周期的一致性与未配对数据损失,使训练。在比较中,我们使用成对的数据来训练这个方法,我们的方法。(3)PGAN [29日甘:这个方法是基于条件;发电机由编码器,译码器,和9 ResNet块。与此同时,该方法显示在许多跨通道的图像合成的优越性能的任务。

4.4。结果和分析

我们使用两个测量评估的综合性能提出了方法和我们的方法比较:结构相似性指数测量(SSIM)和peak-signal-to-noise比率(PSNR)。所有表中的数据的平均值和标准偏差表示。更多细节可以在表中找到1和2。

表1
比较T2-weight MRI合成方法,不同的方法之间的PSNR和SSIM(数据表中表示测试数据集的平均值和标准偏差)。
表2
比较T1-weight MRI合成方法,不同的方法之间的PSNR和SSIM(数据表中表示测试数据集的平均值和标准偏差)。

展示我们double-scale鉴别器方法的有效性对主观质量,展示了示例如图3。


图3
从所有竞争方法合成图像显示以及源图像和目标图像的引用。我们的方法可提高合成性能尚未描绘在地区竞争的方法。很明显,我们的方法的合成图像有更少的噪音和更清晰的组织描述。

5。结论

在本文中,我们提出了跨通道医学图像合成的甘double-scale鉴别器。通过合成CNN和变压器设计double-scale鉴别器,我们的方法已经明确利用CNN的定位能力和全局上下文同时视觉变形金刚的敏感性。实验结果证明了该方法的有效性。在未来,我们将专注于医学图像生成方法,通过变压器、集成多视图和多通道信息解决问题,二维医学图像生成不能利用3 d信息和三维医学图像生成需要很高的计算能力。

数据可用性

的数据支持本研究的发现可以从相应的作者在合理的请求。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作是由美国国家科学基金会支持部分拨款61806104和61806104下的中国,西方部分光人才计划下的中国科学院授予XAB2018AW05,和部分青年科技人才格兰特TJGC2018028下的宁夏招生项目。