文摘

实现健壮的高性能计算机辅助诊断系统的淋巴结,CT图像可能通常从多中心收集的数据,导致模型的分离性能中心根据不同的数据源。淋巴结的变化适应问题数据相关的领域适应问题深度学习不同于通常的一般领域适应问题,因为更大的CT图像大小和更复杂的数据分布。因此,域适应这个问题需要考虑共享特性表示,甚至每个域的条件信息,以便适应网络可以捕获显著区别的表示一个域不变空间。本文提取域不变特性并提出了基于跨域混杂表示cycle-consistency学习框架鼓励网络通过跨域图像保存class-conditioning信息翻译。与不同领域的表现适应方法相比,我们的方法的准确率达到至少在淋巴结多中心数据高出4.4%。图像进行像素级跨域映射和语义层面上周期的一致性提供了稳定的混淆与class-conditioning表示信息实现有效域下的适应复杂特性分布。

1。介绍

小说技术对于医学图像分析、计算机辅助诊断算法,和相关的话题最近新兴。这些研究方向的发展不仅取决于人工智能方法,还在大数据技术的推广。事实上,深度学习计算机辅助诊断算法通常使用现实的大型医疗数据集手动标记。医学图像分析有关的问题是复杂的,临床图片相同的方式可能不同,如果这些设备生成的图像是不同的模式,制造商,或成像参数。big-data-driven医疗诊断算法,模型训练通常只有一个集中获取数据集不能推广,这一缺点限制了该模型的应用范围(1,2]。然而,收集数据和多个模型、参数或位置增加手动标签的成本,平衡数据样本的数量从每个这些因素的一个数据集收集复杂导致实际应用的不灵活性。医学影像数据的分类在这种变化通常被称为一个跨域分类问题。事实上,如果没有全面和均衡数量的样本数据集对于每个因素,很难达到最优分类性能对这些因素。例如,电脑断层扫描(CT)成像显示清晰的变化在某些组织由于设备或参数的差异。如果我们有足够的标记数据样本的CT成像设备,我们可以训练一个稳定的学习网络。CT图像收集了来自另一个设备可能不适合自己培训一个稳定的网络如果不满足高标记的数据要求(3,4]。针对这一点,我们可以定义的无监督领域适应问题作为一个处理深度学习如何使用带安全标签的数据从一个域来实现两个域的共同识别图像,尤其是没有标记的图像。这个问题是由一个多畴的健壮的分类算法,妥善处理于一体的多中心数据手工标记。

域有两种类型的方法适应:以数据为中心的方法和subspace-centric方法(5]。一方面,一个以数据为中心的方法找到一个统一的转换,将数据从源和目标域映射到一个域不变空间,以减少数据的分布差异的源和目标域,同时保留原始空间的数据属性。域不变的特征空间是用来实现最终的分类在不同的领域。另一方面,subspace-centric方法减少两个域的域变化通过操纵子空间。例如,这个操作可以通过建立一个线性映射或使用Grassmann内核(6]所以,每个域的子空间有助于形成最终的地图。通过比较这两种类型的方法,我们发现以数据为中心的方法需要提取到一个共同的特征隐式空间分类,而subspace-centric转换目标子空间源子空间方法。利用多通道特性的医疗数据,同时关注灵活性考虑在实际应用程序中,我们构建了一个统一的网络分类的多中心数据。

领域适应问题,最常用的方法是等对抗训练的梯度层(GRL)方法或逆转的最大平均差异(MMD)方法。Ganin et al。7)提出了计算敌对的损失在嵌入空间中使用梯度逆转层(GRL)。对抗训练的目标是找到域分类器或鉴别器的参数,最大化其分类精度,同时设置一台发电机的参数最大化域分类器的混乱。这个领域分类损失最大的问题就是一个好的域不变特性不应让它来自鉴别器知道该域。这样一个域鉴别器基于二进制分类倾向于促进网络中提取特定于域的特性,这可能是不相关的两个领域。最大均值差异(MMD) (8]在很多研究中用于描述分配差距功能从不同的领域空间。Tzeng et al。9)和Rozantsev et al。10)使用多党民主运动测量两个功能空间之间的距离和源和目标空间映射到一个统一的特征空间通过最小化这个距离。此外,太阳和Saenko [11)使用珊瑚损失对齐两个域之间的均值和方差来实现相关对齐。这些方法,努力描述功能损失,考虑在特征空间的距离,但不考虑其他相关表征功能空间之间的源和目标域。当源和目标域的先验class-conditioning信息大大不同,功能空间的相似性意味着失去class-conditioning目标域的信息,因此更高的分类错误发生在目标域。此外,域分离网络(dsn) (12)使用四个提取功能网络解决常见的和特定于域的特性。通过GRL域相似性约束对差分约束软子空间正交性损失,获得域不变特性仍然遭受上述问题造成的具体损失。医学图像的特定领域和共享特性非常复杂,事实上,因为这些高分辨率的图像。

无监督图像翻译问题类似于领域适应问题。以数据为中心的问题,是否它是一个无监督domain-adaption问题或风格翻译问题,主要目的是找到一个域不变表示在两个领域。相比,使用特定的方法约束损失多或珊瑚等方法,更灵活的implicit-loss方案命名为跨域图像映射,提出无监督图像风格翻译(13,14),进行像素级域不变特性。无监督image-to-image翻译(单位)15)是基于shared-latent-space假说。单位重建跨域映射,基于生成对抗网络(甘斯)等周期GAN [16甘]和耦合(卡)17),迫使网络提取常见的隐式空间特性。结合像素空间变分autoencoder (VAE)重建的损失18),单位损失函数使用隐性损失约束通过图像重建和敌对的培训来实现更灵活的特征提取(19]。域分离方法后网络(dsn) [12),利用不同的方法image-to-image翻译(DRIT) [20.)和多通道无监督image-to-image翻译(MUNIT) [21)解决常见的和特定于域的特性,然后执行跨域重建。这些方法添加更多的图像重建域不变约束损失来获得一个更现实的重建图像。然而,这样的损失函数限制特征提取和映射。一些研究也domain-adaptation方法应用于图像翻译。XGAN方法(22)使用GRL想法而不是进行像素级的VAE损失实现语义周期允许网络共享功能的一致性表示实现灵活的结构转换。

domain-adaptation之间最大的区别问题,图像翻译问题是前问题的特征是疲软的图像重建质量和增强class-conditioning信息域不变的空间。正如上面提到的,域不变空间domain-adaptation问题应该被分类的特点和领域不变。两个域的特征提取可以跨域,重建和生成的图像不能称之为它源于哪个域。侠盗猎车手(23)使用联合generative-discriminative方法添加一个分类GAN损失(损失24)限制class-conditioning信息生成的图像。对应两个图像进行像素级损失是不习惯。所以,网络的领域适应不依赖于图像重建。此外,的重要性的梯度域适应验证的分类损失(23]。因为目标域图像标记,侠盗猎车手只使用源标签传播梯度。这种方法可能不是广义的分类目标域。毕竟,分类器训练只有源域可能有一定的特定于域的功能。为了解决这个问题,我们使用两个解码器建立跨域图像映射到地图标记源域到目标域图像。为了实现跨域映射,使网络健壮class-conditioning变化的源和目标之间的信息域,我们提出一个新的概念叫做分类周期图像生成过程的一致性。分类周期的一致性,这是类似于循环XGAN语义损失,能更有效地感知class-conditioning变化信息,并提供一个更灵活的结构转变而加快不适定的未配对的跨域映射问题。

在本文的另一个主要贡献,domain-adaptation网络是建立基于跨域混杂表示解决计算机辅助诊断数据的多中心问题。灵感来自于无监督图像翻译问题,跨域混杂表示用于隐式强制网络提取域不变特性通过跨域映射。网络体系结构由一对编码器和译码器,以及一个鉴别器和一个分类器。编码器的一对常见参数特征提取在两个域,而最终分类的分类器实现域不变空间。由于医学图像的复杂特性分布和class-conditioning信息域不变空间的要求,分类周期一致性是添加到跨域映射后的损失函数来帮助网络更新class-conditioning的梯度信息。图1显示了方法的采用概念图。相比以前的方法等领域适应GRL,多党民主运动,和侠盗猎车手,我们的方法可以实现一个更好、更稳定的性能复杂的特性与高分辨率的医学图像的分布。

2。材料和方法

我们在这里介绍我们的方法在三个阶段。在第一阶段,我们将介绍每个组件的网络体系结构和主要功能。在第二阶段中,我们结合所有部分的功能描述损失函数的建设。在第三阶段,我们介绍整个网络如何使用损失函数来实现每个组件的主要功能和网络的验证。

2.1。提出了网络的体系结构

我们的网络体系结构由对解码器和鉴别器如图2(一个)。带安全标签的数据时表示源图像,蓝色所示无标号数据表示目标图像,所示绿色。我们假设对图像,X1和X2,从不同的领域可以映射到一个域不变空间。编码器与六个卷积网络F是一个fully-weighted共享网络层从两个域的输入图像。编码器后,我们运用两个完全连接层的分类网络分类域不变特性。解码器G有6个反褶积层重建图像通过域不变特性。网络功能结构主要由两部分组成。提取一部分跨域混杂表示通过氮化镓的损失,和另一部分担保类的一致性条件的信息在编码过程中通过分类周期的一致性。图2(一个)表明提取的过程中交叉域混杂表示在整个网络。图2 (b)显示分类的过程周期的一致性通过源图像在图像重建阶段。特征从源域与标签信息解码生成一个相应的图像域。生成的图像然后reencoded重新分类。这个更新步骤介绍了梯度class-conditioning信息解码器和编码器的每个域和实现语义级的一致性约束。图2 (c)显示了氮化镓损失概述和分类周期的一致性。相比之下,共同生成区别的方法(23),该方法保证了分类信息的一致性和域不变的信息编码和解码过程。

2.2。损失函数构造

让源和目标分布 和 ,分别为,和分别是生成图像。同时,让源和目标图像和 。为了实现跨域混杂表示和分类周期的一致性,我们优化域鉴别器D,译码器G,分类器C和编码器F如下。

2.2.1。域鉴频器D

域鉴别器的目的是确定是否一个输入图像属于域。设计的目标是最小化域鉴别器损失,迫使编解码器生成图像更符合域特性的对抗训练。的应用进行像素级敌对的损失之前DC-GAN的方法(19)和侠盗猎车手(23]。解决这个问题域不变特性不应让鉴别器知道它来自域,我们应用两个域鉴别器D在每一个领域,以便鉴别器歧视领域以外的两个领域。的损失函数D方程所示(1)和(2)。的年代和T下标代表源和目标域的鉴别器,分别为:

2.2.2。译码器G

每个解码器或发电机的目的G是最大化域鉴别器混淆通过生成图像傻瓜这个域尽可能鉴别器。这种混乱构成的一部分,敌对的损失。随着训练的进行,译码器G生成图像与多域特征。分类周期的一致性介绍了更新G。生成的图像是通过编码器重新分类F和鉴频器D。通过最小化分类损失,解码网络捕获更灵活的阶级结构的变化,保留class-conditioning信息生成的图像。的损失函数G由方程(3)和(4)。的年代,T下标代表源和目标域的鉴别器,分别为:

2.2.3。分类器C

分类器C应用于空间域不变。分类器的目标是正确的源和目标图像进行分类,和 。图像分类,我们直接优化分类器C通过最小化一个二进制叉损失。生成的图像,分类器也分类损失最小化的跨域重建图像在目标域。所以,标签信息可以介绍在目标域target-domain-specific改善分类性能的特性。应该注意的是,当我们使用cross-domain-generated图片更新C,我们不使用的梯度信息F和G。的损失函数C所示如下方程:

2.2.4。编码器F

编码器的损失函数的一部分F译码器是一样的吗G。通过最小化损失的分类器C、分类周期的一致性提高提取某些特定领域特征的能力。GAN敌对的损失结合编码器损失的域判别损失。此外,介绍了跨域判别损失,确保域不变特征的提取。发电机的目的G只生成一个图像的每个域傻瓜相应的域鉴别器吗D没有跨域映射,而编码器的目的F主要是将图像映射到域不变空间最大化域鉴别器混乱在跨域生成。我们调整的比例相同的域中重建损失和跨域重建亏损F的参数(0.1)和(0.1)。的功能模块F和模块G不同于彼此的优化过程中,隐式地执行域提取的特征的不变性。与此同时,编码器的目标网络F标签是最小化预测损失与L2正规化跨域混杂表示。方程(5)显示了编码器的损失函数F:

2.3。模型训练

因为每个模块都有不同的损失函数,训练我们的网络模型遵循不同的损失更新规则为每个模块实现参数更新的隔离。未配对的训练输入源和目标图像,我们交替更新D,G,C,F模块如前所述在侠盗猎车手23]。更新鉴频器D,我们解决所有其他模块的参数和鉴别器损失最小化通过移动的方向梯度信息的鉴别器。更新的解码器G其他模块的参数是固定的,而G参数更新通过最小化分类周期损失和最大化的一致性判别损失。更新的分类器C,我们解决所有参数除了那些分类器和只使用源领域的图像和图像生成的跨域标签信息分类损失减小到最低限度的梯度信息下编码器F和分类器C。编码器的目的F域判别损失最大化,最小化分类器,分类周期的一致性可以把损失降到最低,最大限度地判别的跨域的一代。从损失函数的构成,我们可以看到G,C,F有相同的部分损失函数也有自己的独特的地方,所以我们需要独立更新梯度。相反,损失的F来自C,D,G在同一时间。的基础上更新G和C,它可以更好地提供有效的梯度信息F,从而更好的优化参数F。在更新的顺序F,G,C,我们的原则是使用前面的梯度网络更好地培养后续网络基于的网络架构和损失函数的构成。

2.4。模型验证

为了评估领域提出了网络的适应,我们评估的分类性能源领域验证集和目标领域数据集。图3显示验证阶段,仅保留编码器和分类器。域验证的数据集是专门划分为独立于训练集的验证集。最后,源域和目标域验证精度是用来确定模型的稳定性和性能的评估领域的适应。

2.5。数据集描述

CT图像广泛应用于医疗检查和扫描不同的分辨率也表现在临床诊断取决于病人的病情。特别是,CT成像已广泛用于计算机辅助诊断良性和恶性淋巴结的25,26]。在最初诊断淋巴结,CT扫描分为两种类型:普通扫描和增强扫描,软组织的增强扫描显示更清晰的细节。医生会主观地决定使用哪一个扫描方法基于病人的最初状态。实现域适应两种扫描,经过训练的网络应该消除背景干扰和注意class-conditioning特性。在我们的实验中使用的数据集提供的部门河南省人民医院的放射学,在中国政府的公共医疗机构。美国放射学的河南省人民医院批准这项研究,放弃需要获得患者的知情同意。增强CT图像包括1409例恶性病例和1099例良性病例,而plain-scan CT图像包括1310名恶性病例和1358例良性病例。限制的基础上处理二维数据通过我们的网络,当处理3 d CT扫描数据,我们提取中心片病变区域的样本每个3 d数据的垂直轴方向。3 d图像的预测基于2 d切片可以作为以后研究的方向。图4显示良性和恶性两种扫描的图像是我们地址在这两个领域的工作。每个图像的原始大小是512512年。为了减少内存消耗,我们统一尺度的图像大小为256256年网络培训。

为了验证我们的模型的一般适用性,我们也进行实验数据集简单数据分布但高域转变。特别是,我们选择了街景门牌号(SVHN)数据集27]和MNIST [28实验数据集)。SVHN数据集是一个nonhandwritten数字彩色图像的数据集和一些结构性变化,但在一定的背景干扰。MNIST数据集是一个手写的数字数据集的关键图像,用明确的数字结构变化。两个数据集,实现域适应网络需要消除背景干扰,准确地捕捉手写的共同特征表示和nonhandwritten位数。我们也尝试用数字数据集上的分类网络编码器F和C分类器进行比较与后来的实验。

2.6。实现细节

因为目标域标签不是实际domain-adaptation问题,最后domain-adaptation模型通常是获得end-of-training模型。事实上,模型稳定在训练是达到了一个高度优化模型在实际应用的关键。我们主要是评估模型性能的稳定性和准确性。实验设置,批量标准化受雇前纠正线性装置(ReLU)激活函数在网络培训。此外,亚当优化器采用动量为0.99。这个框架是使用NVIDIA泰坦下PyTorch V 12 gb GPU执行。

3所示。结果与讨论

3.1。过于单一的验证实验

我们将演示实验的分类性能根据我们的数据和评估后续域适应影响相关的源域。特别是,我们使用每个单一的CT数据中心网络体系结构的参数学习。验证的结果是派生集和如表所示1。事实上,我们的数据可以实现相同的深度学习模型下良好的分类性能。分类性能相似的情况下两个单中心CT数据集。然而,增强CT扫描和MNIST数据集的特点更容易提取和导致更高的精度验证。

3.2。领域适应实验

我们在这里报告实验验证我们的方法的结果。我们使用常用domain-adaptation方法比较。所有提到的程序复制在同一个深度学习框架根据参考文件。除了医疗数据集,我们也验证我们的方法简单的数据分布的数字数据集来演示我们的方法的普遍性。

我们测试了三种常见的领域适应设置。第一个设置,SVHN MNIST,指域适应SVHN作为源域和MNIST作为目标域,而设置MNIST SVHN指domain-adaptation过程相反。以同样的方式,这两个设置,普通增强和增强的平原,代表我们的医疗数据集的领域适应平原和增强CT扫描。表2显示了性能在不同的方法、数据集和域设置。性能测量的平均精度方差十倍验证方案。

过于单一的方法意味着源领域的模型训练数据集和直接目标领域数据集上测试过。网络体系结构是编码器的结合F和鉴频器C网络。从表2我们可以观察到,我们的方法明显关闭之间的差距两个域分类空间。对于简单的数据分布(MNIST和SVHN)实验中,我们的方法几乎达到最佳性能得到侠盗猎车手(23),但方差值较低,这表明模型的鲁棒性。GRL也简单分布数据(85.4下表现良好1.7,87.22.1),而多党民主运动(62.6表现不佳0.7,66.10.8)。这个性能的差异反映了多党民主运动,作为损失的描述特征空间距离,可能关注网络提取功能,不相关的类信息,当源和目标域的先验class-conditioning信息大大不同。GRL改善歧视域不变特性与更灵活的敌对的损失。DSN (81.31.4,86.40.5)使用GRL来执行相似性约束,通过显式地建模的每个域的特征,它提高了约束域不变的特性。这些方法反映了理性的表现不佳域不变特性的提取通过跨域混杂表示基于对抗的损失。

复杂的数据分布的CT图像,我们的方法达到最佳性能(73.80.9,72.51.3)。性能差的DSN (58.54.1,55.23.4)显示了域不变特性之间的复杂性和特定于域的特性在复杂的数据分布。GRL (65.43.9,60.22.3)和多党民主运动(63.52.7,65.73.2)不执行在复杂的数据分布与单一性能相比,这证明class-conditioning域不变空间信息的有效性。其他方法显示出较大的波动在网络性能稳定变得复杂的特性。与此同时,我们的方法的性能是最稳定的,也是强劲的转变class-conditioning分布信息的复杂特性。这种稳定的使我们的方法更适用于实践领域适应气候变化。相比的结果表1过于单一的方法,结果所有domain-adaptation方法接近训练的结果相同的分类网络监督条件下的画面特定的域。我们可以做一些观察验证准确性的源和目标域。CT图像数据集,目标域验证的准确性会慢慢上升。源领域验证精度首先将迅速上升,下降,然后缓慢上升。源领域最高精度相比,最后稳定源领域精度低于初始值最高,但对应于一个更高的目标域的准确性。

我们运行附加实验来评估分类周期的一致性对领域适应气候变化的影响,从而验证class-conditioning信息域不变空间的重要性。具体来说,我们测试拟议的框架使用和不损失分类周期的一致性。结果如表所示3。与模型没有类别信息约束,引入类别是至关重要的和有用的信息。网络与一致性分类循环损失具有更好的准确性和稳定性(73.80.9,72.51.3)在复杂数据分布(67.6网络没有这个损失1.4,65.41.1)。结果表明,分类周期的一致性,增加class-conditioning梯度的方法F和G在域不变的空间,约束class-conditioning特性。相比之下,侠盗猎车手(表的结果2),如果是不分类周期方法的一致性,性能更差。分析原因是侠盗猎车手模型引入了类信息编码器通过分类鉴别器的损失。这两个结果表明,无论域不变特征提取方法,引入class-conditioning更重要和有用的信息。我们可以看到分类周期一致性概念不仅对跨域映射一致性约束,也保证了灵活的感知class-conditioning信息并导致更高的准确性和更稳定的性能。

4所示。讨论

解决计算机辅助诊断muticenter淋巴结数据域提出了适应网络用于复杂数据分布。与其他领域的适应方法不同,提出监控领域适应气候变化的方法提取域不变特性通过跨域混杂表示,这样就可以得到一个域不变的目标和源数据空间。此外,分类周期捕获class-conditioning信息域不变空间一致性为了解决difficult-to-perceive-detail class-conditioning信息。证明了该方法的有效性通过实验结果。与此同时,该方法实现简单数据分布下的更健壮的性能和复杂的数据分布,这可能是由于class-conditioning特性可用的约束域不变的空间。此外,发现跨域混杂表示基于对抗的训练也强劲updata序列的变化。虽然准确率高于70%通过域的适应,这是远低于它应该是什么。也许是因为重量为每个损失约束需要选择来平衡各种不同部分限制的影响。此外,域适应性能也需要证明在三维图像的应用程序。

5。结论

提出了一种领域适应方法解决多中心问题的计算机辅助诊断淋巴结。针对高分辨率和复杂特性分布的淋巴CT图像,本文构造了一个混杂的表示域特性基于跨域映射实现域不变特征提取。复杂的数据分布的淋巴CT图像,分类周期一致性指导该模型感知域不变空间的重要可分类的表征。通过以上方法,我们的模型获得稳定的高分辨率图像域适应在复杂的医学领域。简单的数据分布的实验结果也显示了该方法的通用性。训练稳定还允许我们简单地得到目标域下的优化模型,可进一步实现多畴的医疗数据集成。

数据可用性

研究中使用的代码可以获得https://pan.baidu.com/s/1-m6PckJgM9v_JI-hCUg50g。

的利益冲突

作者宣称没有利益冲突。

确认

这个工作是支持的国家中国在格兰特2018 yfc0114500的关键研发项目。