文摘

自Late-Gadolinium增强(LGE)心脏磁共振(CMR)的可视化心肌梗死和balanced-Steady状态自由旋进(bSSFP)电影序列可以捕获心脏运动和清晰的界限;multimodal CMR分割发挥了重要作用的评估心肌活力和临床诊断,而自动和精确CMR分割仍是一个挑战由于少量的标签LGE数据和教育法的对比相对较低。我们工作的主要目的是学习真正的/假bSSFP形态与地面真理间接段LGE形态心脏通过使用先生提出的交叉模式multicascade框架:分别交叉模式翻译网络和自动分割网络。在分割阶段,小说multicascade pix2pix网络是为了段假bSSFP序列从交叉模式获得翻译网络。此外,我们提出知觉损失测量地面实况和预测之间的特性,提取了pretrained vgg网络细分阶段。我们评估该方法性能的多通道CMR数据集和验证其优势比其他先进的方法在不同的网络结构和不同类型的敌对的损失的骰子精度测试。因此,拟议的间接心脏LGE分割网络承诺在临床应用。

1。介绍

多通道CMR成像是一个重要的工具在诊所的筛查和诊断心脏疾病。不同成像模式包含不同的有用的信息对于心脏疾病筛查任务;不同成像模式的结合可以克服个体形态的局限性。LGE先生成像的对比剂注入10 - 20分钟;LGE图像以独特的局部亮度与健康组织可以增强心肌坏死或疤痕,这是一个标准的做法来评估心脏结构、心功能、心肌灌注和心肌活动。不同于bSSFP LGE图像,可以突出的高信号区流体但出现为其他组织统一的信号;例如,冠状动脉大血管和能清晰观察bSSFP是因为心脏肌肉和血池中更明显的对比。t2加权MRI是有效减少假阳性的结果。考虑不同的磁共振成像模式因此重要的准确获得心脏信息(1]。

CMR分割的多通道图像是一个关键的步骤,下面的诊断和手术规划的过程。然而,它需要20分钟/对于一个有经验的医生手动段LGE图像,是非常耗时的手工识别和描述相应的结构在心脏,结果取决于医生的专业能力,因人而异。因此,开发自动和可靠LGE图像分割算法的高为患有心肌梗死临床值。

道和Der地表古积提议对LGE图像的分割方法使用心肌形态学信息(2]。Popescu等人使用一个面具SLIC聚类方法和大津阈值段LGE图片(3]。近年来,计算机视觉深度学习取得了令人瞩目的成功。越来越多的图像处理方法都是基于CNN模型(4,5]。陈等人。6]提出使用域适应融合的特点标记LGE图像,然后使用融合功能训练细分网络。此外,许多方法基于注意机制(7,8)和多视图的方法(9对医学图像分割)最近被开发出来。杨等人结合多视图和注意力机制部分心脏LGE图像(10]。自动心脏LGE基于CNN的分割算法更高效和健壮,和通常比传统的方法更准确11,12),因此需要自动段LGE图像。

然而,自动LGE CMR分割仍然是艰巨的。除了大心脏的位置和几何区域的变化在不同的患者,壮族(1]指出相关的三个主要挑战LGE CMR的强度分布形态:(i)的强度范围的心肌教育法从其邻近器官成像导致无法区分的界限;(2)心肌的病理结果异构强度,使一个简单的假设高斯密度分布等单一组件无效;和(iii)的预处理增强LGE CMR形态可能很复杂。所以它更难段直接LGE形态,特别是在少量的标签lg电器的情况下数据。

氮化镓是由格拉汉姆·古德费勒首次提出et al。13)的图像合成,它使用一个发电机网络和鉴别器网络,坑一个反对(因此,“对抗”)为了产生假的合成实例可以通过真实的数据。这里,生成器生成一个伪随机噪声图像,法官鉴别器输入数据是否正确(数据来自真实的标签)或假(数据来自发电机的输出)。甘斯的目的是学习的潜在分布训练数据,以生成数据鉴别器无法区分。同时,游戏和发电机之间的鉴别器达到纳什均衡,即。,生成的数据分布等于实际数据分布 。甘斯(的发展14),这样的模型广泛应用于图像处理,包括图像和视频的一代(15,图像分割16)、图像合成(17),和图像超分辨率(18]。

在这项工作中,我们提出一个新颖的交叉模式multicascade间接LGE分割框架(CMMCSegNet),在多通道心脏训练数据和少量的先生LGE标签(Multisequence LGE形态的心脏分割先生挑战2019数据集1】,只有五个病人标签)。这项工作的主要贡献是澄清如下:(1)我们开发一种新型间接LGE基于多通道图像分割框架;的主要组件之一是翻译LGE形态需要分段但只有很少量的带安全标签的数据时,进入bSSFP形态容易分割的方法(2)我们提出一个multicascade pix2pix网络图像分割;也就是说,发电机是由级联多个子网。在分割网络,我们作为分割翻译过程从原始图像分割目标(3)我们雇佣的知觉丧失使用pretrained VGG19网络比较标签和一代之间的特性差异在提出multicascade pix2pix网络培训

接下来的工作是组织如下。我们首先给出一些预赛2。我们描述CMMCSegNet细节部分3。我们在节给出实验结果4。最后,我们总结这部分工作5。

2。相关的工作

组织或器官分割中扮演一个重要的角色在医学图像处理领域。医学图像分割被广泛探索;然而,挑战在通用性、健壮性和效率仍然存在。为简便起见,我们只低于关注最密切相关的工作。

2.1。级联结构

多个子网级联网络连接在一起,形成一个多层次的网络。级联方法已有效地应用在许多视觉应用分类(19翻译)、图像(20.),检测(21),超分辨率(22],和语义分割[23]。例如,崔等人提出了一个深刻的级联网络图像超分辨率(22]。Cai和塞·伐斯冈萨雷斯提出他的级联结构的使用对象检测(21]。赵等人提出了医学图像配准(递归级联网络24]。Armanious等人提出了级联信号发生器的使用网络的图像转换(20.]。Havaei等人提出了一种新的级联结构对大脑肿瘤分割(23]。李等人。25)提出了分类简单地区浅网络和训练更深层次的网络处理困难的地区。林等。26)提出了一种自顶向下的架构与横向连接传播深度浅层次语义特征。

不同于以前的级联网络multicascade pix2pix网络提出了图像分割的多个U-net级联结构,它允许一种创新的方式监督每个发电机单独pix2pix甘斯。我们最好的知识,这是一个早期和原始试图采用级联架构pix2pix GAN-based医学图像分割。我们将引入更多的细节部分3。

2.2。多通道心脏MR图像分割

最近的文献表明两种主要的方法来完成多通道CMR图像分割。一个流行的方法是关于GAN策略基于交叉模式图像翻译,指的是翻译与形态的图片为图像形态 ,在计算机视觉中发挥着越来越重要的作用。伊索拉et al。18甘]提出的使用条件来实现配对image-to-image翻译。本等人使用CT图像合成PET图像基于pix2pix网络(27]。Cycle-GAN [28)提出了未配对image-to-image翻译。BiCycle-GAN [29日)解决翻译过程从单一图像multicategory形象。此外,一些GAN网络包括DualGAN [30.)和单元(31日)也提出了未配对image-to-image翻译。

在CMR数据集1),不同形式的图像不是严格匹配,所以古典未配对image-to-image翻译(32CMR)可以应用于交叉模式分割。陈等人。33)建议使用单位bSSFP图像转化为LGE图像,然后火车LGE图像的分割网络提供的翻译体系结构。Campello等人还提出使用Cycle-GAN bSSFP图像转化为LGE图像但火车U-net网络(34]LGE分割。道等。35]提出整合翻译网络(Cycle-GAN)分割网络实现LGE图像分割。

另一个有前途的方法是对图像配准策略。罗斯等人提出注册LGE图像与地面真理LGE图像没有地面真理,multiatlas标签融合后多数表决;他们获得了嘈杂的lg电器标签,然后训练LGE分割网络(36]。刘等人提出了一个注册直方图匹配的方法来实现增加教育法的图片(37]。

3所示。提出了交叉模式SegNet

这项工作的目标是实现心脏分割LGE形态,少量的样品标签。我们的CMMCSegNet (https://github.com/wangyu719/CmmcSegNet)框架旨在促进间接CMR多通道图像的分割。总框架如图1,包括培训架构和测试架构。

从2019年Multisequence心脏分割先生挑战我们的数据集是数据集(2019年MS-CMRSeg) (1]。在这项工作中,我们使用LGE形态与45例bSSFP形态(见图35带注释的病人2更多的细节)。只有五个地面实况注释可用MS-CMRSeg LGE形态的2019数据集;因此,很难直接使用深CNN-based方法段LGE形态。图2展示了教育法和bSSFP图像之间的差异从相同的病人。此外,它是发现bSSFP形态有更明显的比LGE形态对比,所以我们相信bSSFP更容易被分割。此外,bSSFP形态有大量的图像(35例)和地面实况注释,所以不难培养bSSFP形态使用基于深度学习的方法。

3.1。交叉模式图像翻译

培训体系结构的主要组件之一是交叉模式翻译网络,可以训练有素的端到端未配对模式。之前分段bSSFP图像实现间接LGE图像分割,我们首先提出一个Cycle-GAN LGE翻译成bSSFP图像的体系结构。

灵感来自于知识蒸馏之间未配对image-to-image翻译网络(32),我们采用Cycle-GAN实现交叉模式图像翻译CMR数据集。让 两个图像域代表LGE bSSFP模式,分别。 和 是两个发电机的交叉模式翻译网络这样和是彼此的逆映射;也就是说, , 对于任何未配对图像 , 。 和的鉴别器交叉模式翻译网络,区分鉴别器的输入是真实的还是假的。

Cycle-GAN架构实现交叉模式图像翻译未配对LGE / bSSFP数据集包含两个周期:教育法和bSSFP周期循环。LGE周期中,第一个发电机是训练LGE形态转换成假bSSFP形态,第二个发电机训练将生成的假bSSFP形态回到最初LGE形态,鉴别器是真实和合成bSSFP模式之间的歧视。事实上,开明的activation-based注意力转移策略,鉴别器的目的是提取监督信息,调节发电机的学习吗 。在现实bSSFP bSSFP周期,是假LGE通过发电机转换 ,发电机转换生成的原始bSSFP教育法,鉴别器是真假bSSFP形态之间的歧视。最后,网络框架如图1 (b)。

整个培训的损失被定义为我们的翻译网络 在哪里 和 是两个敌对的损失定义为 和一代相似 被定义为 和是平衡的重量参数的贡献产生损失呢 和这两个敌对的损失 和 。

3.2。Multicascade pix2pix分割

最近,视网膜血管[GAN-based框架提出了段38]。我们理解图像分割的翻译成对图像,图像(从原始图像到预测分割结果);因此,我们提出一种新的图像分割方法使用multicascade技术和pix2pix结构,我们称之为一个multicascade pix2pix网络。

3.2.1之上。Multicascade网络

我们multicascade pix2pix分割网络如图1 (c)基于氮化镓的架构,由多个发电机( )和一个共享的鉴频器 。

发电机 : 翻译来 ,原始输入的地方 是 是真是假bSSFP形象,和第一代 是一种预测相应的标签。另一个发电机 : 进一步完善之前的预测概率获得更优的预测 在哪里和有相同的大小。在这工作,是由U-net [5]或ResNet [39网络更准确分割的目的。在实验评估中,我们将比较不同机组对分割结果的影响。这个网络的目的是获得最终的分割结果原始输入的 ,这也是LGE分割的结果。因此,生成的预测从multicascade获得pix2pix分割网络可以表示为

鉴频器的是一个二元分类器基于像素或patch-images提供基于网络学习生成期间停止准则。对鉴频器在我们multicascade pix2pix分割网络,我们采用卷积Patch-GAN (18预测之间的区分真或假和地面真理 ,在哪里分为 与重叠的图像补丁,每个补丁是歧视与地面的真相 ,分别;最后,获得二维概率地图作为鉴别器输出。

训练最优分割网络之间的措施和目标标签可以估计和最小化更新鉴别器吗实施歧视产生和地面真理。的分割网络提出一个条件版本pix2pix GAN multicascade架构,敌对的投入主要由组件,第一个组件是源图像在哪里作为条件和其他的一代和地面真理 。同时,每一个发电机也是优化生成域不变表示吗混淆了鉴频器 。

3.2.2。损失函数在分段阶段

骰子分数和Jaccard指数通常用作图像分割的评价指标任务。cnn训练图像分割任务通常是通过最小化加权熵进行了优化。在这项工作中,我们采用一种特别设计的损失函数同时测量一代相似和敌对的错误,它包含三种类型的损失函数:敌对的损失 , 损失,知觉损失 。

最初的敌对的损失(香草GAN损失)是由Kullback-Leibler(吉隆坡)散度分数 在哪里 执行给定的重量是之间的权衡级联叉损失和条件输入的每个卷积Patch-GAN multicascade pix2pix分割网络。最近,最常用的敌对的损失WGAN-GP [40]和LSGAN [41]。在下一节中,我们将比较三种不同的表演敌对的损失在我们的实验。

损失是绝对距离的加权和计算输出数据在 - - - - - -th级联块和地面真理 ,使分割结果更接近真实的结果(18),被定义为 在哪里 重量是常数。不失一般性,我们将 对所有 在我们的实验。

除此之外,我们还采用感知损失multicascade pix2pix分割网络,是由一个pretrained VGG19网络和首次提出在图像超分辨率应用程序(42]。知觉损失集中在特征图谱之间的输出数据和地面真理(43]。因此可以计算 在哪里 和表示特性的地图 - - - - - -功能的通道 - - - - - -th功能层(激活后)(42),功能通道的数量吗 - - - - - -th功能层和卷积的层数,和代表的大小特征映射VGG19网络。在这里,的误差测量vgg / ResNet特性映射之间的地面真理和预测 。使用最广泛的功能也包含距离曼哈顿距离和余弦相似度表明了 在哪里和特征图。

总提出分割模型是由共同训练总损失最小化三个部分如下: 在哪里和是两个给定的重量参数。

4所示。结果与讨论

建议使用PyTorch CMMCSegNet框架实现。2080年进行的实验是在一个GeForce RTX ti GPU 11 GB RAM。识别模型设计,我们执行几个烧蚀实验。他们描述如下。

4.1。数据集和实验设置

展示我们的CMMCSegNet框架中,我们使用MS-CMRSeg 2019数据集1],它包含三种不同的形式:LGE 45患者只有5例被贴上和bSSFP 35带注释的病人和t2加权。CMR的目标分割的挑战是实现LGE图像分割。因为有更少的t2加权片每个病人的数据集(约3 - 7片为每个病人),我们只使用bSSFP形态和LGE形态实验。

交叉模式翻译网络训练了时代,该模型对验证集执行最好的选择提出的翻译从LGE bSSFP CMMCSegNet框架。训练数据集分割网络包含两个部分,其中大部分都来自于真实的注释bSSFP(切片图像病人),和少量的假bSSFP图像从注释翻译LGE图像(片从两个病人)Cycle-GAN翻译网络。

我们也训练分割的网络时代。这两个模型使用亚当minibatch大小的优化训练 ,腐朽的学习速率初始值 ,大小 基于Patch-GAN补丁D的鉴别器,和体重hyperparameters , , ,和 。

4.2。交叉模式转换的性能

我们第一次使用Cycle-GAN实现翻译之间LGE bSSFP模式;我们也雇佣三个评价指标,包括结构相似度(SSIM),峰值信噪比(PSNR)和互信息(MI),评估Cycle-GAN翻译网络的性能,测试在整个教育法和bSSFP图像。许多随机选择的结果翻译(假)lg电器或bSSFP形式如图所示3。在表1,我们的翻译模型也会导致类似的合成质量教育法和bSSFP模式对整个数据集之间的地方 , , ,和表示真正的教育法,假教育法,真正的bSSFP,分别和假bSSFP。

4.3。比较不同的选择的敌对的损失和知觉损失

交叉模式翻译后,两个假bSSFP患者带注释的面具(从交叉模式获得翻译的两个LGE地面真理)患者和完全真实标记bSSFP病人(35例)被用来训练我们提出分割网络。接下来,我们做了几个不同的对比实验对仿冒bSSFP分割评价的不带注释的数据(从交叉模式获得翻译)。

表2显示了心脏的骰子点数LGE分割使用不同的敌对的损失(香草甘,LSGAN, WGAN-GP)和不同的CMMCSegNet发生器模块(U-net和ResNet)和有/没有知觉损失(或 )。我们还可以看到,整个细分U-net发生器的性能略优于ResNet发生器使用6种损失的LV(左心室),MYO(心肌),房车(右心室)。U-net发生器,该模型使用LSGAN损失收益更好的诊断性能比香草GAN和WGAN-GP损失。此外,知觉损失或知觉损失为内核添加功能比较可以保证网络学习相关的高功能水平和内容特点,将香草GAN和LSGAN改善分割结果。然而,LV的骰子点数和房车分割当WGAN-GP略有减少知觉丧失,而在ResNet一代网络模型与知觉损失(或 )获得更高的分割性能在所有三个术语,比那些没有知觉的损失。

4.4。比较级联的发电机

高层语义特征在相应地区的每个分支包含足够的定位信息。充分利用的功能,我们建议multicascade架构提取隐式几何和结构信息,指导心脏分割。为了提高建议的体系结构的竞争力,我们评估的表演训练数据集上运行pix2pix分割(真/假bSSFP图片与地面真理)。最终结果实现的合奏1 - 4级联使用相应的LSGAN敌对的损失和知觉损失。比较不同数量的瀑布如表所示3;我们可以看到瀑布的数量从1到4的骰子值增加一些条款小幅下降模型/没有知觉的损失。原因可能是级联的增加可能导致大量的边缘信息丢失原假bSSFP图像。从图我们可以看出1,当第一个分割网络获得的分割结果输入假bSSFP图像,如果原假bSSFP形象不是作为一个条件输入后 ,修改之前的结果 , 提取特征比较少 。优化计算成本,从第二个发电机,我们减少upsampling / downsampling层中间的一部分U-net发电机( )( )发电机( ),分别。从表3,我们观察到该网络的简化U-net版本可以改善分割结果。图4显示了翻译bSSFP原LGE图像,图像,对应的地面真理和预测结果与不同数量的级联。

4.5。权重的比较和Multicascade块

multicascade架构的性能可能直接受到损失重量参数的级联生成器 。我们比较权重的选择和 ,和代表的输出 - - - - - -th发电机 。从表4,模型与LSGAN敌对的损失和vgg知觉损失优化仅仅使用重量损失 和达到更好的结果评估的骰子 。由于multicascade技术的效率,提出了分段网络自动提高图像多级利益分割性能的特性。图5结果显示不同的发电机multicascade pix2pix网络与不同的权重;可以进一步修改的细节吗使输出结果接近地面实况。

4.6。相比传统的方法

表5基准的性能提出对直接和间接LGE分割网络框架。首先,我们比较四种直接分割方法的性能,包括FCNs [4],U-net [5),U-net + + (44],和关注U-net [45)网络通过直接培训细分网络从一个小数量的注释LGE图像。报道在表5,尽管U-net执行比别人更好,它产生低骰子的价值。图6(一)可视化分割结果通过直接的方法。我们也比较五个间接分割方法的性能,包括FCNs U-net U-net + +,关注U-net网络和间接CMMCSegNet提出的培训网络从少量的带注释的假bSSFP图像和完全真实bSSFP带注释的图像。如表所示5,该技术提供了最高的LV, MYO骰子得分和房车的公允价值。这意味着我们的提议CMMCSegNet优于其他方法。图6 (b)进一步说明了提出更详细的比较和其他技术;我们提出CMMCSegNet有着明显的优势,更容易学习目标区域的位置信息。

5。结论

在这项工作中,我们提出了一个基于多通道CMMCSegNet框架为间接LGE分割心脏MR图像。首先,我们利用Cycle-GAN LGE形态转化为bSSFP形态,然后分段翻译(假)bSSFP图像实现间接LGE图像的分割。这种方法的优点是,只有少量的注释LGE图像可以被要求实现精确的分割教育法运用许多注释bSSFP图像。这也间接解决教育法的问题本身具有低对比度图像。与教育法的直接分割图像相比,间接分割方法具有更好的分割性能。

为multicascade pix2pix网络,我们作为细分翻译从形象到地面实况;multicascade架构的目的是为了更好地改善先前预测通过一些发电机。我们也使用不同的敌对的损失相比,实验结果表明LSGAN损失比香草GAN和WGAN-GP WGAN-GP损失并不是显著优于香草GAN损失。为了提高模型的训练效果,基于感知损失和措施也被用来优化每个功能层的特点。此外,我们调查的影响权重的一代失去multicascade结构,最优权重系数设置为( )3级联代网络。

我们也证明的有效性提出CMMCSegNet FCNs通过比较,U-net U-net U-net + +,和关注。在未来,我们将考虑端到端分割方法分割多通道心脏先生,结合翻译和分割。

数据可用性

数据集来自Multisequence心脏分割挑战先生(MS-CMRSeg 2019;https://zmiclab.github.io/mscmrseg19/)。这一挑战是旨在创造一个开放和公平的竞争不同研究小组测试和验证他们的方法,特别是对于multisequence心室心肌分割。也指出版(1]。

的利益冲突

作者宣称他们没有竞争的经济利益或个人关系可能出现影响工作报告。

确认

这项工作得到了国家自然科学基金(国家自然科学基金委项目编号11771369)以及部分由湖南省教育局的优秀青年学者,中国(17 b257数量),湖南省自然科学基金、中国(编号2018 jj2375 2017 sk2014, 2018 xk2304)。